Je mehr man fragt, desto weniger erhält man: Wenn zusätzliche Fragen der externen Validität schaden
30.01.2022 Umfragen, bei denen zu viele Fragen der gleichen Art gestellt werden, ermüden die Befragten und liefern unzuverlässige Daten laut einer neuen von der University of California – Riverside geleiteten Studie.
Die im Journal of Marketing Research veröffentlichte Studie ergab, dass die Befragten bei Fragen, die nur geringfügig variieren, ermüden und dazu neigen, im Laufe der Umfrage ähnliche Antworten auf alle Fragen zu geben. Vermarkter, politische Entscheidungsträger und Forscher, die sich auf lange Umfragen verlassen, um das Verhalten von Verbrauchern oder Wählern vorherzusagen, werden genauere Daten erhalten, wenn sie Umfragen so gestalten, dass sie verlässliche, authentische Antworten hervorrufen, so die Forscher.
Sammeln von mehr Daten in Umfragen immer besser?
Die Wissenschaftler wollten wissen, ob das Sammeln von mehr Daten in Umfragen immer besser ist. Oder können zu viele Fragen dazu führen, dass die Befragten weniger nützliche Antworten geben, da sie sich an die Umfrage anpassen, sagte Erstautor Ye Li. Könnte dies paradoxerweise dazu führen, dass man bei mehr Fragen schlechtere Ergebnisse erhält?
Die Untersuchung befasste sich mit quantitativen Umfragen, wie sie typischerweise in der Marktforschung, in der Wirtschaftswissenschaft oder in der politischen Forschung verwendet werden, um die Wertvorstellungen der Menschen in Bezug auf bestimmte Dinge zu ermitteln. Bei diesen Umfragen wird oft eine große Anzahl strukturell ähnlicher Fragen gestellt.
Die Forscher analysierten vier Experimente, in denen die Teilnehmer Fragen zu Wahlmöglichkeiten und Präferenzen beantworten sollten.
Adaptation
Die Teilnehmer an den Umfragen passten ihre Entscheidungsfindung an, während sie immer wiederkehrende, ähnlich strukturierte Auswahlfragen beantworteten – ein Prozess, den die Autoren „Adaptation“ (Anpassung) nennen. Dies bedeutet, dass sie weniger Informationen verarbeiteten; lernten, bestimmte Eigenschaften stärker zu gewichten; oder mentale Abkürzungen für die Kombination von Eigenschaften annahmen.
In einer der Studien wurden die Befragten nach ihren Präferenzen für verschiedene Laptop-Konfigurationen gefragt. Vermarkter versuchen dadurch herauszufinden, ob Kunden z.B. bereit sind, im Gegenzug für eine größere Speicherkapazität ein wenig von der Bildschirmgröße abzugeben.
„Wenn Ihnen immer wieder Fragen zu Laptop-Konfigurationen gestellt werden, die sich nur geringfügig unterscheiden, sehen Sie sich diese die ersten zwei oder drei Male genau an, danach aber vielleicht nur noch ein Merkmal, z. B. wie lange der Akku hält. Wir benutzen Abkürzungen. Wenn man zu viele Informationen abfragt, erhält man weniger Informationen, wenn man Abkürzungen verwendet“, sagt Li.
Es ist zwar bekannt, dass sich der Mensch an seine Umgebung anpasst, aber die meisten Methoden der Verhaltensforschung, die zur Messung von Präferenzen eingesetzt werden, haben diese Tatsache unterschätzt.
Schon nach sechs oder acht Fragen antworten die Menschen so, dass man bei dem Versuch, das Verhalten in der realen Welt vorherzusagen, schlechter abschneidet, so Li. Wenn man den Leuten in diesen Umfragen immer wieder dieselben Fragen stellt, beginnen sie, die gleichen Antworten zu geben.
Maximierung der Validität
Die Ergebnisse legen einige Taktiken nahe, mit denen sich die Aussagekraft der Daten erhöhen und gleichzeitig Zeit und Geld sparen lässt. Die Prozessverfolgung, eine Forschungsmethode, bei der nicht nur die Quantität der Beobachtungen, sondern auch ihre Qualität verfolgt wird, kann zur Diagnose von Anpassungen eingesetzt werden und dabei helfen, festzustellen, wann diese die Validität gefährden.
Die Anpassung könnte auch durch wiederholte Änderung des Aufgabenformats oder durch Hinzufügen von Füllfragen oder Pausen verringert oder verzögert werden. Schließlich schlagen die Forscher vor, zur Maximierung der Validität von Erhebungen zur Präferenzmessung ein ganzes Bündel von Methoden zu verwenden, vorzugsweise unter Einsatz mehrerer Messmethoden, wie z. B. Fragen, bei denen zwischen Optionen gewählt werden muss, die zu verschiedenen Zeitpunkten zur Verfügung stehen, passende Fragen und eine Reihe von Kontexten.
Der Tradeoff ist nicht immer offensichtlich. Mehr Daten sind nicht immer besser. Seien Sie sich der Kompromisse bewusst, so Li. Wenn Ihr Ziel darin besteht, die reale Welt vorherzusagen, dann ist das entscheidend.
© Psylex.de – Quellenangabe: Journal of Marketing Research, 2021; 002224372110735 DOI: 10.1177/00222437211073581