Reproduzierbarkeit in der Psychologie

Reproduzierbarkeit / Replizierbarkeit in der Psychologie

Psychologie-Lexikon: Methodik

Definition von Reproduzierbarkeit

Reproduzierbarkeit in der Psychologie (d.h. die Replizierbarkeit bzw. Wiederholbarkeit der Untersuchungsergebnisse durch andere Wissenschaftler) ist der Grad der Übereinstimmung zwischen den Ergebnissen von Messungen der gleichen Messgröße, die mit der gleichen, in den entsprechenden wissenschaftlichen Nachweisen (z.B. einer Veröffentlichung in einer begutachteten Zeitschrift) beschriebenen Methodik durchgeführt wurden.

Die Reproduzierbarkeit in der Psychologie kann auch unter veränderten Messbedingungen für die gleiche Messgröße angewendet werden, um zu überprüfen, dass die Ergebnisse kein Artefakt der Messverfahren sind.

Eine Analyse psychologischer Metaanalysen zeigt ein Reproduzierbarkeitsproblem

28.05.2020 Metaanalyse-Forschungsstudien in der Psychologie sind aufgrund mangelnder Transparenz von Berichten im Metaanalyse-Prozess nicht immer reproduzierbar laut einer in PLOS ONE veröffentlichten Studie von Esther Maassen vom Fachbereich der Psychologie der Universität Tilburg, Niederlande und Kollegen.

Die Meta-Analyse ist eine weit verbreitete Methode, um quantitative Daten aus mehreren Primärstudien zu kombinieren und zu vergleichen. Der in Metaanalysen verwendete statistische Ansatz kann aufzeigen, ob sich die Studienergebnisse aufgrund bestimmter Studienmerkmale unterscheiden, und hilft bei der Berechnung einer Gesamteffektgröße, z.B. der Größe eines Behandlungseffekts – für das betreffende Thema.

Viele Schritte einer Metaanalyse beinhalten jedoch Entscheidungen und Bewertungen, die willkürlich sein oder von Forscher zu Forscher unterschiedlich ausfallen können.

Metaanalyse-Arbeiten aus dem Bereich der Psychologie

In der neuen Studie analysierten die Forscher 33 Metaanalyse-Arbeiten aus dem Bereich der Psychologie. Die metaanalytischen Studien wurden alle in den Jahren 2011 und 2012 veröffentlicht, alle hatten Datentabellen mit Primärstudien und alle umfassten mindestens zehn Primärstudien.

Für jede Metaanalyse suchte das Team nach den entsprechenden Primärstudienartikeln, befolgte alle im Metaanalyse-Bericht beschriebenen Methoden und berechnete insgesamt 500 Effektgrößen, die in den Metaanalysen berichtet wurden, neu.

Reproduzierbarkeit

Von den 500 primären Studieneffektgrößen konnten die Forscher 276 (55%) problemlos reproduzieren. (In diesem Fall wurde die Reproduzierbarkeit definiert als das Erreichen des gleichen Ergebnisses nach erneuter Analyse derselben Daten nach den berichteten Verfahren).

In einigen Fällen enthielten die Metaanalysen jedoch nicht genügend Informationen, um die Größe des Studieneffekts zu reproduzieren, während in anderen Fällen ein anderer Effekt als angegeben berechnet wurde.

114 Effektgrößen (23%) wiesen im Vergleich zu dem, was in dem metaanalytischen Artikel berichtet wurde, Diskrepanzen auf. 30 der 33 Metaanalysen enthielten mindestens eine Effektgröße, die sich nicht leicht reproduzieren ließ.

Als die fehlerhaften oder nicht reproduzierbaren Effektgrößen in jede Metaanalyse selbst integriert wurden, stellte das Team fest, dass 13 der 33 (39%) Metaanalysen Diskrepanzen in ihren Ergebnissen aufwiesen, obwohl viele davon vernachlässigbar waren.

Empfehlung

Die Forscher empfehlen, die bestehenden Richtlinien für die Veröffentlichung von psychologischen Metaanalysen zu ergänzen, um sie reproduzierbarer zu machen.

Die Autoren fügen hinzu: Individuelle Effektgrößen von Metaanalysen in der Psychologie sind aufgrund der ungenauen und unvollständigen Berichten der Metaanalysen schwer reproduzierbar. Um die Vertrauenswürdigkeit metaanalytischer Ergebnisse zu erhöhen, ist es unerlässlich, dass Forscher ihre Datenverarbeitungspraktiken und ihren Arbeitsablauf explizit dokumentieren sowie ihre Daten und ihren Code online veröffentlichen.

© PSYLEX.de – Quellenangabe: PLoS ONE 15(5): e0233107. doi.org/10.1371/journal.pone.0233107

Weitere News aus der Forschung

  • Studie: Vielen veröffentlichten psychologischen Experimenten fehlt der Nachweis der Validität
    zum Artikel