Investigating the replicability of the social and behavioural sciences
Das Streben nach Replizierbarkeit — also nach unabhängiger Evidenz für frühere Befunde — ist zentral für die Generierung verallgemeinerbaren Wissens. In dieser Studie haben wir Replikationen von 274 Aussagen über positive Ergebnisse aus 164 quantitativen Arbeiten untersucht, die zwischen 2009 und 2018 in 54 Fachzeitschriften der Sozial- und Verhaltenswissenschaften veröffentlicht wurden. Die Replikationsstudien hatten im Durchschnitt eine hohe Power, um die ursprüngliche Effektgröße zu erkennen (Median: 99,6 %), nutzten die Originalmaterialien, wenn diese relevant und verfügbar waren — und wurden vorab im Rahmen eines standardisierten internen Protokolls begutachtet. Die Replikationen ergaben für 151 der 274 Aussagen (55,1 % (95 %-KI: 49,2–60,9 %)) statistisch signifikante Ergebnisse im ursprünglichen Muster. Auf Ebene der Arbeiten — gewichtet nach der Anzahl replizierter Aussagen pro Studie — traf dies auf 80,8 von 164 Arbeiten zu (49,3 % (95 %-KI: 43,8–54,7 %)). Wir beobachteten eine moderate Variation der Replikationsraten zwischen den Disziplinen (42,5–63,1 %), wobei einige Schätzungen mit hoher Unsicherheit behaftet waren. Die mediane Effektgröße (Pearson’s r) betrug 0,25 (95 %-KI: 0,21–0,27) in den Originalstudien und 0,10 (95 %-KI: 0,09–0,13) in den Replikationsstudien, was einer Reduktion der geteilten Varianz um 82,4 % (95 %-KI: 67,8–88,2 %) entspricht. Dreizehn Methoden zur Bewertung des Replikationserfolgs lieferten Schätzungen zwischen 28,6 % und 74,8 % (Median: 49,3 %). Ein gewisser Rückgang von Effektstärken und Signifikanz ist angesichts der Power zur Erkennung ursprünglicher Effekte sowie aufgrund der Regression zur Mitte infolge der Replikation ausschließlich positiver Ergebnisse zu erwarten. Unsere Ergebnisse zeigen, dass Herausforderungen für die Replizierbarkeit die gesamten Sozial- und Verhaltenswissenschaften betreffen, was die Bedeutung der Identifikation von Bedingungen, die Replizierbarkeit fördern oder hemmen, herausstellt.
Tyner, A., A. Abatayo, M. Daley, S. Field, N. Fox, N. Haber, K. Hahn, M. Struhl, B. Mawhinney, O. Miske, N. Fiala, F. Neubauer und e. al. (2026), Investigating the replicability of the social and behavioural sciences. Nature, 652, 8108, 143–150