"The Effects of Chess Instruction on Academic and Non-cognitive Outcomes: Field Experimental Evidence from a Developing Country" - A Reproducibility and Replicability Assessment of Islam et al. (2021)
Islam, Lee und Nicholas (2021) untersuchen anhand eines randomisierten kontrollierten Experiments die Auswirkungen eines kurzfristigen Schachunterrichtsprogramms für Grundschulkinder auf mehr als 15 kognitive und nicht-kognitive Zielgrößen. Ein besonderer Schwerpunkt liegt dabei auf Zeit- und Risikopräferenzen. Der einzige statistisch signifikante Effekt der Originalstudie ist eine Verringerung der Risikoaversion der Kinder. Dieses zentrale Ergebnis bleibt auch unter den in unserer Replikationsanalyse durchgeführten Robustheitsprüfungen bestehen. Die Studie wurde nicht präregistriert. Ein vorab festgelegter Analyseplan liegt ebenfalls nicht vor, wäre angesichts der Überprüfung von mehr als 20 Hypothesen jedoch wünschenswert gewesen. Im Rahmen einer umfassenderen forensischen Untersuchung von Forschungsarbeiten, die von Mitgliedern desselben Autorenteams in derselben Region durchgeführt wurden, überprüfen wir zusätzlich die Integrität der Daten und der Studiendokumentation. Die Rohdaten wurden nicht bereitgestellt, da der mit der Datenerhebung beauftragte Dienstleister diese nach Angaben der Autoren nicht über einen längeren Zeitraum speichert. Dennoch können wir zeigen, dass sich die Stichprobe der untersuchten Studie mit den Stichproben anderer Forschungsarbeiten überschneidet, die inzwischen zurückgezogen oder deren Veröffentlichungen widerrufen wurden. Darüber hinaus finden wir Hinweise darauf, dass ein erheblicher Teil der untersuchten Kinder kurz vor der Schachintervention wahrscheinlich bereits einer anderen Intervention ausgesetzt war. Diese Überschneidung wird in der Originalstudie nicht erwähnt. Schließlich dokumentieren wir mehrere Auffälligkeiten in den Daten. Besonders hervorzuheben sind äußerst ungewöhnliche Verteilungen der Entscheidungen zu Risikopräferenzen an zwei Schulen. Dort konzentrieren sich die Antworten auf die entgegengesetzten Extremwerte der Risikoskala, wodurch der einzige statistisch signifikante Befund der Studie verstärkt wird.