Robustheit und Replizierbarkeit in den Wirtschaftswissenschaften
In den Wirtschaftswissenschaften basieren die meisten empirischen Arbeiten auf experimentellen und quasi-experimentellen Designs. Während in anderen, eher standardisierten Disziplinen die Replizierbarkeit meist eine Frage der Verallgemeinerbarkeit über verschiedene Kontexte hinweg ist, hängt sie in den Wirtschaftswissenschaften auch von der Robustheit der Ergebnisse über verschiedene Spezifikationen hinweg ab. In diesem Projekt werden Replikationsraten in den Wirtschaftswissenschaften ermittelt, indem 30 Nicht-Laborstudien aus den Wirtschaftswissenschaften unter Verwendung des Originaldatensatzes repliziert und auf ihre Robustheit überprüft werden. Diese Studien umfassen verschiedene empirische Methoden wie primärdatenbasierte randomisiert Studien (RCTs) und sekundärdatenbasierte quasi-experimentelle Methoden. Ergänzend zu diesen Robustheits-Replikationen werden wir auch Umfragen mit Experten auf dem Gebiet durchführen, um herauszufinden, wie sie den Erfolg oder Misserfolg von Replikationen bewerten, und um Einschätzungen zur Verallgemeinerbarkeit über verschiedene Kontexte hinweg zu erhalten - eine häufig diskutierte Einschränkung insbesondere von RCTs.
Die Hauptziele dieses Projekts sind erstens die Definition des Replikationserfolgs für Robustheitsreplikationen. Außerdem werden wir standardisierte Protokolle für die Durchführung von Robustheitsreplikationen und standardisierte Formulare für die Berichterstattung über die Ergebnisse entwickeln. Zweitens werden wir die Reproduzierbarkeitsraten der verschiedenen Methoden vergleichen und die Unterschiede bewerten. In der Regel gehen Experten davon aus, dass sekundärdatenbasierte Studien im Vergleich zu RCTs anfälliger für p-hacking, HARKing und Publikationsverzerrungen. Drittens werden wir ein auf Experteninterviews basierendes Instrumentarium entwickeln, um die Robustheit der Replizierbarkeit und die Verallgemeinerbarkeit in verschiedenen Kontexten zu bewerten.
Publikationen
Projektstart:
01. Juli 2022
Projektende:
30. Juni 2025
Projektleitung:
Prof. Dr. Jörg Peters
Projektmitarbeitende:
Florian Neubauer,
Julian Rose
Projektpartner:
Stockholm School of Economics,
University of Connecticut,
Institute for Replication
Förderung:
Deutsche Forschungsgemeinschaft,
Open Philanthropy