Skip to main content

I4R Discussion Paper Series

E-governance, Accountability, and Leakage in Public Programs: Experimental Evidence from a Financial Management Reform in India - A Reproducibility and Replicability Assessment of Banerjee et al. (2020)

Banerjee, Duflo, Imbert, Mathew und Pande (2020) untersuchen eine Reform des öffentlichen Zahlungsmanagements in Indien, bei der Mittel bedarfsgerecht (just in time) ausgezahlt werden. Zunächst analysieren sie die Reform anhand eines randomisierten kontrollierten Experiments im Bundesstaat Bihar und untersuchen anschließend ihre nicht-randomisierte landesweite Einführung. Das randomisierte Experiment zeigt geringere Programmausgaben, längere Zahlungsverzögerungen, eine höhere Zahl geleisteter Arbeitstage sowie einen Rückgang fiktiver Beschäftigter („Ghost Workers“). Die Differenz-von-Differenzen-Analyse der landesweiten Einführung ergibt zudem geringere Ausgaben für Arbeitskräfte nach Umsetzung der Reform. Die vorliegende Studie repliziert diese Ergebnisse. Die rechnerische Reproduktion ist weitgehend erfolgreich: Die meisten Tabellen der Originalstudie können reproduziert werden. Allerdings identifizieren wir drei Fehler, von denen zwei geringfügig sind. Der dritte führt dazu, dass der Effekt auf fiktive Beschäftigte nur noch auf dem 10-Prozent- statt auf dem 5-Prozent-Niveau statistisch signifikant ist. Die Robustheitsanalysen zeigen, dass zwei der fünf untersuchten Ergebnisse – die Programmausgaben und die Zahlungsverzögerungen – sehr robust sind. Die übrigen drei Ergebnisse reagieren hingegen bereits auf vergleichsweise geringe Änderungen der analytischen Entscheidungen. Mehrere dieser Änderungen wurden bereits in der Originalstudie betrachtet oder stellen naheliegende Alternativen zu den veröffentlichten Spezifikationen dar. Für die Zahl geleisteter Arbeitstage und den Indikator für fiktive Beschäftigte sind die meisten alternativen Spezifikationen auf dem 5-Prozent-Niveau statistisch insignifikant. Mehrere bleiben sogar auf dem 10-Prozent-Niveau insignifikant. Auch das Ergebnis zur landesweiten Einführung der Reform, gemessen anhand der Ausgaben für Arbeitskräfte, ist nur teilweise robust. Die meisten alternativen Spezifikationen ergeben hier keine statistisch signifikanten Effekte. Unsere Ergebnisse bestätigen somit einige direkte Wirkungen der Reform, schwächen jedoch die Evidenz für eine Verringerung des Mittelabflusses durch Missbrauch sowie für die Wirksamkeit der Reform bei einer landesweiten Umsetzung.

Institute for Replication (I4R)

ISSN: 2752-1931

Link to the document