Grootschalige studie: Wanneer honderden onderzoekers dezelfde data opnieuw analyseren verschillen conclusies duidelijk

Wanneer bijna 500 onafhankelijke onderzoekers dezelfde data uit 100 studies opnieuw onderzoeken, komen zij vaak tot verschillende conclusies—een aanwijzing voor hoe sterk methodologische keuzes wetenschappelijke bevindingen beïnvloeden.

Een nieuwe studie, gepubliceerd in Nature en getiteld “Investigating the analytical robustness of the social and behavioral sciences”, laat zien dat wetenschappelijke conclusies aanzienlijk kunnen verschillen afhankelijk van wie de analyse uitvoert.

De resultaten komen voort uit een grootschalige internationale samenwerking. Een team van 457 onafhankelijke onderzoekers van instellingen over de hele wereld voerde 504 heranalyses uit van data uit 100 eerder gepubliceerde studies binnen de sociale en gedragswetenschappen. Alle onderzoekers kregen dezelfde dataset en dezelfde onderzoeksvraag, maar waren vrij in hoe zij de analyse uitvoerden.

De analyses van precies dezelfde vraag en dezelfde data bleken tot uiteenlopende uitkomsten te leiden. Hoewel de meeste heranalyses de hoofdconclusies van de oorspronkelijke studies min of meer ondersteunden, verschilden de effectgroottes, statistische uitkomsten en onzekerheidsmarges vaak duidelijk. In ongeveer een derde van de gevallen kwamen alle onderzoekers tot dezelfde conclusie als de oorspronkelijke auteurs.

Belangrijk is dat deze verschillen niet te wijten waren aan een gebrek aan expertise. Ervaren onderzoekers met sterke statistische achtergronden kwamen net zo vaak tot uiteenlopende resultaten als minder ervaren onderzoekers. Tegelijkertijd bleken observationele studies minder robuust dan experimentele, wat erop wijst dat complexere data meer ruimte laten voor analytische keuzes—en daarmee ook voor onzekerheid.

Don van Ravenzwaaij, betrokken vanuit de faculteit Gedrags- en Maatschappijwetenschappen: “"De resultaten laten zien dat we onsuccesvolle replicaties wellicht met meer nuance moeten bekijken: als er binnen een studie al zoveel variantie is op grond van analist of analysestrategie, is variantie tussen studies logisch en te verwachten."