Casper Albers: wat is de replicatiecrisis en hoe kan deze opgelost worden?

Wat is de replicatiecrisis en hoe kan deze opgelost worden?

Het afgelopen decennium is men binnen de sociale wetenschap tot het besef gekomen dat er weeffouten in het wetenschappelijk proces zitten. Veel wetenschappelijke resultaten blijken too good to be true. Een grootschalige replicatiestudie uit 2015 liet zien dat slechts zo’n een derde van de psychologische resultaten stand houdt: twee derde is dus ruis. Het probleem hierbij is dat je, zonder aanvullend onderzoek, niet weet welke van elke drie psychologiestudies wel goed uitgevoerd is.

De oorzaak van de crisis zit in het feit dat het te makkelijk is om, zowel bewust als – met name – onbewust, een beetje vals te spelen. Wanneer je veel energie en tijd in een studie gestoken hebt en ziet dat je net niet een significant resultaat hebt gevonden, is het best verleidelijk om nog even wat extra metingen te doen in de hoop toch die significantie te krijgen. Dit levert foutieve resultaten op.

Een bewuste demonstratie van dergelijke technieken door Simmons, Nelson en Simonsohn uit 2011 laat zien dat je zo bijna elk resultaat kan krijgen. Op een ogenschijnlijk correcte manier rekenen ze voor dat je letterlijk jonger kan worden als je naar de Beatles luistert, om vervolgens uit te leggen welke statistische fouten ze gemaakt, en weggemoffeld, hebben.

De afdeling Psychometrie & Statistiek is bezig met het verbeteren van de wetenschapspraktijk. We leggen de spelregels beter uit en we werken aan open data en open science. Een andere pijler is preregistratie: hierbij moet de onderzoeker alle keuzes vastleggen voordat de data geanalyseerd worden. Dit leidt tot een veel hogere repliceerbaarheid. Wat is de replicatiecrisis en hoe kan deze opgelost worden?