Skip to ContentSkip to Navigation
Over onsNieuws en agendaNieuwsberichten

Veel psychologisch onderzoek bevat ernstige statistische fouten

29 september 2009

In psychologisch wetenschappelijk onderzoek worden veel ernstige statistische fouten gemaakt. Nederlandse onderzoekers hebben elementaire statistische methodes niet goed onder de knie en doen uitspraken die stelliger zijn dan ze kunnen waarmaken. Dat blijkt uit onderzoek waarop Rink Hoekstra op 8 oktober 2009 promoveert aan de Rijksuniversiteit Groningen.

Psychologen proberen menselijk gedrag en de onderliggende mentale processen te begrijpen. Om algemene uitspraken te doen over menselijk gedrag, wordt er uit praktische overwegingen meestal voor gekozen dit gedrag te bestuderen bij een beperkt aantal mensen (een steekproef), om deze steekproefgegevens vervolgens te generaliseren naar de populatie waarin de onderzoeker geïnteresseerd is. Bij dit generalisatieproces kunnen verschillende technieken gebruikt worden. De significantietoets is veruit de meest gebruikte.

Oud probleem

Al decennialang staat het gebruik van die significantietoets ter discussie. Hoekstra: “Stel je voor dat je onderzoek doet naar de lengte van mannen en vrouwen. Daarbij kun je je de vraag stellen of mannen langer zijn dan vrouwen. Na een steekproef waarbij je de lengte van tien mannen en tien vrouwen meet, zou je kunnen stellen dat mannen significant langer zijn dan vrouwen. Maar is dat interessant? En zegt je dat iets? Je kunt je beter de vraag stellen hoe groot het verschil in lengte is. Zo krijg je én inzicht in de vraag of mannen langer zijn dan vrouwen én inzicht in de omvang van het lengteverschil.” Niet alleen lijkt het zinvol de vraag te beantwoorden óf een effect bestaat (waarvoor de significantietoets vaak gebruikt wordt), maar ook hoe groot dat effect precies is, wat op steekproefniveau wordt uitgedrukt door de effectgrootte. Een betrouwbaarheidsinterval helpt om de effectgrootte van de steekproef te generaliseren naar de gehele populatie.

Onkunde, onwetendheid

Volgens internationale voorschriften is in psychologisch onderzoek een significantietoets niet voorgeschreven, maar is het gebruik van effectgrootte noodzakelijk en worden betrouwbaarheidsintervallen sterk aangeraden. Uit het onderzoek van Hoekstra blijkt dat deze nuanceringen van de significantietoets in psychologisch wetenschappelijk onderzoek veelal achterwege blijven, of dat ze pro forma worden uitgevoerd, maar bij het trekken van conclusies verwaarloosd worden. Hoekstra: “Als je heel kritisch kijkt, vind je in vrijwel elk gepubliceerd artikel iets wat niet klopt. Ook in gerenommeerde tijdschriften.” Uit interviews met en tests van dertig promovendi aan zeven Nederlandse universiteiten blijkt dat geen sprake is van onwil, maar vooral van onkunde en onwetendheid. Hoekstra: “De fouten zijn zo gewoon geworden, dat niemand ze meer ziet.”

“Het bekt lekkerder”

Maar de statistische fouten komen de onderzoekers soms ook goed uit, vermoedt Hoekstra. “Wetenschappers streven de waarheid na. Maar in de praktijk zijn zij ook zeer gericht op het zo goed mogelijk presenteren van hun eigen onderzoek. Mijn onderzoeksresultaten suggereren dat onderzoekers geneigd zijn redelijk zwart-wit te denken en dingen stelliger te beweren dan ze feitelijk kunnen waarmaken. Als je zegt dat iets significant is, dan bekt dat lekker. En tijdschriftredacties zijn dan misschien ook sneller in je artikel geïnteresseerd: die willen het liefst aansprekende verhalen publiceren.” De kwaliteit van het onderwijs in de statistiek moet beter, vindt Hoekstra. “Studenten zijn slim genoeg om te begrijpen dat de waarheid niet zwart-wit is. Docenten moeten durven om hun studenten een genuanceerd verhaal te vertellen. Daar bewijzen ze de studenten én de toekomstige wetenschap een dienst mee.”

Curriculum vitae

Rink Hoekstra (Drachten, 1977) studeerde psychologie en technische cognitiewetenschappen aan de RUG. Hij verrichtte zijn promotieonderzoek aan de afdeling Statistiek en Methodologie van de faculteit Gedrags- en Maatschappijwetenschappen (GMW) van diezelfde universiteit, onder leiding van prof.dr. H.A.L. Kiers en prof.dr. A. Johnson. Inmiddels werkt Hoekstra als docent en onderzoeker bij deafdeling Onderwijskunde van de faculteit GMW. De titel van zijn proefschrift luidt: "The Use and Usability of Inferential Techniques”.

Noot voor de pers

Contact: Rink Hoekstra, tel.: 050 363 7024, e-mail: r.hoekstra@rug.nl

 

Laatst gewijzigd:15 september 2017 15:27

Meer nieuws

  • 16 oktober 2018

    Digital Society Conferentie Nederlandse universiteiten

    De digitale informatietechnologie dringt steeds dieper door in onze samenleving. Daarom organiseren de veertien Nederlandse universiteiten, verenigd in de VSNU, op dinsdag 27 november de internationale Digital Society Conference in de Rijtuigenloods...

  • 09 oktober 2018

    Wat de wereld écht moet weten over leiderschap

    ‘Weet jij hoe vaak organisaties een verkeerde leider selecteren?’, vraagt Janka Stoker. ‘Volgens recent onderzoek van Gallup gebeurt dat in maar liefst 82% van de gevallen! Deze leiders werden vaak gekozen omdat ze toevallig uitblonken in hun vorige,...

  • 09 oktober 2018

    Er gaat al 80 jaar niets boven de Groningse sociologen

    De afdeling Sociologie van de Rijksuniversiteit Groningen bestaat 80 jaar. Dit viert de afdeling met studenten, stafleden en alumni op vrijdag 12 oktober met een feestelijk programma in het Grand Theater in Groningen.