Practical significance of item response theory model misfit

Tests en vragenlijsten ook bruikbaar zonder perfecte aansluiting

Het proefschrift van Daniela Crisan gaat over de praktische toepassing van tests en vragenlijsten in de psychologie, in het onderwijs en in de gezondheidszorg. Vaak worden complexe psychometrische modellen gebruikt om het antwoordgedrag van personen op dit soort tests te beschrijven en daarmee een schatting te maken van iemands vaardigheid of andere eigenschap. Voorbeelden zijn een vragenlijst voor aandachtsproblemen, de selectie van kandidaten voor een functie of een vragenlijst die iemands fysiek functioneren meet. De statistische modellen die worden gebruikt passen echter vaak niet perfect bij de data (antwoordscores) van personen.

In hoeverre heeft dit “niet passen” van de modellen invloed op de scores en de beslissingen die we op grond daarvan nemen? Dit zijn belangrijke vragen voor zowel testconstructeurs als gebruikers van tests. Gebruikers vertrouwen er immers op dat de beslissingen die zij nemen op basis van de scores op de tests een goede representatie zijn van wat iemand kan, hoe iemand zich voelt of welke eigenschappen iemand heeft. Het onderzoek van Crisan laat zien dat het in het algemeen niet veel uitmaakt voor de uiteindelijke beslissingen wanneer een statistisch model de data niet heel goed beschrijft. Wanneer het model de data redelijk beschrijft, komen de beslissingen op basis van het model overeen met de beslissingen die we zouden nemen als het model perfect paste. Deze bevindingen hebben belangrijke praktische waarde voor gebruikers van tests.

Proefschrift: http://hdl.handle.net/11370/e397dfcd-24ca-4558-8dfc-66754e498da0