A comparison between factor analysis and item response theory modeling in scale analysis

Twee statistische methodes in de psychometrie vergeleken

Janke Kappenburg-Ten Holt deed psychometrisch onderzoek naar de verschillen en overeenkomsten tussen factoranalyse (FA) en item-responstheorie (IRT) met betrekking tot de stabiliteit en sensitiviteit - oftewel robuustheid - van analyseresultaten bij schendingen van verdelingsassumpties en paste dit toe op ordinale data. Ze geeft een aantal praktische richtlijnen voor het toepassen van de schaalmodellen: kies een voldoende grote steekproefomvang, maak gebruik van inhoudelijke kennis over de schaal, bestudeer de verdeling van de steekproefgegevens zorgvuldig, selecteer op basis hiervan een schaalmodel, ga de passing van het model na en gebruik LV-scores op basis van geschatte modelparameters voor vervolganalyses.

Kappenburg vergelijkt factoranalyse (FA) en item-responstheorie (IRT) (a) theoretisch door de modeldefinities en de meest gebruikte schattingsmethoden te bestuderen, (b) empirisch door wetenschappelijke artikelen te bespreken waarin schaalanalyse wordt toegepast, (c) op het gebied van modelschatting met een simulatieonderzoek om de robuustheid van elke methode tegen schendingen van verdelingsassumpties te onderzoeken en (c) in de praktijk door de methodes toe te passen op empirische datasets.

De invloed van de latente variabele (LV) verdeling, de item-responsverdeling, de schaalsterkte en de steekproefomvang wordt onderzocht door vier schaalmodellen (FA van de steekproefcovariantiematrix met een meest aannemelijke schattingsmethode (FA-lin), FA van de geschatte polychorische-correlatiematrix met een 'mean-and-variance adjusted weighted least squares' schattingsmethode (FA-poly), het 'graded response' IRT-model met een robuuste meest aannemelijke schattingsmethode (IRT-grm) en het niet-parametrische Mokken IRT-model (IRT-mok)) toe te passen op gegenereerde datasets.

FA-poly en IRT-grm doen het allebei goed in geval van normaal verdeelde data. Bij een scheefnormale LV verslechteren de resultaten van alle parametrische modellen ten opzichte van de condities met normale LVs, met name wanneer de verdelingen van de items ook scheef zijn. IRT-grm vertoont dan de beste resultaten. IRT-mok is robuust tegen niet-normale LV- of itemverdelingen.

Janke Kappenburg-Ten Holt deed haar promotieonderzoek bij onderzoekschool IOPS Psychometrics, gefinancierd door NWO. Ze werkt nu als business analyst bij GasTerra.