Kappa coëfficiënten en missing data

Promovenda Alexandra de Raadt heeft onderzoek gedaan naar methoden om met missing data om te gaan, wanneer onderzoekers Cohen's kappa willen gebruiken om interbeoordelaarsbetrouwbaarheid te meten.

In het onderzoek en in de praktijk komt het geregeld voor dat mensen worden geclassificeerd in categorieën. Een voorbeeld is een psycholoog die mensen met mentale problemen classificeert in categorieën die verschillende mentale stoornissen representeren. Een diagnose geeft inzicht in problemen en is vaak noodzakelijk om een goede therapievorm te vinden.

Een instrument met nominale categorieën is betrouwbaar wanneer iemand dezelfde classificatie krijgt onder gelijke omstandigheden. Een veelgebruikte coëfficiënt om de mate van overeenstemming tussen twee beoordelaars te meten is Cohen’s kappa. Cohen’s kappa is een standaardoptie om overeenstemming tussen nominale classificaties vast te stellen in onder meer de sociale en medische wetenschappen.

Ontbrekende data zijn een veelvoorkomend probleem binnen onderzoek. In overeenstemmingsonderzoek kunnen er ontbrekende data ontstaan doordat personen uitvallen of doordat ze niet komen opdagen bij een afspraak. Daarnaast kunnen gegevens ontbreken als gevolg van (ontoereikende) vaardigheden van de beoordelaar. Dit kan bijvoorbeeld gebeuren wanneer er een bepaalde categorie mist of een beoordelaar een categorie niet helemaal goed begrijpt. Op deze wijze kan het voorkomen dat er data ontbreken. Hoe ontbrekende data de mate van overeenstemming beïnvloeden is tot op heden niet uitgebreid bestudeerd.

In dit proefschrift is voornamelijk gekeken naar het effect van ontbrekende data op de waarden van kappa-coëfficiënten. De resultaten laten zien dat de coëfficiënt die de ontbrekende data gebruikt voor een preciezere schatting van de verwachte overeenstemming, multipele imputatie en listwise deletion goed in staat zijn om met ontbrekende data om te gaan.

Proefschrift

Comparison studies on agreement coefficients with emphasis on missing data

Medewerkers

Alexandra de Raadt (promovenda)
Matthijs Warrens
Roel Bosker