Mind the metrics: CAF measure reliability and the implications for L2 studies
| Promotie: | Mw. Y. (May) Wu |
| Wanneer: | 05 juni 2025 |
| Aanvang: | 12:45 |
| Promotor: | prof. dr. W.M. (Wander) Lowie |
| Copromotor: | R.G.A. (Rasmus) Steinkrauss, Dr |
| Waar: | Academiegebouw RUG |
| Faculteit: | Letteren |
Betrouwbaarheid CAF-maten onderzocht
May Wu onderzocht voor haar promotie de betrouwbaarheid van veelgebruikte Complexity, Accuracy en Fluency (CAF)-maten bij het beoordelen van prestaties in een tweede taal (L2), waarbij gebruik wordt gemaakt van Generaliseerbaarheidstheorie (G-theorie). Daarnaast onderzocht ze hoe de betrouwbaarheid van dergelijke maten van invloed is op onderzoek naar L2-ontwikkeling op basis van tijdreeksdata. In totaal evalueerde Wu vijf schrijf- en 57 spreek-CAF-maten in gecontroleerde omstandigheden om hun variabiliteit vast te stellen. De resultaten tonen aanzienlijke verschillen in betrouwbaarheid tussen de maten: terwijl sommige fluency-maten zeer betrouwbaar blijken, zijn de meeste CAF-maten dat niet. Het gebruik van maten met een lage betrouwbaarheid bij het beoordelen van L2-ontwikkeling leidt mogelijk tot aanzienlijke variabiliteit die geen verband houdt met daadwerkelijke taalontwikkeling of interventies. Deze CAF maten zijn daarom minder geschikt om de voortgang van taalleerders in de tijd te volgen.
Om deze betrouwbaarheidsproblemen aan te pakken, stelt Wu voor om meerdere metingen per datapunt te verzamelen, vooral wanneer maten met een lage betrouwbaarheid worden gebruikt. Dit helpt maten met een hoge betrouwbaarheid om zowel de instabiliteit van een L2-systeem als ontwikkelingsveranderingen vast te leggen. Tegelijkertijd onderzoekt deze dissertatie oorzaken van de variërende betrouwbaarheidsniveaus, zoals de specificiteit van de beoogde taalkenmerken. Ook bespreekt Wu mogelijke manieren om de betrouwbaarheid van CAF-maten te verbeteren, bijvoorbeeld door de berekeningsmethoden van maten aan te passen.
Uiteindelijk biedt Wu haar onderzoek een betrouwbaarheidsreferentie voor de selectie van CAF-maten in onderzoek naar tweede taalverwerving, benadrukt het de noodzaak om de betrouwbaarheid van CAF-maten te verbeteren, en adviseert het om betrouwbaarheidsstudies uit te breiden naar andere talen en leerdersgroepen. Daarnaast pleit Wu voor de ontwikkeling van nieuwe technologische tools en verdere validiteitsonderzoeken om de beoordeling en vergelijkbaarheid van CAF-maten in verschillende onderzoekscontexten te verbeteren.