Is de automatische taaltoets van Verdonk haalbaar of niet?

Op 19 januari 2006 is besloten dat het inburgeringsexamen ingevoerd mag worden. Dit inburgeringsexamen bestaat naast een toets Kennis van de Nederlandse Samenleving (KNS) uit een toets voor mondelinge taalvaardigheid, de zogenaamde Toets Gesproken Nederlands (TGN). Beide toetsen moeten door immigranten uit niet-EU landen afgelegd worden in het land van herkomst, bij de ambassade of het consulaat. Het examen wordt afgenomen via een telefoon die in verbinding staat met een centrale computer, en de antwoorden worden automatisch verwerkt met behulp van spraakherkenningstechnologie.

Wat is de taaltoets?

De taaltoets is een automatische toets die in opdracht van Verdonk ontwikkeld is door een consortium bestaande uit drie bedrijven: Centrum voor Innovatie van Opleidingen (CINOP), Language Testing Services (LTS), beide uit Nederland, en Ordinate, uit de Verenigde Staten. Deze toets is gebaseerd op PhonePass, een product van Ordinate dat gebruikt kan worden voor het verkrijgen van een indicatie van het niveau van mondelinge taalvaardigheid.

Ook in de taaltoets van het Nederlandse inburgeringsexamen moeten via de telefoon wat korte zinnetjes ingesproken worden. De kandidaat moet bijvoorbeeld antwoord geven op vragen zoals “Zet je thee met heet of koud water?”, en “Heeft een auto twee of vier wielen?”. Op basis van deze uitingen komt de computer automatisch tot een oordeel van het niveau van mondelinge taalvaardigheid. Er is echter een essentieel verschil tussen PhonePass en de Nederlandse taaltoets: de eerste moet een globale indicatie geven van het niveau van taalvaardigheid, terwijl de Nederlandse taaltoets moet beslissen of een kandidaat beter of slechter is dan het zogenaamde A1-min niveau, een heel laag niveau. Het is maar de vraag of de automatische taaltoets hiertoe in staat is.

Gemengde gevoelens

Wat vinden de wetenschappers van deze automatische taaltoets? De wetenschappers die betrokken zijn bij de ontwikkeling van deze toets, mensen van het bovengenoemde consortium, zijn positief over deze toets. De mening van de resonansgroep, een groep van onafhankelijke wetenschappers aan wie gevraagd is een oordeel te geven over deze toets, is te vinden in de Brief Cinop Verantwoording Toets Gesproken Nederlands en advies van de Resonansgroep (10/11/05).

“Door gebrekkige dataverzameling, gebrekkige analyses en veel onduidelijkheden in de rapportage meent de Resonansgroep dat de voorliggende stukken de kwaliteit van de toets niet aantonen. Anders gezegd, de rapportage geeft onvoldoende garantie dat de toets adequaat werkt voor het doel waarvoor de toets ontwikkeld is.”

Andere wetenschappers, die niet betrokken zijn geweest bij dit proces, hebben in de pers soortgelijke geluiden laten horen: er is niet overtuigend aangetoond, door volledig onafhankelijk onderzoek, dat de toets adequaat werkt.

Tenslotte zijn er de wetenschappers van TNO, die geraadpleegd zijn voor een second opinion. Wat in hun rapport staat is ook niet strijdig met de oordelen van de resonansgroep en de andere wetenschappers. In het rapport van TNO staat bijvoorbeeld:

_Er is geen bewijs gevonden dat de kwaliteit van de toets voldoende is, noch dat de kwaliteit onvoldoende is. Er zijn aanwijzingen dat de toets op een zinnige manier taalvaardigheid meet, maar hiermee is niet gegarandeerd dat de kwaliteit van de toets voldoende is voor alle taalvaardigheidsniveaus.

TNO heeft aanwijzingen gevonden dat de kwaliteit van de machinale oordelen minder goed is rond de A1min cesuur. Doordat gegevens omtrent de kwaliteit van vergelijkbare menselijke taalvaardigheidsbeoordelingen ontbreken (‘human benchmark’) is het niet mogelijk om te concluderen of de fouten die rond de A1min cesuur gemaakt worden acceptabel zijn._

Dit laatste is natuurlijk essentieel, want dat is precies wat de Nederlandse taaltoets moet doen: bepalen of de taalvaardigheid (net) beneden of boven het A1-min niveau is. Verder lijkt de toevoeging “noch dat de kwaliteit onvoldoende is” een beetje vreemd, maar die toevoeging blijkt later zeer belangrijk te zijn. Op basis van hun bevindingen, zoals de punten die hierboven genoemd zijn, komt TNO tot de aanbeveling om de Toets Gesproken Nederlands (TGN) en de toets Kennis van de Nederlandse Samenleving (KNS) in te voeren en daarbij de volgende vier stappen te ondernemen:

1. Verzamel onafhankelijke data die voldoende representatief is voor de praktijk. 2. Formuleer succescriteria (normen). Hiervoor is het nodig om meerdere menselijke beoordelingen te verzamelen. 3. Gebruik deze menselijke beoordelingen voor het bepalen van foutpercentages, d.w.z. hoe vaak kandidaten onterecht zakken of slagen. 4. Verbeter de werking van de Toets Gesproken Nederlands rond de A1-min grens.

Lees deze lijst nog eens aandachtig door, of de lijst in de originele bewoording zoals die te vinden is via onderstaande link, en bedenk daarbij dat dit aanbevelingen zijn, en dat al deze dingen dus nog niet gedaan zijn.

Wat doet de politiek hiermee?

In maart en april van 2005 is dit behandeld in de Tweede Kamer. Op dat moment waren de rapporten die nu op de site van justitie staan nog niet af (die zijn pas eind 2005 beschikbaar gemaakt). De minister heeft toen dan ook herhaaldelijk gezegd dat er nog hard gewerkt werd aan de wetenschappelijke onderbouwing. Niettemin werd het wetsvoorstel op 5 april 2005 aangenomen. Minister Verdonk voegde daar op dat moment aan toe dat zodra de wetenschappelijke rapporten klaar zouden zijn de commissie Integratiebeleid haar eigen, onafhankelijke oordeel zou mogen geven.

Op de valreep van 2005 werd het in de Eerste Kamer behandeld, waar het ‘met zitten en opstaan’ werd goedgekeurd. En vandaag, 19 januari 2006, is in een vergadering van de commissie Integratiebeleid beslist dat de toetsen ingevoerd mogen worden. Waarschijnlijk wordt het per 1 maart ingevoerd, en zal in het begin de werking van het systeem gecontroleerd worden. Deze opdracht zal uitgevoerd worden door TNO. Kort gezegd komt het er dus op neer dat iets ingevoerd kan worden zolang niet bewezen is dat het niet werkt..