Je leest:

De verborgen partijdigheid in de AD-Haringtest

De verborgen partijdigheid in de AD-Haringtest

Regio Rotterdam domineert de top tien door vreemde bonus

Auteur:

De meeste haringwinkels in de top tien van de jaarlijkse AD-Haringtest komen uit de regio Rotterdam. Een statistische analyse maakt het zeer onwaarschijnlijk, dat in deze omgeving de beste haring van Nederland verkocht wordt. Zonder de Rotterdam-bonus zou de top tien van dit jaar er heel anders uitzien.

Het Algemeen Dagblad heeft een traditie hoog te houden in consumententests. Hun jaarlijkse Oliebollentest trekt in december altijd veel aandacht, net als de Haringtest in juli. Een team van keurmeesters koopt in honderdvijftig kramen en winkels een paar haringen, en beoordeelt die op zaken als versheid, smaak en microbiologische reinheid.

Voor de kramen van de winnaars staan de klanten gegarandeerd in de rij, haringverkopers die slecht beoordeeld worden zien hun klanten massaal weglopen. Dat tilt de test ver uit boven onschuldige folklore. “Er zijn mensen die hier nachten van wakker liggen,” aldus Ben Vollaard, hoofddocent economie aan de Universiteit Tilburg. “Dan neem je als krant een grote verantwoordelijkheid op je.”

Haring met ui
De haring wordt beoordeeld op onder meer vetgehalte, temperatuur, uiterlijk aan binnen- en buitenkant en geur.

Half punt hoger

Vollaard onderzocht statistisch de onpartijdigheid van de Haringtest. Hij concludeert dat haringverkopers binnen een straal van 30 kilometer rond Rotterdam onterecht gemiddeld een half punt hoger scoren (op een schaal van 0 tot 10) dan haringverkopers buiten dat gebied.

“Ik kwam op het idee van mijn onderzoek door iemand die ik ken van de viszaak in ons dorp. Die kreeg een slechte beoordeling waar hij het niet mee eens was, en ging in discussie met het keuringsteam. Dat werd iets minder aangenaam, met als gevolg dat hij van de keurmeesters een nul kreeg.” Op de Haringtest is al eerder scherpe kritiek geleverd, en niet alleen door viswinkeliers die slecht scoorden.

Wat meteen opvalt, is dat de top tien telkens voor een groot deel bestaat uit vishandels in Rotterdam en omstreken. In 2016 gold dat voor zeven van de tien, in 2017 voor acht van de tien, terwijl slechts een derde van de 148 bezochte vishandels in de regio Rotterdam zit.

Regio Rotterdam

Op zich bewijst dit nog niets. Het is immers mogelijk, dat de beste haringwinkels werkelijk vooral in de regio Rotterdam zitten. Echter, het AD stelt alle testscores die zijn gebruikt om tot de ranglijst te komen beschikbaar op de website, zodat Vollaard daar zelf mee aan de slag kon.

Het eindcijfer voor de ranglijst komt tot stand op een semi-exacte manier. De haring van elke winkel krijgt scores voor acht kenmerken, maar die zijn een mix van objectief en subjectief. De temperatuur van de net aangeschafte haring is objectief meetbaar, maar ook voor ‘uiterlijk’ en ‘geur’ geeft de keurmeester een score. Die acht scores worden gecombineerd tot een eindcijfer, maar het AD-keuringsteam geeft daar geen exacte formule voor. Het is, bijvoorbeeld, niet zo dat het eindcijfer het gemiddelde van de acht scores is.

Daarom bouwde Vollaard, met student Martijn de Leeuw, een statistisch model dat op grond van die scores het eindcijfer zo goed mogelijk reproduceerde voor alle onderzochte haringwinkels. Het komt er op neer, dat je per zaak alle scores met een nog onbekende weegfactor bij elkaar optelt.

3643665125 fc53604035 z
Krijgt een haring een hoger cijfer wanneer deze gekocht is in de regio Rotterdam?

Vervolgens bepaalt een computerprogramma – in principe door heel veel trial and error – welke acht waardes van de weegfactor gemiddeld de beste overeenkomst geven tussen de volgens het model berekende eindcijfers, en de eindcijfers die het AD geeft. Het model kan de AD-eindcijfers uiteraard niet perfect verklaren, maar wel vrij goed (het verklaart 83 procent van de variantie).

Vervolgens kijk je naar de verschillen tussen de AD-eindcijfers en de model-eindcijfers. Stel – fictief voorbeeld – dat het AD-eindcijfer voor alle haring verkopende supermarkten hoger zou liggen dan het model-eindcijfer, en voor alle haringkarren lager dan het model-eindcijfer. Het zal duidelijk zijn, dat het AD-team dan de supermarkten bevoordeeld.

Partijdig

Op soortgelijke manier concludeert Vollaard, dat het AD-team Rotterdamse haringverkopers voortrekt. Heeft een haringverkoper in de regio Rotterdam met hetzelfde model-eindcijfer als een haringverkoper daarbuiten, dan krijgt de Rotterdamse verkoper gemiddeld een half punt extra.

Het weghalen van die halve punt bonus gooit de top tien van 2017 behoorlijk door elkaar. De winnaar zakt naar plaats vijf, en nog maar drie van de tien haringverkopers komen uit de regio Rotterdam. Dat komt mooi overeen met hun getalsmatige aandeel in alle 148 bezochte haringverkopers.

Haringmodel boven elkaar
Boven de top tien van de AD-Haringtest 2017, onder als de ‘Rotterdam-bonus’ er af gehaald wordt, het halve punt dat viswinkels in de regio Rotterdam gemiddeld cadeau krijgen van de keurmeesters – bewust of onbewust.

Thuiswedstrijd

Vollaard heeft ook geëxperimenteerd met een ruimere cirkel om Rotterdam. Maar: “Zodra je die grens ruimer trekt dan dertig kilometer, zakt het verschijnsel weg.” De Rotterdamse partijdigheid lijkt dus reëel. Maar waarom zouden de keurmeesters deze regio bevoordelen? Dat hoeft niet eens bewust te gebeuren. Het AD is een Rotterdamse krant, met veel lezers in de eigen regio. Mogelijk spelen Rotterdamse viswinkels voor de keurmeesters op een subtiele manier een thuiswedstrijd.

Minder subtiel zijn beschuldigingen, onder meer door gedupeerde viswinkeliers, dat met name keurmeester Aad Taal aan vriendjespolitiek doet. Taal kent veel visverkopers in de regio Rotterdam persoonlijk. Hij geeft zelfs cursussen hoe je haring moet behandelen, onder meer aan zaken die hij later zelf beoordeelt voor de test.

AD-journalist Paul Hovius, die de haringtest al dertig jaar coördineert en in de krant zet, bekeek het onderzoek ‘met enige verbazing’. “Het AD blijft achter de methodiek staan die wij hanteren voor de Haringtest. Het onderzoek doet aannames waar ik me niet in herken. Zo zitten de prijs en het gewicht van de haring ook in het model, maar die twee gegevens spelen geen enkele rol bij ons eindoordeel voor de plaats op de ranglijst.”

Dit statistische onderzoek doet trouwens geen uitspraak over de eventuele motieven van de keurmeesters; het maakt slechts aannemelijk, dat haringverkopers in de regio Rotterdam minder kritisch beoordeeld worden dan hun collega’s daarbuiten. Hovius gelooft daar niet in: “Ben Vollaard is bij deze uitgenodigd, om bij de Haringtest volgend jaar een dagje mee te lopen.”

Dit artikel is een publicatie van NEMO Kennislink.
© NEMO Kennislink, sommige rechten voorbehouden
Dit artikel publiceerde NEMO Kennislink op 04 augustus 2017

Discussieer mee

0

Vragen, opmerkingen of bijdragen over dit artikel of het onderwerp? Neem deel aan de discussie.

LEES EN DRAAG BIJ AAN DE DISCUSSIE