Naar de content

Verkiezingsuitslag is nog net zo voorspelbaar als vroeger

Statistisch onderzoek naar driekwart eeuw opiniepeilingen

Ted Eytan, cc-by-sa-2.0

Toen opiniepeilers bij het Brexit-referendum en de verkiezing van Donald Trump de uitslag verkeerd voorspelden, heette het dat peilingen steeds onbetrouwbaarder worden. Een onderzoek naar duizenden peilingen in tientallen landen laat van dat idee weinig heel. De foutmarges zijn de laatste zeventig jaar zeker niet groter geworden, eerder kleiner.

Zowel bij het Brexit-referendum als bij de meest recente Amerikaanse presidentsverkiezingen gaven opiniepeilers tot op het laatste moment een foute prognose voor de uitslag: Hillary Clinton zou op haar sloffen president worden, en Groot-Brittannië zou bij de EU blijven.

Deze miskleunen leidden tot veel gefilosofeer over het electoraat dat steeds grilliger zou worden, of zelfs over fraude bij de verkiezingen. Het idee dat het stemgedrag van mensen, in deze tijd van sociale media, nepnieuws en flitshypes steeds onvoorspelbaarder wordt, ligt goed in het gehoor, maar klopt het ook?

Dertigduizend opiniepeilingen

Om dit te checken verzamelden Will Jennings en Christopher Wlezien, van respectievelijk de universiteiten van Southampton en Texas, de gegevens van maar liefst dertigduizend opiniepeilingen over 350 verkiezingen in 45 landen tussen 1942 en 2017. Op welke manier ze de data ook analyseerden, de boodschap bleef hetzelfde: peilingen zijn niet onbetrouwbaarder geworden.

Ver voor de verkiezingen zitten de peilers er gemiddeld vier procentpunt naast. Dat wil zeggen: gemiddeld over alle partijen (of personen) die meedoen aan een verkiezing, wijkt hun prognose voor het percentage stemmen dat elke partij krijgt, vier procentpunt af van het verkiezingsresultaat. Naarmate de verkiezingsdatum dichterbij komt, neemt dit af tot twee procentpunt. Deze gemiddelde foutmarges zijn van 1942 tot nu toe stabiel gebleven.

Prognoses en uitslag van de gemeenteraadsverkiezingen 2018 in Den Haag. De blauwe staafjes geven peilingen weer, met in zwart aangeven de statistische foutmarge. Rode balkjes: uitslag van de verkiezing. Voor de veertien partijen die meer dan twee procent van de stemmen haalden, zat de laatste prognose er gemiddeld 1,7 procent naast.

I&O Research i.o.v. Gemeente Den Haag

Uitschieters

Behalve de gemiddelde fout, is van belang hoeveel grote uitschieters er zijn. Er zijn voorbeelden van peilingen die er tot vijftien procentpunt naast zaten, maar dat zijn hoge uitzonderingen. De variantie in de foutmarge geeft een maat voor hoe zeldzaam grote uitschieters zijn. Ook die variantie is in de afgelopen vijfenzeventig jaar stabiel gebleven.

De gemiddelde fout, in procenten, in de voorspelling van de verkiezingsuitslag. Deze neemt, zoals verwacht, af naarmate de verkiezing dichterbij komt. In de onderste grafiek staat deze gemiddelde fout uitgesplitst voor parlementsverkiezingen – waar men op een politieke partij stemt – en voor presidentsverkiezingen, waar men op een persoon stemt. De fout is in het laatstgenoemde geval duidelijk groter.

Jennings & Wlezien, Nature Human Behaviour

Historisch niet ongewoon

De variatie in foutmarges die de onderzoekers wel vonden, zijn goed te verklaren met algemeen bekende eigenschappen van steekproeven, zo schrijven ze in vakblad Nature Human Behaviour. Volgens hen maakt dit de spectaculaire fouten bij onder meer de Brexit en de Trump-verkiezing begrijpelijker: “Hoewel opiniepeilingen fouten bevatten, zijn deze meestal het grootst voor de grootste partijen (of kandidaten), en dat zijn degenen die om de macht strijden. Bovendien wegen deze fouten het zwaarst als de verkiezingen een nek-aan-nekrace zijn (…), zoals bij de landelijke verkiezingen in 2015 en 2017 in Groot-Brittannië en de Amerikaanse presidentsverkiezing in 2016. De grootte van de fout in de peilingen in deze verkiezingen was niet ongewoon, historisch gezien.”

De gemiddelde fout, in procenten, in de voorspellingen door de jaren heen. Open cirkels geven de gemiddelde fout per partij of kandidaat aan, de zwarte stippen de fout gemiddeld over alle partijen, kandidaten en verkiezingen in een jaar. Het aantal peilingen per jaar neemt toe, doordat er steeds vaker gepeild wordt, maar ook omdat er meer verkiezingen waren: het aantal democratische landen nam toe. Er zit geen duidelijke trend in de gemiddelde foutmarge, die rond de twee procent schommelt.

Jennings & Wlezien, Nature Human Behaviour

Trends in evenwicht

Dat betekent natuurlijk niet dat opiniepeilers sinds de Tweede Wereldoorlog hun methoden niet veranderd hebben. Sinds die tijd is bijvoorbeeld de respons op met traditionele middelen uitgevoerde enquêtes (namelijk mensen in persoon of telefonisch naar hun mening vragen) drastisch gedaald. Opiniepeilers gebruiken daarom nu ook gegevens uit online panels en sociale media om hun steekproeven meer representatief te maken en zo hun prognoses te verbeteren.

Het lijkt er dus op dat twee trends elkaar ongeveer in evenwicht houden: het is lastiger geworden om de mening van het volk te peilen enkel met behulp van enquêtes, maar dankzij nieuwe technologie en sociale media zijn opiniepeilers er toch beter in geworden.

Bron

Will Jennings en Christopher Wlezien, Election polling errors across time and space, Nature Human Behaviour (12 maart 2018), DOI:10.1038/s41562-018-0315-6

ReactiesReageer