We lezen dagelijks koppen als ‘Meerderheid Nederlanders steunt rechts kabinet’ en ‘Mannen zijn meer tevreden dan vrouwen’. Vaak is die informatie gebaseerd op surveyonderzoek, in de volksmond opiniepeiling genoemd. Het basisidee is simpel: als je wilt weten wat mensen voelen, denken en doen en waarom, vraag het ze dan.
De wetenschappelijke doelstelling is om op basis van vraaggesprekken met een beperkte selectie uit de populatie een betrouwbare uitspraak te doen over de gehele populatie. Sinds de jaren veertig en vijftig van de vorige eeuw doen sociale wetenschappers ook onderzoek naar de manier waarop je een survey moet uitvoeren. Dit onderzoek concentreert zich op drie hoofdvragen:
1. Wie moet je ondervragen? 2. Hoe benader je de respondenten? 3. Wat kun en moet je vragen?
Allereerst: wie zijn je respondenten? Of liever: wie zouden ze moeten zijn? Vooraf dien je te specificeren over welke doelgroep je wat te weten wilt komen. De respondenten moeten ook zo gekozen worden dat ze een goede afspiegeling vormen van de gewenste doelgroep, anders ontstaat er een vertekening in de getrokken conclusie.
Of je nu duizend, tienduizend of honderdduizend vrouwen ondervraagt, ze geven niet de mening van de mannen weer. Een dergelijke soort vertekening naar geslacht is gemakkelijk te zien, omdat we de echte populatiecijfers kennen. Maar dat geldt niet voor bijvoorbeeld een vertekening naar politieke voorkeur.
In vrijwel alle surveyonderzoek via internet beperkt men zich tot de internetpopulatie en kunnen dus geen uitspraken over alle Nederlanders worden gedaan (terwijl dat toch vaak gebeurt). En ook al zou het onderzoek zich richten op internetgebruikers, in vrijwel de meeste gevallen zijn de daarvoor gehanteerde webpanels tot stand gekomen via zelfselectie. De representativiteit van dit soort uitkomsten is zeer twijfelachtig.
Ten tweede verdient de vraag hoe de respondent bevraagd moet worden, serieuze aandacht. Moet je er een interviewer op af sturen, de respondent een schriftelijke vragenlijst toesturen, telefonisch proberen te interviewen of via internet bevragen? Al deze wijzen van ondervraging hebben hun voor- en nadelen. De nadelen van onzorgvuldig opgezette internetsurveys zijn hierboven genoemd. Maar eenmaal goed opgezet, kunnen via internetsurveys ingewikkelde designs worden uitgevoerd en kunnen in een relatief korte tijd en tegen lage kosten grote aantallen respondenten worden bevraagd.
De vraagformulering is eveneens van groot belang. Suggestieve of onduidelijke vragen leiden tot andere antwoorden dan meer neutrale en heldere formuleringen. Ook kunnen de antwoorden worden beïnvloed door de vraagcontext, de overige vragen in de vragenlijst, de volgorde waarin de vragen worden gesteld en de aard en het aantal gegeven antwoordalternatieven.
Ten slotte, de derde vraag: wat kan en moet er zoal gevraagd worden? Eigenlijk alles wat je redelijkerwijs aan mensen kunt vragen. Maar dan wel op een manier waarop het voor de respondent duidelijk is wat er precies wordt bedoeld. Daarbij moet je tevens rekening houden met het feit dat mensen een slecht en selectief geheugen (kunnen) hebben: vragen naar het verleden zullen hierdoor getekend zijn. Daar zijn overigens wel hulpmiddelen voor ontwikkeld.
Het wie, hoe en wat van surveyonderzoek is nauw met elkaar verweven. Maar eenmaal goed gebruikt en geïnterpreteerd, vormen de uitkomsten een bron van kennis en input, zowel voor de wetenschap als de ‘gewone’ maatschappij.
Wetenschappers, politici, journalisten dienen echter wel rekening te houden met alle complicaties. Het surveyleven is niet simpel!
Marcel Das is hoogleraar econometrie en dataverzameling aan de Universiteit van Tilburg. Jacques Hagenaars is hoogleraar methodologie in Tilburg.