Plus

Waarom de meeste peilers er naast zaten bij verkiezingen VS

Tien van de negentien grote Amerikaanse peilingbureaus zaten er naast met hun voorspelling over de uitslag van de verkiezingsstrijd tussen Joe Biden en Donald Trump. Dat komt deels door de manier van peilen, die anders is dan in ons land.

Beeld AP

Zoals tal van Nederlanders zit ook Jelke Bethlehem al dagen aan de buis gekluisterd: uren CNN heeft hij erop zitten. De emeritus hoogleraar survey-methodologie van de Universiteit Leiden kijkt met bijzondere interesse. Hij bestudeert vooral hoe de peilingen in Amerika uitpakken.

Zeker op de verkiezingsdag leken die er, net als vier jaar geleden, faliekant naast te zitten. En hoewel de afgelopen dagen de score iets verbeterde, met name omdat de stemmen per post vooral naar Biden gingen, noemt Bethlehem de prestatie van de peilers ‘niet zo heel goed’.

“Het is iets minder erg geworden, maar de meeste peilingen zijn gewoon, achteraf bezien, niet goed te noemen. Een kleine meerderheid heeft er toch significant naast gezeten,” aldus Bethlehem, die ook 36 jaar voor het Centraal Bureau voor de Statistiek (CBS) werkte.

Marge

Hij analyseerde het werk van negentien peilingbureaus. Op verkiezingsavond zaten er nog twaalf ‘significant’ naast. De meeste peilers voorspelden een groter verschil tussen Biden en Trump dan 2 procent. De voorspellingen liepen in één geval zelfs op tot 14 procent voorsprong voor Biden, de meeste lagen rond de 10 procent. “De meeste peilers zaten er dus ronduit naast, want hun foutmarge kwam niet eens in de buurt van wat de uitslag lijkt te worden,” aldus Bethlehem.

Plaatselijke peilingen waren her en der net zo slecht. De website FiveThirtyEight nam bijvoorbeeld het gemiddelde van de peilingen tussen Biden en Trump voor de staat Wisconsin en kwam tot een voorsprong van 8,4 procent. Hoewel Biden de afgelopen dagen de leiding nam in die staat, is de marge nu zo’n 0,6 procent. Een megaverschil.

Opleiding

De afwijkingen zijn des te vreemder, omdat de peilers er vier jaar geleden ook naast zaten bij de race tussen Trump en Hillary Clinton. In reactie daarop stelden de peilingbureaus dat zij te veel witte hoger opgeleiden in de peilingen hadden meegenomen en te weinig lager opgeleiden. Hierdoor peilde Clinton te hoog. “Die fout zeggen ze te hebben hersteld.”

Maar waar het dan wel mis ging? Dat is nog gissen, meent Bethlehem. Peilers geven weinig prijs van hun methodes. Zelfs naar het aantal respondenten is het goed zoeken. “Daardoor blijft het ook schimmig waarom de afwijkingen zo groot zijn.”

Opkomst

Er zijn vermoedelijk meerdere verklaringen. Zo was er een veel hogere opkomst dan werd voorspeld. Daardoor kunnen er kiezers naar de stembus zijn gegaan, die zich niet vertegenwoordigd weten in de peilingpopulatie. Denk aan bepaalde groepen onder Latijns-Amerikanen, zegt Bethlehem.

In Arizona meldden Amerikaanse media bijvoorbeeld dat latino’s daar hun stempel op de uitslag drukten. Amerikanen met een Latijns-Amerikaanse achtergrond vormen nu zelfs de grootste minderheidsgroep bij de verkiezingen, groter dan de zwarte gemeenschap.

Daarnaast kan er ook sprake zijn geweest van een ‘shy Trump-effect’, denkt Bethlehem. “Mensen die in peilingen niet hebben durven zeggen dat ze op Trump gingen stemmen, maar beweerden voor Biden te gaan.”

“Het gaat niet mis bij een paar peilers die dat hebben gemist. Dat is uniek aan deze verkiezing,” zei Patrick Murray tegen de website Politico, namens het Monmouth University Polling Institute. “Het lijkt er op dat als de naam ‘Donald Trump’ op het stembiljet staat, alle voorspellingen de prullenbak in kunnen.”

Enkele uitzonderingen waren er wel, vooral als je per staat kijkt. De Trafalgar Group, die vier jaar geleden de overwinning van Trump voorzag, zegt juist te hebben geprobeerd om te corrigeren voor degenen die logen over hun stem. In Wisconsin had de Trafalgar Group de winst van Biden goed, net als in Florida waar Trump won, terwijl veel peilers een verlies voorzagen. Tegelijkertijd zat de peiler er naast in Georgia en Michigan.

Methodes

Statistische problemen kunnen ook een rol spelen. Dat heeft te maken met de methodes van de peilingbureaus. Ze gebruiken ruwweg drie verschillende: telefonische interviews, internetformulieren en robocalls, waarbij een computer belt.

Bij de telefonische interviews wordt veelal gebruik gemaakt van een Random Digit Dialing-systeem. Een computeralgoritme genereert willekeurige telefoonnummers. Probleem is vaak dat de respons dan heel laag is: meestal doet niet meer dan 10 procent van de gebelde personen mee. Dat kan een scheef beeld geven als de aanhangers van Trump of Biden juist vaker wel of niet meedoen.

“Het voortdurende en groeiende probleem van mensen die niet reageren op peilinginterviews is iets waar we heel nauwkeurig naar moeten gaan kijken,” verklaarde Don Levy, de directeur van het Siena College Research Institute dat peilingen deed voor The New York Times tegen website Politico.

Bij de robocall gaat het om telefonische peilingen, waarbij de computer ook willekeurige telefoonnummers genereert, automatisch belt en vervolgens antwoorden opslaat doordat de deelnemer cijfers intoetst op basis van de vragen. Probleem hierbij is echter dat het enkel via de vaste lijn werkt, terwijl veel mensen alleen nog maar een mobiele telefoon hebben.

En dan zijn er de pure online peilingen, soms volstrekt willekeurig, maar ook niet zelden uit een geselecteerd webpanel. De mate van representativiteit van het panel van mensen dat meedoet aan de peiling, bepaalt uiteraard ook de nauwkeurigheid van de voorspelling.

De gezaghebbende peilers van de Monmouth University kijken volgens de eigen website voorafgaand aan de telefonische interviews naar de samenstelling van hun panel. Factoren die worden genoemd zijn stemgeschiedenis, de waarschijnlijkheid dát iemand gaat stemmen, de reden waarom, ras, geslacht en opleidingsniveau. Volgens Bethlehem kan het dus misgaan als een groep zich niet in zo’n panel vertegenwoordigd weet.

Nederland

Dat speelt bij Nederlandse peilingen veel minder. “Onze peilingen zijn over het algemeen beter,” stelt Bethlehem. Het gros van de peilers hier gebruikt geselecteerde panels, waarbij van meet af aan een zo representatief mogelijk gezelschap wordt gekozen.

Gevaar daarbij is vooral dat mensen van een bepaalde politieke kleur vaker bereid zijn mee te werken dan andere kiezers. “Dat geeft afwijkingen.” Toch weet Bethlehem dat de selectie vaak tamelijk fijnmazig is. Hij noemt die van de Tilburg University als voorbeeld. Die loot een panel uit het bevolkingsregister, op basis van gegevens van het CBS om een ‘representatieve afspiegeling van de Nederlandse bevolking’ te krijgen. Je kunt je er niet voor opgeven.

Niet dat Nederlandse peilingen feilloos zijn. Bij de Tweede Kamerverkiezingen in 2017 haalde de VVD 33 zetels, maar de peilingen kwamen op slechts 29 (Politieke Barometer) of 24 zetels (1Vandaag en LISS-panel).

Wat de Amerikanen precies slechter doen en waarom, blijft volgens Bethlehem gissen. “Ik denk dat zij zichzelf dat ook afvragen en de komende tijd hun methodes onder het vergrootglas zullen leggen.”

Meer over

Wilt u belangrijke informatie delen met Het Parool?

Tip hier onze journalisten


Op alle verhalen van Het Parool rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@parool .nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden