Opinie

Hoeveel klopt er van het onderzoek achter opvallend nieuws?

Wie iets algemeens wil zeggen over de werkelijkheid, moet wel goed onderzoek doen, schrijft Jelke Bethlehem, bijzonder hoogleraar in de surveymethodologie aan de Universiteit Leiden. Hij legt drie opvallende berichten onder de loep.

Dat 87 procent van de Amsterdamse fietsers zich aan de verkeersregels houdt, volgde uit observaties op tien drukke kruispunten. Onvoldoende om iets te zeggen over dé Amsterdamse fietser. Beeld Floris Lok

Steeds minder Nederlandse jongeren drinken op jonge leeftijd alcohol. 87 procent van de Amsterdams fietsers houdt zich aan de verkeersregels. Een meerderheid van de Schotten is nu voor onafhankelijkheid. Dat zijn zomaar wat berichten uit de media over de uitkomsten van recent onderzoek. Kloppen die berichten eigenlijk wel? Zijn de beweringen wel zo hard als ze lijken of moeten ze met een korreltje zout worden genomen?

Er wordt veel onderzoek gedaan in Nederland. Daarbij zit goed en slecht onderzoek. Het is lang niet altijd eenvoudig om het kaf van het koren te scheiden. Daarom is het altijd goed om te kijken naar de manier waarop het onderzoek is opgezet en uitgevoerd.

Eén van de cruciale aspecten is de representativiteit van het onderzoek.

Steekproef
Het onderzoeken van iedereen in de doelgroep is duur en tijdrovend. Daarom wordt meestal met een steekproef gewerkt. Die steekproef moet een goede afspiegeling zijn van de hele groep. De gouden regel om aan een representative steekproef te komen, is het loten van mensen uit de groep. Het toeval bepaalt wie er wel of niet in de steekproef komt. Alleen dan kunnen we de uitkomsten van een onderzoek generaliseren naar de hele groep.

Het onderzoek naar het alcoholgebruik bij jongeren is uitgevoerd door de Universiteit Utrecht samen met het Trimbos-instituut en het Sociaal en Cultureel Planbureau. De doelgroep bestond uit leerlingen in het basisonderwijs (groep 8) en het voortgezet onderwijs (eerste vier klassen). Daaruit is een keurige steekproef genomen door scholen te loten en vervolgens binnen de scholen groepen of klassen. Alle leerlingen in de geselecteerde klassen vulden een vragenlijst in. Dit onderzoek was dus goed opgezet. Het leverde een representatieve steekproef op.

Kruispunten
Iets lastiger ligt het bij het onderzoek onder de Amsterdamse fietsers. De Universiteit van Amsterdam heeft samen met Copenhagen Design Co geprobeerd te onderzoeken of Amsterdamse fietsers zich aan de regels houden. Maar hoe trek je een steekproef uit de Amsterdamse fietsers? In dit onderzoek is dat niet gedaan. In plaats daarvan zijn tien drukke kruispunten geselecteerd waar de fietsers wel eens afwijkend gedrag zouden kunnen vertonen, zoals het Frederiksplein en het Meester Visserplein. Op die plekken werd het gedrag van de fietsers geobserveerd op drie dagen in februari.

Deze steekproef was helemaal niet representatief, omdat alleen op speciale, drukke locaties naar het gedrag van de fietsers werd gekeken. Misschien gedragen fietsers zich in rustige buitenwijken heel anders. En er werd alleen maar in februari gekeken. Misschien gedragen fietsers zich op zonnige zomerdagen heel anders. Als je iets over de Amsterdamse fietsers in het algemeen wilt zeggen, dan zal je toch een nette steekproef in ruimte en tijd moeten trekken.

En dan het Schotse referendum. Op 7 september kwamen bijna alle media met het bericht dat voor het eerst een meerderheid van de Schotten (51 procent) voor onafhankelijkheid was. Dat was de uitkomst van een peiling van opinieonderzoeker YouGov. The Sunday Times sprak van een shock poll en de Engelse politici leken in paniek.

Maar hoe hard is dat percentage van 51 procent eigenlijk? Enig zoekwerk op de website van YouGov levert op dat de steekproef voor deze peiling bestond uit iets meer dan duizend Schotten. Die steekproef was getrokken uit een internetpanel van YouGov. In dit panel zitten ongeveer 350.000 Britten. Die hebben zichzelf spontaan aangemeld voor dit panel.

Zelfselectie noemen we dat. En natuurlijk moeten ze toegang tot internet hebben. Deze steekproef kan niet representatief worden genoemd.

Onzekerheidsmarge
Ook had de peiler duidelijk moeten maken dat er onzekerheidsmarges zijn. Omdat je niet de hele groep onderzoekt, maar slechts een steekproef daaruit, kun je nooit exacte cijfers krijgen, maar wel schattingen die bij de werkelijke cijfers in de buurt liggen. Voor een steekproef van duizend personen is de onzekerheidsmarge drie procent. Dat betekent dat de uitkomst van de peiling hooguit drie procent kan afwijken van het werkelijke percentage in de hele doelgroep. De 51 procent van YouGov had dus ook 48 procent kunnen zijn, of 54 procent. Je kunt dus niet concluderen dat de Schotten in meerderheid voor onafhankelijkheid zijn, maar wel dat het een nek-aan-nekrace is.

Het is dus niet zo verstandig om de uitkomsten van een peiling klakkeloos te accepteren. Om een idee te krijgen van de kwaliteit van een peiling, kan de Checklist voor peilingen de helpende hand bieden. Di kan worden gedownload van www.peilingpraktijken.nl.


Wil je reageren op dit artikel? Dat kan! Scroll (een beetje) naar beneden om een reactie te plaatsen.

Jelke Bethlehem. Beeld Eigen foto
Jelke Bethlehem
bijzonder hoogleraar in de survey-methodologie bij het Instituut Politieke Wetenschap van de Universiteit Leiden
Meer over

Wilt u belangrijke informatie delen met Het Parool?

Tip hier onze journalisten


Op alle verhalen van Het Parool rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@parool .nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden