Gokken met data in de strijd tegen corona

Een veelbelovende troef in de strijd tegen corona is het vaccin tegen tuberculose: het BCG-vaccin. Dit vaccin geeft het afweersysteem een boost, waardoor het niet alleen beschermt tegen tuberculose, maar het lichaam ook weerbaarder maakt tegen andere infecties. Dit maakt de gevolgen van een coronabesmetting mogelijk minder ernstig.

Het bewijs dat het BCG-vaccin een verbeterde bescherming tegen de gevolgen van Covid-19 biedt, is nog niet onomstotelijk geleverd. Verspreid over de wereld hebben ongeveer vijftien onderzoeksgroepen studies opgezet om de invloed van het vaccin op het ziekteverloop van Covid-19 te onderzoeken. Dat onderzoek levert een gigantische berg gegevens op.

Bij de verwerking van al die gegevens is er alleen één probleem: gangbare statistische methoden maken het heel lastig om de onderzoeksresultaten tussentijds met elkaar te combineren. En dat terwijl het van essentieel belang is om zo snel mogelijk tot een conclusie te komen.

Toeval uitschakelen

Statistici Peter Grünwald en Judith ter Schure gebruiken een compleet nieuw soort statistiek waarmee zij relatief eenvoudig de gegevens van alle onderzoeken met elkaar kunnen combineren en zij aan de bel kunnen trekken zodra er voldoende bewijs is voor de effectiviteit van het BCG-vaccin.

In het onderzoek naar het effect van het BCG-vaccin heeft één groep het vaccin toegediend gekregen en de andere groep, de controlegroep, een placebo. Bekeken wordt of er een verschil optreedt tussen deze twee groepen. Er komt echter altijd een toevalsfactor bij kijken. In de ene groep kunnen ook door puur toeval net iets minder mensen ziek worden. De vraag is dan wanneer het verschil tussen de twee groepen groot genoeg is om te zeggen dat het vaccin iets doet. Om die vraag te beantwoorden wordt statistiek gebruikt.

Het nadeel van klassieke statistische methoden is dat van tevoren altijd precies moet worden vastgelegd hoeveel patiënten aan het onderzoek meedoen. “Je kunt niet eerder stoppen, of bijvoorbeeld langer doorgaan als het er veelbelovend uitziet,” vertelt Grünwald. “Af en toe zal het door puur toeval lijken alsof een vaccin werkt. Als je alleen in die gevallen verder gaat met het onderzoek, of juist precies na een toeval­lige reeks goede resultaten stopt, lijkt het bewijs groter dan het eigenlijk is.”

Bij het combineren van verschillende studies vormt dit ook een groot probleem. Je wilt namelijk kunnen stoppen zodra je genoeg gegevens hebt verzameld om te zeggen of iets werkt. Op dat moment kun je het vaccin gaan inzetten om de gevolgen van een coronabesmetting te beperken. Met klassieke statistiek kan dat niet omdat van tevoren precies moet zijn bepaald hoeveel patiënten elke studie meeneemt en gewacht moet worden tot alle studies zijn voltooid. En dat kan wel even duren.

“Afgelopen zomer waren er heel weinig covidpatiënten,” vertelt Ter Schure. “Heel veel studies konden daardoor niet worden afgerond. Dan kun je de resultaten heel moeilijk samenvoegen. Onze methode, die we safe testing noemen, maakt dit wel mogelijk. Het was dus echt een vooruitziende blik van Henri van Werk­hoven, de statisticus van de Nederlandse BCG-studies, om safe testing in te zetten.”

Roulette

Met safe testing kan een studie wel eerder worden gestaakt of juist langer doorgaan. De methode maakt het ook mogelijk de resultaten van alle onderzoeken met elkaar te combineren, zonder dat van tevoren de details van alle afzonderlijke studies bekend zijn. “Deze methode werkt eigenlijk hetzelfde als een weddenschap,” vertelt Grünwald. “Uit elke studie komt een getalletje rollen dat aangeeft hoeveel bewijs er is dat het vaccin effect heeft: de zogenoemde E-waarde. Die E-waarde kun je zien als virtueel geld. Je kunt het vergelijken met het inzetten in een casino. Stel dat je er achter probeert te komen of het roulettewiel eerlijk is of niet. Als het wiel eerlijk is, is de kans altijd heel klein dat je veel geld verdient, wanneer je ook stopt. Als je dus begint met 100 euro en op een bepaald moment 10.000 euro in handen hebt, dan is het wiel waarschijnlijk niet eerlijk. Het maakt dan niet uit wanneer je stopt.”

In plaats van zelf een week lang in het casino te vertoeven, kun je ook verschillende mensen achter elkaar het roulettewiel laten testen. Dan heb je dezelfde situatie als het samenvoegen van meerdere studies. “Maar,” benadrukt Ter Schure, “het is wel belangrijk dat je door blijft spelen met hetzelfde geld. De tweede tester gaat dus door met het bedrag waarmee de vorige is geëindigd. Zo voeg je de onderzoeken daadwerkelijk samen. Als je 150 mensen tegelijk met honderd euro aan de roulettetafel laat spelen is er altijd wel toevallig één iemand die veel geld wint. Dat hoeft niet te betekenen dat het casino niet eerlijk is.”

Een hoge E-waarde zegt hetzelfde als een groot in een casino gewonnen bedrag: er is meer aan de hand dan je op grond van puur toeval zou verwachten. Het vaccin doet iets. Ter Schure houdt op een dashboard de resultaten in de gaten. Passeert de gezamenlijke E-waarde een bepaalde drempel, dan is er voldoende bewijs dat het vaccin effect heeft.

Andere mindset

Ter Schure: “Het meten van zo’n gezamenlijke E-waarde brengt een grote verantwoordelijkheid met zich mee. Wat doe je op het moment dat de E-waarde de drempel passeert? Ga je dan direct iedereen vaccineren? We gaan nu nog met alle deelnemende onderzoeksgroepen afspreken hoe we die beslissing willen nemen. Het is belangrijk dit vooraf vast te leggen, zodat iedereen vertrouwen heeft in de drempel en weet hoe er gehandeld wordt als het bewijs de drempel haalt. Gelukkig is de bijdrage van elke studie aan het totaal heel inzichtelijk. Stel dat één onderzoek een gigantisch hoge E-waarde heeft vergeleken met alle andere onderzoeken, dan zie je dat meteen.”

De coronacrisis is de vuurdoop voor de safe-testingmethode. “Het is uniek dat er zo veel studies op exact hetzelfde moment lopen,” zegt Ter Schure. “Daarnaast heeft iedereen natuurlijk veel haast. Ik hoop ook eigenlijk dat dit kan zorgen voor een verandering van mindset in de weten­schap. Nu belanden veel onderzoeken die net niet overtuigend genoeg zijn in een la. Omdat onze combinatiemethode zo simpel is, wordt het veel makkelijker om samen te werken. Zo kan elke studie bijdragen, hoe klein ook. Ik hoop dat dit de wetenschap wat minder ‘ieder voor zich’ zal maken.”