‘Discussie over de transparantie van algoritmen blijft nodig’

In februari moest de overheid stoppen met SyRI (Systeem Risico Indicatie), een systeem om frauderende burgers op te sporen. De rechter noemde in de uitspraak risico’s op discriminatie en stigmatisering en aantasting van de privacy. Gebrekkige transparantie van het gebruikte algoritme speelde de hoofdrol.

Een algoritme werkt als een recept: stop er data over burgers in en het systeem voorspelt welke persoon zal frauderen. SyRI was on­voldoende transparant over de werking.

Door de coronapandemie leken algoritmen naar de achtergrond verdwenen, hoewel ze ook spelen bij de corona-apps. Minister Ollongren heeft de Tweede Kamer inmiddels geschreven over risico’s en de juridische aspecten van ‘algoritmen die besluiten nemen’ – er komt dan geen menselijk oordeel meer aan te pas.

Intellectueel eigendom

Met aandacht voor eerlijke, niet-discriminerende algoritmen zijn we op de goede weg, al blijft discussie nodig over de transparantie van algoritmen. Daarbij staan twee vragen ­centraal. Waar komt dat gebrek aan trans­parantie eigenlijk vandaan? En wat bedoelen we en wat willen we met transparantie?

Een gebrek aan transparantie kan verschillende oorzaken hebben. Soms wil de ontwikkelaar van het algoritme niet vertellen hoe het werkt. In de Verenigde Staten speelt dit bij een algoritme dat rechters gebruiken om te voorspellen welke verdachten zullen recidiveren. De fabrikant wil niet vertellen hoe dit precies werkt om zijn intellectueel eigendom te beschermen.

In het geval van SyRI wilde de overheid geen details delen over het algoritme, omdat fraudeurs er dan rekening mee kunnen houden, wat het systeem minder effectief maakt.

Gebrek aan transparantie kan verder het gevolg zijn van techniek en van complexiteit. De deep-learning algoritmen, bijvoorbeeld, werken op zo’n manier dat ook experts ze lastig kunnen volgen.

Rekenschap

Wat we bedoelen met transparantie, de tweede centrale vraag, is iets waar betrokkenen verschillend over denken. Wetenschappers be­doelen met transparantie vaak: begrijpelijk en ­uitleg­baar. Zij ontwikkelen methoden om ­algoritmen beter te begrijpen en uit te leggen.

De mensen die algoritmen toepassen binnen de overheid, associëren transparantie vooral met rekenschap geven en verantwoording afleggen. Ze leggen vast welke data ze verzamelen en hoe ze de algoritmen inzetten in processen waar de burgers mee te maken krijgen.

En die burgers zelf? Zij willen ‘hun’ data ­kunnen inzien en eventueel corrigeren.

Tegen de conclusie van een algoritme willen ze beredeneerd bezwaar kunnen maken.

Idealiter komen die drie werelden – wetenschap, overheid en burgers – bij elkaar in een helder debat rond drie vragen. Kunnen we het algoritme begrijpelijk en uitlegbaar maken?

Wil de overheid open zijn over de data en algoritmes die ze gebruikt? En krijgen burgers ­voldoende inzage, uitleg en mogelijkheden om bezwaar te maken?

Rode vlag

Om het debat te verhelderen, stel ik voor voor­taan in specifieke termen te spreken over de transparantie van algoritmen, dus niet als een abstract begrip.

We kunnen dan spreken over een specifiek aspect van het algoritme, bijvoorbeeld over accuraatheid of over risico’s van discriminatie. Daarnaast kunnen we helder maken voor wie die transparantie bedoeld is, bijvoorbeeld voor een ambtenaar die het algoritme gebruikt of voor een burger die vragen heeft. Bovendien kunnen we hebben over het doel van transparant maken, bijvoorbeeld om het algoritme te testen en te verbeteren.

Dan kunnen we het bijvoorbeeld hebben over de accuraatheid van een algoritme voor risico-indicatie, voor een opsporingsambtenaar, zodat deze aan een burger kan uitleggen waarom er een ‘rode vlag’ bij zijn of haar naam staat, en zodat die burger de gang van zaken kan volgen en eventueel corrigeren. […]

Dan kan het gesprek gaan over een specifiek aspect van een bepaald algoritme, bijvoorbeeld de accuraatheid. Of het kan gaan over het risico van discrimineren: voor een specifiek persoon, bijvoorbeeld voor iemand die het algoritme wil toetsen, of voor een burger die te maken krijgt met de uitkomst van het algoritme.

Zo’n gesprek kan zich richten op een specifiek doel, bijvoorbeeld verbeteren of toetsen van het algoritme. Dan gaat het bijvoorbeeld over de accuraatheid van een algoritme voor risico-indicatie, voor een opsporingsambtenaar, zodat deze aan een burger kan uitleggen waarom er een ‘rode vlag’ achter zijn of haar naam staat. Daarmee kan de burger de gang van zaken begrijpen en eventueel corrigeren.

Als mensen vanuit overheid en wetenschap met burgers over transparantie spreken in zulke specifieke en concrete termen, dan kunnen we algoritmen ontwikkelen en inzetten die passen binnen onze rechtstaat zonder discriminatie, stigmatisering en aantasting van de privacy.