Opinie

‘Voer kritisch maatschappelijk debat over grenzen van digitale controle’

Volgens Dimitri van den Meerssche moet het gerechtelijk verbod op de inzet van monitoringssysteem SyRI leiden tot een maatschappelijk debat over de grenzen van de digitale controlestaat.

Artificiële intelligentie is vaak niet transparant.Beeld Getty Images

Begin februari oordeelde de rechtbank in Den Haag dat computersysteem SyRI op disproportionele wijze de privacy van kwetsbare burgers schendt. Daarmee werd aan de rechtsstatelijke noodrem getrokken in een proces van digitale overheidscontrole dat de voorbije jaren in een stroomversnelling is geraakt.

Dit is niet het einde maar het begin van een maatschappelijk debat over de digitale (welvaarts)staat. Het is essentieel daarbij te onderstrepen waarom het gebruik van bepaalde vormen van datakoppeling, artificiële intelligentie en algoritmische risico-indicatie fundamenteel in strijd is met de rechtsstaat.

SyRI (Systeem Risico Indicatie) is een instrument waarmee algoritmen worden ingezet door de overheid om risico’s op fraude te detecteren in grote hoeveelheden persoonlijke data. In een bijzonder sterk gemotiveerd vonnis werd de wet die dit systeem verankerde door de rechtbank in strijd geacht met het recht op respect voor het privéleven en onverbindend verklaard.

Daarmee stelt de rechterlijke macht fundamentele grenzen aan het gebruik van nieuwe technologieën door de overheid, zoals het een functionerende grondwettelijke staat betaamt.

Monumentale uitspraak

Het is een monumentale uitspraak die door experts in internationaal recht als globaal precedent wordt aanzien. SyRI is immers slechts een van vele overheidssystemen (binnen en buiten Nederland) die algoritmische risicomodellen, artificiële intelligentie en big data gebruiken in beslissingen. Beslissingen die een directe impact kunnen hebben op (vaak de meest kwetsbare) burgers.

De uitspraak moet daarom niet alleen worden toegejuicht maar ook als aanleiding worden gezien voor een kritisch maatschappelijk debat over de grenzen van de digitale controlestaat.

Systemen die zoals SyRI gebruik maken van algoritmen en datakoppeling voor het opstellen van risicomeldingen en het sturen van beslissingen, zijn fundamenteel onverenigbaar met verschillende democratische waarden. Eerst en vooral wordt persoonlijke data van grote groepen burgers verzameld en geanalyseerd zonder voorafgaande indicaties van onrechtmatig gedrag en zonder toestemming of kennisgeving. Deze verregaande digitale inspectie is dus proactief: er gaat geen onderzoek vooraf aan het koppelen en interpreteren van privé-informatie die niet voor dit doel werd verschaft. Dit zet het vermoeden van onschuld op zijn kop en schaadt de vertrouwensrelatie tussen de staat en zijn burgers.

Risicomodel

Ten tweede zijn de algoritmen en risicomodellen die systemen zoals SyRI hanteren duidelijk onverenigbaar met het principe dat de staat op een transparante manier beslissingen moet nemen en daar ook verantwoording voor moet afleggen.

Dat het risicomodel gebruikt door SyRI geheim werd gehouden is uiteraard een flagrante schending van dit principe. Het probleem gaat echter veel dieper. Bepaalde types van artificiële intelligentie (waar de SyRIwet volgens de rechtbank ruimte voor biedt) zijn immers inherent ondoorgrondelijk. Het gebruik van deep learning, bijvoorbeeld, impliceert dat de logica en de factoren van besluitvorming constant evolueren op basis van algoritmische associaties die ook voor de ontwerpers van het systeem ondoorzichtig zijn.

Dat wordt ook wel beschreven als de black box van artificiële intelligentie. Dit is geen kwestie van doelbewuste geheimhouding, maar een essentiële eigenschap van technologieën waar overheden mee experimenteren op tal van terreinen (van antiterrorisme tot het opsporen van illegale vakantieverhuur in Amsterdam). Het inzetten van deze technologie is onverenigbaar met de noodzaak van transparantie en de verantwoordingsplicht van de staat.

Tot slot staan digitale systemen zoals SyRI op gespannen voet met het gelijkheidsbeginsel en het verbod op discriminatie. Deze spanning is duidelijk in het geval van SyRI waar specifiek werd ingezet op controle in zogenaamde ‘probleemwijken’, waar een grote concentratie burgers zich in een precaire sociale en politieke situatie bevinden.

Belastingfraude

Er is echter geen enkele technische reden waarom het systeem niet evengoed zou kunnen worden gebruikt voor het bestrijden van belastingfraude in andere segmenten van de samenleving. Sociaaleconomische ongelijkheid vertaalt zich in digitale kwetsbaarheid.

Maar ook hier gaat het probleem verder dan enkele de opzichtige gebreken van het SyRIsy-steem. Ook wanneer systemen van risicoprofilering niet gericht zijn op een specifieke maatschappelijk groep, bestaat nog de reële mogelijkheid dat algoritmische associaties worden gelegd die onbedoeld en indirect discriminerend zijn. De voorbeelden van dergelijke pattern discrimination zijn ontelbaar.

In Davos was premier Mark Rutte onlangs optimistisch over de eindeloze mogelijkheden van artificiële intelligentie. De neveneffecten kunnen worden ingeperkt, stelde hij, door goed onderwijs, nieuwe ‘standaarden’ en het ‘onafhankelijke denken van burgers’. Als de uitspraak van de rechtbank in Den Haag ons iets leert is het echter dat we ons niet redden met zulke vage politieke beloftes en perspectieven. Het kader voor politiek handelen is de rechtsstaat. Voor systemen als SyRI is daarin geen plaats.

Dimitri van den Meerssche, internationaal jurist, postdoc bij het Asser Instituut voor internationaal en Europees recht.
Meer over

Wilt u belangrijke informatie delen met Het Parool?

Tip hier onze journalisten


Op alle verhalen van Het Parool rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@parool .nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden