Mensenrechtencollege: discriminatie door VU-algoritme aannemelijk

Voor de eerste keer heeft iemand discriminatie door een algoritme aannemelijk gemaakt, stelt het College voor de Rechten van de Mens. Een Amsterdamse student meent dat de software haar niet herkende als ze moest inloggen voor tentamens, vanwege haar huidskleur.

ANP
null Beeld ANP / Kim van Dam
Beeld ANP / Kim van Dam

De Vrije Universiteit in Amsterdam (VU) moet aantonen dat antispieksoftware die de instelling gebruikte niet discrimineert, stelt het college in een tussenoordeel.

Volgens de masterstudent in kwestie herkende de software haar gezicht vaak niet. Ze kreeg dan meldingen als ‘face not found’ of ‘room too dark.’ Ook werd ze meerdere keren door de software uit het tentamen gegooid, waarna ze opnieuw moest inloggen. “Ik had al snel het vermoeden dat het iets met mijn huidskleur te maken had,” zegt Robin Pocornie. “En toen ik ging zoeken naar andere ervaringen wist ik het vrij zeker.”

“Het is algemeen bekend dat gezichtsdetectiealgoritmes slechter presteren op mensen met een donkere huidskleur,” schrijft het college daarover. Het college vindt ‘dat de vrouw erin geslaagd is voldoende feiten aan te dragen voor een vermoeden van discriminatie’.

Belangrijk moment

De VU heeft navraag gedaan bij de leverancier van de software, die na een onderzoek stelde dat niets wijst op discriminatie door het algoritme. Ook zou de student volgens de VU niet uitzonderlijk lang over het inloggen hebben gedaan, of opvallend vaak uit de tentamens gegooid zijn. Als er problemen waren, zijn die waarschijnlijk het gevolg van bijvoorbeeld een slechte internetverbinding, zo redeneert de universiteit.

Volgens het college heeft de VU echter ‘te weinig controleerbare gegevens’ aangeleverd waaruit zou blijken dat de software niet discrimineert. De universiteit krijgt tien weken om te bewijzen dat de software inderdaad niet gediscrimineerd heeft.

Volgens voorzitter Jacobine Geel van het mensenrechtencollege is de uitspraak een ‘belangrijk moment’. “Het is iemand namelijk gelukt om te zeggen: hey, wat dit algoritme doet is vreemd. Ik vermoed dat het algoritme discrimineert.” Naomi Appelman, voorzitter van het Racism and Technology Center, hoopt dat de uitspraak ‘een les’ is voor organisaties die gezichtsherkenning willen inzetten. “Garanties van de leverancier van de technologie zijn daarbij niet genoeg.”

De VU laat via een woordvoerster weten met het oordeel ‘aan de slag’ te gaan. In de tussentijd kan de universiteit ‘geen inhoudelijke reactie geven’.

Wilt u belangrijke informatie delen met Het Parool?

Tip hier onze journalisten


Op alle verhalen van Het Parool rust uiteraard copyright.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@parool .nl.
© 2023 DPG Media B.V. - alle rechten voorbehouden