Opinie

Opinie: ‘UvA, verhul racisme van proctoring niet met mooie woorden’

Surveillancesoftware benadeelt mensen van kleur, blijkt uit onderzoek. Waarom gebruikt de UvA het dan nog, vragen Naomi Appelman, Jill Toh en Hans de Zwart.

Gezichten met een donkere huidskleur worden slecht herkend in de surveillance­software die de Universiteit van Amsterdam verplicht bij tentamens. Beeld Getty Images
Gezichten met een donkere huidskleur worden slecht herkend in de surveillance­software die de Universiteit van Amsterdam verplicht bij tentamens.Beeld Getty Images

Tijdens de Black Lives Matterprotesten vorig jaar vond ook de Universiteit van Amsterdam het belangrijk om een statement te maken. Op Instagram werd het beeld op zwart gezet, er kwam een solidariteitsverklaring #blackouttuesday en de UvA gaf aan dat racisme niet wordt getolereerd. Toch begon op datzelfde moment het grootschalig uitrollen van racistische software: proctoring.

Deze surveillancesoftware draait op de computer van de student thuis om tijdens de pandemie op afstand te kunnen toetsen. Proctoring checkt of de student niet fraudeert en is de afgelopen weken weer ruimschoots gebruikt bij tentamens op de UvA.

Studenten worden zo verplicht een soort spyware te installeren die via de webcam en microfoon hun gedrag controleert en in de gaten houdt of er geen andere programma’s open staan dan de tentamensoftware. Nadat een student zichzelf met de camera heeft geïdentificeerd en heeft laten zien dat er in de kamer niets is dat zou kunnen helpen bij het tentamen, mag er niet meer weg worden gekeken van het scherm. Nadenkend naar buiten staren is er niet meer bij. Studenten plassen soms bijna in hun broek omdat ze tijdens het tentamen niet naar de wc mogen.

‘Afwijkend’ gedrag

Het is belangrijk te beseffen hierbij geen menselijke surveillanten zijn. De kunstmatige intelligentie monitort honderden studenten tegelijkertijd. Een algoritmische waakhond kent aan het einde van het tentamen elke student een score toe voor ‘afwijkend’ gedrag. Beelden van een student met een hoge score kunnen naderhand door een mens worden beoordeeld.

Het zal niet verbazen dat studenten geen fan zijn van proctoring. UvA-studenten zijn vorig jaar naar de rechter gestapt om het gebruik van de software stop te laten zetten. De rechtszaak ging over de ontbrekende toestemming van de studentenraad voor het invoeren van proctoring en over de vraag of de software voldoet aan de privacyregels. Inmiddels hebben de studenten bij twee instanties hun zaak verloren.

Maar één cruciaal detail is door geen van de betrokken partijen in de rechtszaak aangedragen: wordt iedereen wel gelijk behandeld door de proctoringsoftware? Zou het kunnen zijn dat sommige mensen door het algoritme eerder worden beschuldigd als potentiële fraudeur dan anderen?

In de media zijn al veel anekdotes opgetekend over studenten met een donkere huidskleur die extra stress ervaren bij een toets, omdat ze door de proctoringsoftware niet worden herkend als mens. Tijdschrift The New Yorker schrijft bijvoorbeeld over student bewegingsleer en topsporter Femi Yemi-Ese bij wie Proctorio – de proctoringsoftware die ook door de UvA wordt gebruikt – bij geen van de zeven online tentamens meteen zijn gezicht herkende. Dit ondanks de ringlamp achter zijn laptop die het contrast van het beeld voor de webcam moet verbeteren, waardoor hij tijdens de hele toets rechtstreeks in het licht moet kijken.

Zijn witte medestudenten hebben nergens last van.

Ongelijkwaardig

Het blijft niet bij anekdotes. Onderzoeker Akash Satheesan heeft ontdekt dat Proctorio gebruikmaakt van OpenCV, een vrij te gebruiken softwarebibliotheek voor het herkennen van gezichten. Met een ingenieus experiment toonde Satheesan aan dat OpenCV gezichten met een donkere huidskleur slechter herkent dan witte gezichten. Omdat Proctorio net zo werkt, heeft de surveillancesoftware een racistisch gevolg voor studenten.

Van onderwijsinstellingen mag je verwachten dat ze al hun studenten gelijkwaardig behandelen. Dat doen ze niet als ze Proctorio gebruiken. Je kunt als instelling niet aan de ene kant beloftes doen om racisme tegen te gaan, terwijl je tegelijkertijd software gebruikt die bewezen racistisch is. Het kan toch niet zo zijn dat UvA geen alternatief kan vinden voor een ‘oplossing’ die een deel van hun studenten ontmenselijkt?

Naomi Appelman, Jill Toh en Hans de Zwart zijn oprichters van het Racism and Technology Center.

Meer over

Wilt u belangrijke informatie delen met Het Parool?

Tip hier onze journalisten


Op alle verhalen van Het Parool rust uiteraard copyright.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@parool .nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden