Dat mevrouw Pocornia – student aan de VU – tijdens een tentamen door kennelijke hapering in de programmatuur van Proctorio werd verwijderd, verbaast mij. Die verbazing is geen uiting van twijfel aan haar weergave, maar over het kennelijk ondeskundig gebruik van Proctoring-software door de VU.
Dat dit type software ge-biased is, lijkt mij onomstreden. Ik hecht eraan de Nederlandse media ter overweging mee te geven dat kritische kanttekeningen bij AI-algoritmes aan kracht en relevantie kunnen verliezen door de gesignaleerde bias te duiden als een vorm van discriminatie of racisme. De motivatie hierachter is tweeledig:
- Het is mogelijk (en het is voorgekomen) dat maatregelen die worden genomen om discriminatoire bias in geautomatiseerde beslisvormingsprocessen te voorkomen, de groepen die benadeeld kunnen worden, feitelijk benadelen.
- De duiding als een vorm van discriminatie of racisme is weliswaar maatschappelijk relevant maar deze duiding kan het onderliggende probleem van AI-algoritmes verhullen, oftewel, de mate waarin AI-algoritmes beperkt betrouwbaar zijn.
Dit type software van Proctorio heeft primair een signaleringsfunctie. Sessies kunnen worden opgenomen voor latere beoordeling, maar indien er iets mis gaat kan er ook online worden doorgekoppeld naar een menselijke beoordelaar. De menselijke beoordelaar kan de bevinding van de software overrulen, bijvoorbeeld door de kandidaat die niet door de software geïdentificeerd kon worden, toe te laten. Doorkoppelen naar een menselijke beoordelaar is uiteraard bijna niet mogelijk als cursisten zelf het moment kunnen kiezen waarop zij een examen afleggen.
Dit soort software heeft ruime mogelijkheden om vooraf te bepalen welke acties de software in welke situaties moet ondernemen. Afhankelijk van die instellingen zullen de consequenties voor een deelnemer meer of minder voelbaar zijn. Doordat sessies worden gelogd en opgenomen kan het bevoegd orgaan nadien vaststellen of de software acties heeft ondernomen die de deelnemer hebben benadeeld op een wijze die het bevoegd orgaan niet wenst.
Concreet: indien een student uit een examen is verwijderd, kan het bevoegd orgaan (of de beroepscommissie of de examencommissie van het bevoegd orgaan) nadien besluiten dat dit niet had mogen gebeuren, dat de student hierdoor is benadeeld en vervolgens maatregelen treffen die de student compenseren voor deze benadeling.
Indien u en ik de huidskleur van mevrouw Pocornia even ‘bracketten’ dan is haar iets overkomen dat ook andere studenten kan en zal zijn overkomen: de proctoringssoftware kreeg een klus niet goed voor elkaar, ondernam daarop acties volgens het protocol dat door de organisatie in de instellingen van de software was vastgelegd, en de student heeft daar hinder van ondervonden.
Vanuit het perspectief van een individuele student maakt het niet of zij benadeeld worden doordat zij een donkere huidskleur hebben, een bril dragen, of een ander kapsel hebben dan het kapsel op de studentenkaart. Het nadeel dat mevrouw Pocornia heeft geleden door die matig betrouwbare software is gelijk aan de schade die andere studenten hebben geleden.
Maar, indien het College van de Rechten van de Mens oordeelt dat de schade van mevrouw Pocornia groter is dan de schade die andere – misschien blanke, of aziatische of mannelijke etc. – hebben geleden, dan is dat oordeel wel discriminatoir/racistisch.