Het gezichtsherkenning-algoritme van VU-student

Dat mevrouw Pocornia – student aan de VU – tijdens een tentamen door kennelijke hapering in de programmatuur van Proctorio werd verwijderd, verbaast mij. Die verbazing is geen uiting van twijfel aan haar weergave, maar over het kennelijk ondeskundig gebruik van Proctoring-software door de VU.

Dat dit type software ge-biased is, lijkt mij onomstreden. Ik hecht eraan de Nederlandse media ter overweging mee te geven dat kritische kanttekeningen bij AI-algoritmes aan kracht en relevantie kunnen verliezen door de gesignaleerde bias te duiden als een vorm van discriminatie of racisme. De motivatie hierachter is tweeledig:

  • Het is mogelijk (en het is voorgekomen) dat maatregelen die worden genomen om discriminatoire bias in geautomatiseerde beslisvormingsprocessen te voorkomen, de groepen die benadeeld kunnen worden, feitelijk benadelen.
  • De duiding als een vorm van discriminatie of racisme is weliswaar maatschappelijk relevant maar deze duiding kan het onderliggende probleem van AI-algoritmes verhullen, oftewel, de mate waarin AI-algoritmes beperkt betrouwbaar zijn.

Dit type software van Proctorio heeft primair een signaleringsfunctie. Sessies kunnen worden opgenomen voor latere beoordeling, maar indien er iets mis gaat kan er ook online worden doorgekoppeld naar een menselijke beoordelaar. De menselijke beoordelaar kan de bevinding van de software overrulen, bijvoorbeeld door de kandidaat die niet door de software geïdentificeerd kon worden, toe te laten. Doorkoppelen naar een menselijke beoordelaar is uiteraard bijna niet mogelijk als cursisten zelf het moment kunnen kiezen waarop zij een examen afleggen.

Dit soort software heeft ruime mogelijkheden om vooraf te bepalen welke acties de software in welke situaties moet ondernemen. Afhankelijk van die instellingen zullen de consequenties voor een deelnemer meer of minder voelbaar zijn. Doordat sessies worden gelogd en opgenomen kan het bevoegd orgaan nadien vaststellen of de software acties heeft ondernomen die de deelnemer hebben benadeeld op een wijze die het bevoegd orgaan niet wenst.

Concreet: indien een student uit een examen is verwijderd, kan het bevoegd orgaan (of de beroepscommissie of de examencommissie van het bevoegd orgaan) nadien besluiten dat dit niet had mogen gebeuren, dat de student hierdoor is benadeeld en vervolgens maatregelen treffen die de student compenseren voor deze benadeling.

Indien u en ik de huidskleur van mevrouw Pocornia even ‘bracketten’ dan is haar iets overkomen dat ook andere studenten kan en zal zijn overkomen: de proctoringssoftware kreeg een klus niet goed voor elkaar, ondernam daarop acties volgens het protocol dat door de organisatie in de instellingen van de software was vastgelegd, en de student heeft daar hinder van ondervonden.

Vanuit het perspectief van een individuele student maakt het niet of zij benadeeld worden doordat zij een donkere huidskleur hebben, een bril dragen, of een ander kapsel hebben dan het kapsel op de studentenkaart. Het nadeel dat mevrouw Pocornia heeft geleden door die matig betrouwbare software is gelijk aan de schade die andere studenten hebben geleden.

Maar, indien het College van de Rechten van de Mens oordeelt dat de schade van mevrouw Pocornia groter is dan de schade die andere – misschien blanke, of aziatische of mannelijke etc. – hebben geleden, dan is dat oordeel wel discriminatoir/racistisch.

Rapport van Milieudefensie: 2 strategieën nader geduid.

In reactie op het rapport Rechtvaardig afbouwen van fossiele subsidies van Milieudefensie, het volgende.

Omdat voor de organisatie Millieudefensie,  de Nederlandse overheid de gespreks-/discussiepartner is die overtuigd moet worden, is het van belang dat haar analyse door de Nederlandse overheid niet wordt ervaren als een visie die het denkraam van bewindslieden extern bekritiseerd. Dat leidt immers enkel tot loopgravendebatten over welk model al dan niet gehanteerd moet worden.

1. In het rapport van Millieudefensie hanteert zij een strategie die tegenwoordig ook in televisiereclames opduikt: gedrag dat CO2-reducerend is, wordt dan gepropageerd door het eigenbelang van de burgers te prikkelen.

In uw rapport (pagina 18): de subsidie voor de fossiele industrie kost de gemiddelde Nederlander jaarlijks veel minder dan de subsidie voor de kinderopvang of de verhoging van het minimumloon. Met die strategie slaat men een doodlopende steeg in.

Enkele feiten:

  • De ‘berekeningen’ kloppen zelden of nooit (een elektrische auto is feitelijk duurder dan een benzineauto), er vindt altijd ergerlijke manipulatie plaats.
    1. Zo laat uw organisatie in het overzicht op pagina 18 de subsidies aan het onderwijs, aan cosmetische operaties, aan het aanleggen van glasvezelkabels en aan organiseren en voortzetten van gewelddadige conflicten weg.

Bij dit soort ‘het is heus ook in uw eigenbelang, hoor’-benaderingen zou volledigheid niet misstaan.

Echter, indien u op pagina 18 zou streven naar volledigheid, zou u evenwel dubbeltellingen niet kunnen voorkomen. De totale overheidssubsidie zou dan mogelijk een veelvoud van de jaarlijkse overheidsbegroting bedragen (dat is een paradox, maar de meeste lezers zouden dan toch denken dat er iets niet klopt…).

2. Elders in uw rapport volgt u een andere strategie, namelijk die waarin wordt getracht een norm af te leiden uit feiten.

Omdat het analytisch niet mogelijk is normen af te leiden uit feiten, moeten in deze afleiding naast rapporten en modellen, ook waarden worden binnengesmokkeld. Een ‘plat’ voorbeeld kan zijn: ‘klimaatopwarming is ongewenst’.

Die input zou niet door iedereen worden geaccepteerd en klimaatopwarming is inmiddels via alle routes als een wenselijkheid gepresenteerd. Daar zitten veel ondoorgrondelijke gedachtenkronkels tussen, maar die routes hebben met de hier ‘plat’ weergegeven afleiding gemeen dat er steeds nieuwe waarden moeten worden toegevoegd die ook weer weersproken kunnen worden.

Tegenover de stelling dat juist de arme landen onder de klimaatopwarming te lijden hebben, wordt dan de stelling geplaatst dat juist de arme landen rijker kunnen worden door de zonne-energie, etc. Als we het allemaal uit zouden schrijven, zouden we ervaren dat een dispuut over waarden overvloeit in een dispuut over feiten terwijl we al weten dat een dispuut over feiten niet kan resulteren in een analytisch zuivere afleiding van normen.

Conclusie: De strategie die u her en der in uw rapport volgt, is dus minder ergerlijk dan manipulaties vanuit een vermeend eigenbelang, maar leidt evenmin tot een analytisch overtuigend eindpunt. Uw rapport moet derhalve worden geduid vanuit een zet in het machtspel dat organisaties als de uwe spelen met overheden en bedrijven.

Het erbarmelijke taalniveau van NL wetten en regels

In mijn berichtje aan de heer Klaver van 21 september jl. komt de passus voor “het – zowel analytisch als taalkundig – erbarmelijke niveau van de wetten en regels”. Hieronder het bericht aan de heer Klaver.

Bovengenoemde passus behoeft ‘adstructie’. Er zijn hiervan talloze voorbeelden te geven – sommige stukjes kreupele wetgeving hebben aanleiding gegeven tot parlementaire onderzoeken en enquêtes – maar mijn favoriete voorbeeld is de AVG, niet alleen vanwege de massale desinvestering waartoe die heeft geleid, maar ook omdat ik daar enigszins gezaghebbend over kan spreken, zowel ten aanzien van het analytische als het taalkundige deel.

U kent de AVG, mogelijk zelfs uit het hoofd, of althans de definitie van persoonsgegevens in artikel 4, lid 1, dus u kunt onderstaande deconstructie daarvan vlotjes volgen.

Artikel 4

1) „persoonsgegevens”: alle informatie over een geïdentificeerde of identificeerbare natuurlijke persoon („de betrokkene”); als identificeerbaar wordt beschouwd een natuurlijke persoon die direct of indirect kan worden geïdentificeerd, met name aan de hand van een identificator zoals een naam, een identificatienummer, locatiegegevens, een online identificator of van een of meer elementen die kenmerkend zijn voor de fysieke, fysiologische, genetische, psychische, economische, culturele of sociale identiteit van die natuurlijke persoon;

Deze definitie zou in een serieus artikel niet door de eerste redactieronde heenkomen. Het intuïtief heldere, alledaagse begrip ‘persoonsgegevens‘ wordt hier gedefinieerd aan de hand van de intuïtief duistere, want theoretische term ‘informatie‘. Dat doet de werkgever wel meer, en het mag ook, mits hetzij de duistere, theoretische term binnen de wettekst zelf nader wordt verduidelijkt (de wet bevat dan de ’theorie’ over het begrip) hetzij de wettekst voor de betekenis van de duistere, theoretische term aansluit bij de wetenschappelijke theorie over dat begrip (of een van de wetenschappelijke theorieën, bij sommige termen zijn er binnen de wetenschap meerdere opties). Aan deze voorwaarde is echter niet voldaan:

  • de AVG geeft geen nadere verduidelijking van de term ‘informatie’.
  • de AVG sluit niet aan bij enige wetenschappelijke theorie over ‘informatie’. Althans bij mijn weten is er geen enkele wetenschappelijke theorie over informatie waarin de termen ‘data’ en ‘informatie’ uitwisselbaar zijn, terwijl in de tekst van de AVG (en ook in alle uitleggingen daarvan die juristen hebben verspreid) deze termen door elkaar worden gebruikt.

Wat de opstellers van de AVG hier hebben gedaan, is suggereren dat de term ‘persoonsgegevens’ in de wet een specifieke, exacte betekenis heeft door de ‘indrukwekkende’ term ‘informatie’ te gebruiken, en vervolgens de lezer te verzoeken die term te interpreteren vanuit het alledaagse, zeer slordige gebruik van die term. Zo van: “we gaan u nu iets uitleggen, maar we gaan ervanuit dat u al wel weet wat we bedoelen.”

Omdat de term ‘persoonsgegevens’ in het dagelijks leven geen exacte, doch enkel een intuïtieve betekenis uit, heeft de pseudo-definitie in de AVG tot bizar-hilarische toepassingen gebruikt. In de volksmond, en ook in juristentaal zijn de volgende gegevens ten onrechte geïnterpreteerde als voorbeelden van persoonsgegevens ‘in de zin van de AVG’:

* BSN: Nee, een BSN is een identificator die per se geen informatie geeft over degene die met de BSN kan worden of is geïdentificeerd.

* IP-adres: Nee, weliswaar kan een IP-adres administratief vaak worden gekoppeld aan een persoon die juridisch verantwoordelijk is, maar daaruit volgt niet dat de data waarin het IP-adres voorkomt, informatie geeft over die persoon.

* Kenteken auto: Nee, weliswaar kan een kenteken administratief vaak worden gekoppeld aan een persoon, maar daaruit volgt niet dat de data waarin het kenteken voorkomt, informatie geeft over die persoon. enz.

In het algemeen: de ‘definitie’ van de AVG maakt weliswaar onderscheid tussen de identificator en de informatie over de persoon die met de identificator kan worden of is geïdentificeerd en dat impliceert dat in ‘personal data’ beide elementen aanwezig moeten zijn, maar die implicatie wordt niet expliciet gemaakt, met als gevolg dat allerwege wordt aangenomen dat ook de identificator per se als persoonsgegevens ‘in de zin van de AVG’ moet worden aangemerkt. Door de kennelijke uitwisselbaarheid van ‘informatie’ en ‘data’ binnen de AVG zou de implicatie ook niet expliciet gemaakt kunnen worden want je moet dan uitleggen dat bepaalde stukjes data geen informatie bevatten en dat krijg je binnen dit AVG-tekstgedrocht niet meer voor elkaar zonder inconsistentie.

Deze fout in de definitie van ‘persoonsgegevens’ kan in theorie nog wel worden opgelost, zij het dan daartoe de tekst van de AVG her en der zou moeten worden herschreven.

In de kleuterdefinitie van ‘persoonsgegevens’ zit een tweede blunder die fataal is. In de definitie wordt gesproken over ‘een geïdentificeerde of identificeerbare natuurlijke persoon’. De bijvoeglijke naamwoorden ‘geïdentificeerde’ als ‘identificeerbare’ zijn afgeleid van het werkwoord ‘identificeren’. Indien het werkwoord ‘identificeren’ niet elliptisch wordt gebruikt, vereist het taalkundig tenminste twee objecten:

  1. Ik identificeer hem“.
  2. Hij wordt door mij

In een semantisch georiënteerde grammatica zou het werkwoord aanvullende elementen moeten hebben:

  1. Ik identificeerde hem gisteren op basis van zijn foto.”

De definitie van ‘persoonsgegevens’, die bedoeld zal zijn om exact of exacter aan te geven wat persoonsgegevens zijn, is dus elliptisch: men heeft enkele syntactisch en/of semantisch noodzakelijke elementen weggelaten.

Het is nog een graadje erger dan dat. Het is mogelijk de term ‘identificeren’ te interpreteren als een absolute term, naar analogie van de term ‘zwanger zijn’. Het schijnt dat je niet een beetje zwanger kunt zijn: je bent zwanger of je bent het niet. Zelfs Peter Unger (cf. Unger 1971) zou ermee kunnen leven dat ‘zwanger zijn’ een absolute term is. Wie de term ‘identificeren’ interpreteert als een absolute term, kan echter veel identificaties in de wetenschap niet duiden. In de wetenschap wordt bij identificaties gewerkt met percentages en betrouwbaarheidsintervallen en zo meer. Het is redelijker ‘identificeren’ te interpreteren als een relatieve term. Met de volgende zinnen is althans taalkundig en semantisch niets mis:

  1. Op basis van die foto kan ik hem met grote betrouwbaarheid
  2. Op basis van die foto denk ik hem te kunnen
  3. Gegeven dat zijn tweelingsbroer in het buitenland verblijft, kan ik hem op die foto die gisteren in Amsterdam is gemaakt, identificeren.
  4. Door haar postuur, houding, haardracht en de voor haar kenmerkende jurk herken ik mijn buurvrouw in die foto is gisteren bij de Eiffeltoren is gemaakt.

Door de elliptische en onzorgvuldige ‘definitie’ van ‘persoonsgegevens’ hebben de opstellers van de AVG het bepalen van de inhoud van de AVG overgelaten aan rechters en onafhankelijke autoriteiten. Die hebben er – onvermijdelijk en menselijkerwijs begrijpelijk – een rommeltje van gemaakt. Tijdens een juridische discussie met het ministerie van OC&W stelde ik vast dat de verschillende betrokkenen het begrip ‘persoonsgegevens’ op verschillende, onderling inconsistente wijzen uitlegden en dat soms deden binnen 1 alinea van hun teksten. Ter hunner verschoning, ik constateerde ook in mijn eigen verhalen wazigheden. Derhalve heb ik – nu we toch bezig waren – de Raad van State laten optekenen dat ook ‘spontane herkenning’ in de zin van de AVG als een identificatie aangemerkt moest worden. Daarmee heeft de Raad van State – zonder het zelf op te merken – alle data als persoonsgegevens bestempeld, ook, bijvoorbeeld de data die de ESA verzamelt over sterren en planeten…

A reader’s reflection on Koonin’s book: “Unsettled”

Dear Professor Koonin,

With interest and noticeable delight, I have read your book ‘Unsettled’, which was apparently carbon-free delivered here last Thursday.

While reading your book I was not disturbed by your autobiographical anecdotes or your incidental polemizing. The autobiographical notes were not exegetical and most made an introductory point. As for the polemics, well, I expect that most readers of your book, including all critical reviewers, would have been highly disappointed if you have not made a sly or demeaning remark about The Science. Scientists and related subjects are still just human, and most humans like flocking together. I have no idea by whom or by what it has been ascertained that 97% of scientists believes this or that, or believes that some belief is no longer a belief but a fact, but if they flock together on some issue no justification is called for lambasting the herd.

Under the provision that I have not yet time to check your sources and what has come of your criticism in the Sixth Assessment, I am inclined to let myself be taken away by your arguments. Your general message seems to me to be that the empirical evidence is not equivocal on the main issues as it stands. The empirical data can be made less ambiguous by ‘tweaking’, ‘averaging’ or ‘ensembling’. Within surely vague limits, scientists can avail themselves to such analytical tools without infringing upon ‘the morals of science’ or ‘the scientific method’. Scientists want to model reality and in modelling reality tweaking is unavoidable. There is no harm done in that. Some scientists – and, I reckon, in case of Climate Science 97% of those scientists that have let themselves become institutionalized as climate scientists – have persuaded themselves that they can state some hypotheses as facts. This creates a tension with the “Twelve Angry Men”-clause: whenever there is reasonable doubt, hypotheses cannot be alleviated to the realm of facts. From my current point of view, you have played the role of the Twelfth Juror well enough to inject into my realm of ideas reasonable doubt. Thus, I suspend all beliefs in the theses 97% of Climate Scientists seem to be no longer suspicious of, until further notice.

Of course, whether I – or 3% or 30% of 97% of the citizens – suspend beliefs on Climate Issues, is not relevant. Scientific exchanges are no longer relevant either. Even if the bulk of Climate Scientists would agree that the matter on climate change is not yet fully settled and would go on collecting data and creating better models – which they undoubtedly will do – those who are in charge of the Climate Debate would not take notice. The debate is held among politicians. But even the politicians have lost ground. Marketeers have discovered the potential of ESG-washing. And they have decided that the car that parked in front of my apartment to deliver your book (and the unabridged version of The Global Crisis of Geoffrey Parker, and Energy and Civilization by Vaclav Siml) did so carbon-free.

Humans are not in control of manmade issues like inflation and political polarization, and have great difficulty in perceiving inconsistency in personal behavior. Regardless of whether there are and will remain reasonable doubts on climate change, and regardless of whether humans have played any role in global warming, humans are not in control of climatological issues.

As Aristotle should have written it, human beings are irrational featherless bipeds.

Rapport “Rechtvaardig afbouwen van fossiele subsidies”

Allereerst is er waardering voor de inspanningen om een rapport op te leveren dat: leesbaar is, dat doorverwijst naar bronnen, en dat op de meeste punten aansluit bij definities en modellen die door internationale organisaties zijn ontwikkeld en waarvan de meesten door de Nederlandse uitvoerende macht worden onderschreven en gebruikt.

Omdat voor uw organisatie de Nederlandse overheid de gespreks-/discussiepartner is die overtuigd moet worden, is het van belang dat uw analyse door de Nederlandse overheid niet wordt ervaren als een visie die het denkraam van bewindslieden extern bekritiseerd. Dat leidt immers enkel tot loopgravendebatten over welk model al dan niet gehanteerd moet worden.

In uw rapport hanteert u een strategie die tegenwoordig ook in televisiereclames opduikt: gedrag dat CO2-reducerend is, wordt dan gepropageerd door het eigenbelang van de burgers te prikkelen.

Citaat op pagina 18: de subsidie voor de fossiele industrie kost de gemiddelde Nederlander jaarlijks veel minder dan de subsidie voor de kinderopvang of de verhoging van het minimumloon. Met die strategie slaat men een doodlopende steeg in.

Enkele feiten:

  • De ‘berekeningen’ kloppen zelden of nooit (een elektrische auto is feitelijk duurder dan een benzineauto), er vindt altijd ergerlijke manipulatie plaats.
    1. Zo laat uw organisatie in het overzicht op pagina 18 de subsidies aan het onderwijs, aan cosmetische operaties, aan het aanleggen van glasvezelkabels en aan organiseren en voortzetten van gewelddadige conflicten weg.

Bij dit soort ‘het is heus ook in uw eigenbelang, hoor’-benaderingen zou volledigheid niet misstaan. Echter, indien u op pagina 18 zou streven naar volledigheid, zou u evenwel dubbeltellingen niet kunnen voorkomen. De totale overheidssubsidie zou dan mogelijk een veelvoud van de jaarlijkse  overheids-begroting bedragen (dat is een paradox, maar de meeste lezers zouden dan toch denken dat er iets niet klopt…).

Elders in uw rapport volgt u een andere strategie, namelijk die waarin wordt getracht een norm af te leiden uit feiten.

Omdat het analytisch niet mogelijk is normen af te leiden uit feiten, moeten in deze afleiding naast rapporten en modellen, ook waarden worden binnengesmokkeld. Een ‘plat’ voorbeeld kan zijn: ‘klimaatopwarming is ongewenst’.

Die input zou niet door iedereen worden geaccepteerd en klimaatopwarming is inmiddels via alle routes als een wenselijkheid gepresenteerd. Daar zitten veel ondoorgrondelijke gedachtenkronkels tussen, maar die routes hebben met de hier ‘plat’ weergegeven afleiding gemeen dat er steeds nieuwe waarden moeten worden toegevoegd die ook weer weersproken kunnen worden.

Tegenover de stelling dat juist de arme landen onder de klimaatopwarming te lijden zullen hebben, wordt dan de stelling geplaatst dat juist de arme landen rijker kunnen worden door de zonne-energie, etc. Als we het allemaal uit zouden schrijven, zouden we ervaren dat een dispuut over waarden overvloeit in een dispuut over feiten terwijl we al weten dat een dispuut over feiten niet kan resulteren in een analytisch zuivere afleiding van normen. De strategie die u her en der in uw rapport volgt, is dus minder ergerlijk dan manipulaties vanuit een vermeend eigenbelang, maar leidt evenmin tot een analytisch overtuigend eindpunt.

Uw rapport moet derhalve worden geduid vanuit een zet in het machtspel dat organisaties als de uwe spelen met overheden en bedrijven.