Auteur: Aranka

Met verbazing heb ik de berichtgeving gevolgd over de ‘ongeldig verklaarde examens’ bij VMBO Maastricht.

Aan het besluit van de Minister om de examens ongeldig te verklaren ontbreekt een wettelijke grondslag. Artikel 43 van het Examenbesluit VO biedt de Inspectie de mogelijkheid het centraal examen ongeldig te verklaren indien die niet op regelmatige wijze is afgenomen. Artikel 44 stelt dat, als er het centraal examen niet op de voorgeschreven wijze kan worden afgenomen, de Minister kan besluiten hoe moet worden gehandeld. In de berichtgeving – noch in hetgeen de Inspectie en de Minister tot dusver in toelichting op het genomen besluit hebben gecommuniceerd – zit informatie waaruit blijkt dat het centraal examen bij VMBO Maastricht niet op regelmatige wijze is afgenomen. Er wordt – kennelijk waarheidsgetrouw – gewag gemaakt van onregelmatigheden bij de afname van het schoolexamen. De wijze waarop het schoolexamen wordt afgenomen, de toetsing en normering ervan, en het tijdstip waarop dit afgesloten moet zijn, valt evenwel binnen het verantwoordelijkheidsdomein van de school.

Het examenbesluit VO lijkt een route te bieden waarlangs de Inspectie c.q. de Minister onregelmatigheden in het schoolexamen indirect kan afstraffen door het centraal examen ongeldig ter verklaren. Artikel 32 van het Examenbesluit VO, lid 2 luidt: “ Het schoolexamen wordt afgesloten voor de aanvang van het eerste tijdvak, bedoeld in artikel 37.”

De Inspectie c.q. de Minister kan onder verwijzing naar dit artikel betogen:
(i) het schoolexamen bij de eindexamenkandidaten van VMBO Maastricht was niet voor het eerste tijdvak afgesloten
(ii) derhalve is niet voldaan aan lid 2 van artikel 32
(iii) derhalve mag de Inspectie krachtens artikel 43 ingrijpen
(iv) maar omdat het zo’n bijzondere zaak is met ‘onvoorziene omstandigheden’, is het beter als de Minister krachtens artikel 44 ingrijpt.

Bovenstaande ‘redenering’ loopt echter niet! En wel omdat:
(a) de zaak is niet bijzonder. Wie alle gegevens van alle scholen bekijkt, zal vaststellen dat het allerminst een unicum is dat er NA de start van het centraal examen nog een plukje schoolexamen wordt afgesloten. Het kan daarbij gaan om een administratieve handeling (omdat de scholen de resultaten van de schoolexamens voor de start van het centraal examen ‘moeten’ melden aan BRON, maar er soms onduidelijkheid over is worden cijfers van schoolexamens soms ‘voorlopig’ in de schooladministratie vastgelegd) of om een feitelijke afsluiting (bijv. als de student een werkstuk nog niet heeft ingeleverd, of alsnog het recht op een herkansing toegekend heeft gekregen). De wetgever is bij het opstellen van het examenbesluit bekend geweest met het feit dat schoolexamens soms feitelijk doorlopen tot na de start van het eerste tijdvak. (zie bv. artikel 38 lid 2, welk artikel overigens niet geldt voor de meeste scholen omdat die examendata met BRON wisselen). De systemen van het Ministerie zijn daar ook op ingericht: als een school NADAT de centrale examens zijn begonnen, nog gegevens van het schoolexamen aanvult of corrigeert, dan wordt er richting school daarover teruggekoppeld. De betreffende berichten zijn voor de Inspectie toegankelijk en kunnen worden betrokken in de controle. In elk examenjaar worden er (tien)duizenden berichten van dit type door BRON gegenereerd. De Inspectie kan dus met een klik op de knop zien bij welke scholen er na de start van het examen nog gegevens van het schoolexamens worden aangevuld/gewijzigd. Voor zover mij bekend heeft dit tot dusverre voor de Inspectie geen aanleiding gegeven om via artikel 32 centrale examens ongeldig te verklaren.

(b) Artikel 32 bepaalt niet dat het schoolexamen voor het eerste tijdvak moet zijn afgesloten wil het centraal examen geldig zijn. Bij staatsexamens vindt het centraal examen structureel plaats voor dat onderdeel van het eindexamen dat de pendant is van het schoolexamen in reguliere examentrajecten. Dat tast de ‘geldigheid’ van het centraal examen niet aan. Artikel 32 lid 2 heeft een andere functie: het verplicht de school het schoolexamen zo in te richten dat het schoolexamen voor het eerste tijdvak afgesloten kan zijn. Vanuit de verschillende betrokken ‘partijen’ gedacht: de functie van lid 2 artikel 32 is dat het de leerlingen van de school een recht biedt in de relatie met de school. Het is bizar – en in strijd met de geest van de wet – om dit artikel te gebruiken om leerlingen te benadelen.

(c) Er is voldaan aan lid 2 van artikel 32. Het schoolexamen is immers afgesloten op het moment dat de school verklaart dat het afgesloten is. Dat doet de school naar elke leerling afzonderlijk door de leerling een cijferlijst van het schoolexamen uit te reiken. De leerling (of de wettelijke vertegenwoordiger) moet voor ontvangst daarvan tekenen. Als nadien blijkt dat er iets in het traject van het schoolexamen niet gegaan is volgens de regels die door de school zelf zijn opgesteld, dan bevestigt deze ‘handshake’ tussen de leerling en de school dat die twee ‘partijen’ daarvan geen punt zullen maken.

Conclusie
Vanuit de toezichthoudende taak kan de Inspectie in dit geval en in andere gevallen een schoolexamen dat niet is verlopen volgens de regels die de school heeft opgesteld, een punt maken, maar dat punt kan uit de aard der zaak enkel gemaakt worden in de richting van de school. Individuele examendossiers, i.e. de diplomering van leerlingen, kunnen er niet door geraakt worden.

Opmerkelijk in deze kwestie is dat het bestuur van VMBO Maastricht er niet van op de hoogte lijkt te zijn dat de bevoegdheid tot diplomering bij het bevoegd gezag berust, niet bij de Inspectie of de Minister. Het bevoegd gezag van de school had in dit geval het besluit van de Minister ter kennisgeving kunnen aannemen en de leerlingen kunnen diplomeren alsof er niets aan de hand was. De Inspectie en de Minister zouden daar niet blij over zijn geweest, en mogelijk zouden er in de richting van de school sancties zijn gevolgd, waaronder het intrekken van de examenlicentie. Maar de wet biedt Inspectie en Minister niet de bevoegdheid om diploma’s die door het bevoegd gezag zijn toegekend zolang de school een examenlicentie had, in te trekken of ongeldig te verklaren.

Het is triest-stemmend dat juist in het onderwijs – waar zoveel hoogopgeleide en maatschappijkritische mensen werken – iedereen zo druk bezig is met het slaafs volgen van regels die er niet zijn, dat zelfs in zo’n voor individuele leerlingen best wel zwaarwegende kwestie, een verdraaiing van de wet niet opgemerkt wordt.

Hoe uitzendbureau’s werken weet iedereen wel. Dat de methoden iets wijzigen als het om directeuren en voorzitters CvB en of toezichthouders gaat ook. Hoe gaat dat wanneer de minister zelf, zich er mee bemoeid. Hieronder de redenering in de situatie schoolexamens Maastricht.

Grappig, die kop “Miljoenen aan onderwijsgeld gaat naar commerciële bureaus” (Trouw, 7 juli 2018) over uitzendkrachten in het onderwijs. Niet alleen omdat vorig jaar dezelfde verslaggeefster met ongeveer dezelfde kop ongeveer hetzelfde bericht onder de aandacht probeerde te brengen (Trouw, 8 juni 2017). Maar ook omdat het meeste onderwijsgeld al jarenlang naar commerciële bureaus stroomt. Het bedrag dat onderwijsinstellingen uitgeven aan uitzendkrachten valt in het niet bij het bedrag dat onderwijsinstellingen uitgeven aan software. Ook belangenorganisaties, zoals Verus (voorheen Besturenraad), trekken jaarlijks miljoenen uit de onderwijs-ruif.

Voor zover er een probleem is met die uitzendkrachten in het onderwijs, moet de oorzaak gelegen zijn in het gebrek aan concurrentie. Inderdaad, het schiet in het onderwijs tekort aan concurrentie.

Neem die school in Maastricht waar de PTA-programma’s niet zijn uitgevoerd. Zou het onderwijs concurrerend zijn, dan zou de voorzitter van het College van Bestuur de kwaliteit van de school zelf moeten bewaken. Die zou dan, na de geluiden van de klokkenluider eigenstandig besloten hebben de betreffende leerlingen geen diploma te geven. In het Nederlandse onderwijs bestaat de marktwerking echter alleen in de stukjes van columnisten die tegen marktwerking protesteren. Bij een dergelijk marktfalen moet de kwaliteit bewaakt worden door de Inspectie en de Minister. Immers, die twee moesten wetsartikelen gaan verbuigen om via het ongeldig verklaren van de centrale examens de school te straffen voor het niet uitvoeren van de door de school opgestelde PTA-programma’s, waardoor de collegevoorzitter de handen in onschuld kon wassen en – ook nog eens terecht – kon betogen dat de Minister de centrale examens niet ongeldig had mogen verklaren.

Hoe bovenstaande te zien? De Minister heeft niets te zeggen over het schoolexamen/het PTA, voor zover het de dossiers van afzonderlijke leerlingen betreft. De Minister kan wel een oordeel (met instructie of sanctie) geven over het schoolexamen/PTA, voor zover het de school betreft. Zo van: “school, dit moet je de volgende keer anders doen enz.”

In dit geval heeft de Minister vastgesteld dat er iets niet klopte met de (uitvoering van de) PTA’s. In plaats van de school een standje te geven, heeft de Minister de leerlingen gestraft. Dat kon alleen via de omweg van het ongeldig verklaren van het centraal examen.

Het effect van deze verbuiging van de wet is dat:
(a) De collegevoorzitter terecht protesteert (want de Minister gaat zijn boekje te buiten)
(b) De collegevoorzitter niet zelf de handen vuil hoeft te maken (want de collegevoorzitter kan WEL bepalen dat de schoolexamens niet geldig zijn).

Het jaarthema van PRANO was ‘BIG DATA en het onderwijs‘. Ik hoop dat de aanwezigen er iets van opgestoken hebben, of dat het voor hen althans een aangenaam verpozen is geweest.

Buiten het onderwijs was 2016 in ieder geval een machtig mooi jaar voor ‘Big Data’. Er was een ‘Big Data’-feestje rond de Brexit en deze week dan nog een tweede vreugdevuur der ijdelheden rond de Amerikaanse presidentsverkiezingen. Dat opiniepeilingen er bij verkiezingen grandioos naast zitten is inmiddels heel oud nieuws. Het nieuwe nieuws is dat het voorspellen van uitslagen niet beter gaat nu we steeds meer data hebben, en die data ook onmiddellijk online kunnen zien en verwerken. ‘Big Data’ lijken niet effectiever dan ‘Small Data’.

Bij de Brexit zaten alle peilingen die voorafgaand aan het referendum waren gehouden, er naast. Alleen het peilingsmodel van de Universiteit van Sheffield kwam redelijk in de buurt maar toen dat met een echte, heus definitieve voorspelling kwam van de uitslag was er op 95% van de kiesbureaus al uitgeteld. Je hebt kennelijk bijna alle data nodig om te voorspellen wat de uitslag zal zijn als alle data binnen zijn.

Nog leuker waren deze week de Amerikaanse presidentsverkiezingen. Voor de Grote Dag was er geen enkele peiling die Trump als winnaar voorspelde. Maar dat is dus weer het oude nieuws. Op de verkiezingsdag (in Nederland – nacht) zelf hadden de commentatoren van CNN en andere zenders echter de beschikking over de echte data. En die data waren al heel snel heel erg BIG. Online werden de uitslagen van de kiesbureaus verwerkt door de rekenmodellen achter die prachtige grafische kaarten. Niet alleen per staat, maar per district werden de cijfers verzameld en aan de kijker doorgegeven. Hoeveel stemmen er al binnen waren (exact, geen afrondingen), hoeveel stemmen er naar welke kandidaat waren gegaan (exact, geen afrondingen), hoe de procentuele verhouding was tussen de kandidaten (nu wel met afrondingen), en onderin welk percentage van de stemmen al geteld was (afgerond op hele procenten).

De commentator van CNN klikte lustig over de grote virtuele wandkaart, zoomde in, zoomde uit, legde uit wat de kijker zag, gaf duiding, benadrukte dat het nu ging om echte stemmen niet om prognoses, benadrukte dat het natuurlijk niet garandeerde dat dit of dat de uitslag zou zijn, maar toch, maar toch. Hier, in Dade Florida, hier had mevrouw Clinton nog wel 100.000 stemmen ‘op de bank’. Want zie, de verhouding was daar 65% voor Clinton en iets van 32% voor Trump, en er was nog slechts 15% van de stemmen geteld…

De eerste uren bleef de commentator van CNN uitleggen dat mevrouw Clinton op allerlei banken in Florida en North Carolina en Pennsylvania nog hopen stemgeld had staan. Pas rond een uur of drie (Nederlandse tijd) kwam hij op het idee om na te gaan of Trump in Florida en andere ‘swing-states’ nog reserves had. Dat bleek zo te zijn. In sommige districten waarvan op voorhand vast stond dat daar 90% op Trump zou gaan stemmen, daar was nog niets geteld. Nu ja, dat waren natuurlijk ook maar kleine districten. Er woonden een paar honderd boeren, niet meer, en die waren misschien niet eens gaan stemmen.

Rond vijf uur begon het de commentatoren te dagen: ze hadden de kaarten en de cijfers verkeerd gelezen. In die districten waar maar een paar honderd boeren woonden, waren bijna alle boeren naar de stembus getrokken. Trump had daar veel meer stemmen ‘op de bank’ gehad dan ze hadden gedacht. In de ‘stedelijke’ gebieden met veel hoogopgeleiden daalde het percentage Clinton-aanhangers naarmate een groter deel van de stemmen geteld was. Clinton bleek daar veel minder stemmen ‘op de bank’ te hebben gehad dan ze in het begin van de avond gedacht hadden.

Voor dat laatste zijn twee verklaringen te bedenken:

1.

De percentages bij Clinton en Trump waren bij het begin gebaseerd op de telling van de stemmen die VOOR de verkiezingsdag, per post of anderszins, waren uitgebracht. Omdat Clinton-kiezers oververtegenwoordigd waren onder de ‘vroege’ stemmers gaf vertekende dat het percentage voor Clinton naar boven. Dat effect ebde echter langzaam weg naarmate er meer stemmen van de verkiezingsdag zelf waren geteld.

2.

Terwijl de percentages voor Clinton en Trump verschillen van district tot district, zijn er ook verschillen BINNEN elk district. Ook binnen een overwegend stedelijk district heb je een ‘landelijk’ gebied waar dan natuurlijk vooral Trump-keuters wonen. Maar de telmachines in de stedelijke gebieden van een stedelijk district werken vlotter dan die in het landelijke gebied van een stedelijk district, en – als Clinton vooral aanhangers heeft in de centra met grote zakenkantoren e.d. – een telmachine in een stedelijk gebied van een stedelijk district zal meer stemmen voor Clinton registreren dan stemmen voor Trump. Die snellere telmachines is overwegend Clinton-gestemde regio’s van stedelijke districten stuwden haar percentage opwaarts. Dat effect ebde echter langzaam weg naarmate er meer stemmen van de tragere telmachines mee waren genomen.

Door de avond heen is er achter de schermen bij de nieuwszenders en door de rekenaars van de politieke partijen driftig gewerkt om de cijfers die binnenstroomden voor allerlei factoren te corrigeren. Opleidingsniveau, percentage latino’s, langjarig opkomstpercentage enzovoorts. Maar als een van de twee verklaringen die hierboven genoemd zijn, klopt, dan was al dat driftig gedoe tevergeefs. Je kunt niet corrigeren voor factoren die verband houden met de samenstelling van de populaties maar niet voor verschillen in het tempo waarin data vanuit die populaties binnenstroomt. Het enige wat je kunt doen – en dat is hierboven gedaan – is een effect benoemen en aankondigen dat dat effect gaandeweg zal wegebben. Op welke punt de teller zal staan als het effect is weggeëbd daar heb je geen idee van. Het enige wat al in het begin van de avond zeker was, was dat het percentage voor Clinton in ‘haar’ districten gaandeweg zou dalen.

‘Big Data’, of het een hype is of een heuse revolutie, dat weet ik niet. Duidelijk is wel dat wie niet begrijpt hoe data geïnterpreteerd moeten worden, van steeds meer data niet veel wijzer van zal kunnen worden.

Staatssecretaris Sander Dekker is blij, zeer blij. Het slagingspercentage slaagt en veel leerlingen op het VO slagen met vlag en wimpel. Aldus het persbericht van 28 november 2016, zie: Eindexamens beter gemaakt.

Een persbericht vanuit het Ministerie van OCW bevat altijd tenminste 1 reclameboodschap voor het gevoerde beleid. In dit geval ziet Sander D. in de cijfers een bevestiging van het beleid met strakkere exameneisen. Critici daarvan hebben ongelijk want:

a) er zijn meer ‘cum laude’ leerlingen dus de betere leerlingen zijn nog weer wat beter geworden;

b) het slagingspercentage stijgt dus de zwakkere leerlingen zijn er niet de dupe van geworden.

Of deze zelf-felicitatie van de staatssecretaris terecht is, is uit het persbericht niet op te maken. Het is ook niet op te maken uit de gegevens die het Ministerie van OCW vrijgeeft op Onderwijsdata. Immers, uit de data die het Ministerie publiek maakt, kunnen cijferlijsten van leerlingen afzonderlijk niet gereconstrueerd worden. Je kunt dus niet bepalen hoeveel leerlingen er in eerdere jaren het predicaat ‘cum laude’ hebben gehad. Evenmin kun je bepalen of de cijfers bij de ‘zwakkere’ leerlingen door de bank genomen toch wat lager zijn geworden.

Zelfs als het Ministerie van OCW deze gegevens wel publiceert, zou er heel wat statistisch werk gedaan moeten worden voordat er vanuit het Ministerie victorie gekraaid mag worden. De examencijfers in de verschillende jaren zouden bezien moeten worden vanuit verschillende, potentieel relevante factoren. Zo is het heel wel mogelijk dat er een significante correlatie is tussen de hoogte van cijfers die leerlingen halen en het weer op de examendag. Iedereen die ooit naar school is gegaan, weet hoe lastig het is om half-doorweekt een multiple-choice lijst in te kleuren (en hoe verleidelijk daar vaart achter te zetten om snel naar huis te kunnen). Ook andere potentieel relevante factoren, zoals het lawaai in de omgeving van het examenlokaal, zouden niet in de analyse betrokken kunnen worden. Bij alle ‘BRON’-verzamelzucht is het Ministerie vergeten gegevens over dit soort factoren te verzamelen. Feit is dat de meeste factoren waarvan we allemaal weten dat die op het niveau van de individuele leerlingen relevant zijn voor het examenresultaat tot dusverre in het geheel niet in kaart zijn gebracht. De analyses van examengegevens die het Ministerie afscheidt, hebben de diepgang van de analyses van een seismoloog die aardbevingen in Japan probeert te voorspellen aan de hand van de hoogte van de golven voor de kust van Fukushima.

Deze vergelijking is misschien te hard. Het valt de staatssecretaris niet aan te rekenen dat van alle factoren die een rol spelen in het primaire proces tot dusverre alleen die gegevens zijn ‘gedataficeerd‘ die we honderd jaar geleden ook al verzamelden, maar dan op papier. Learning analytics is een jonge vakdiscipline. Mogelijk zijn de datasystemen van het Ministerie over een jaar of vijftien meer bij de tijd dan nu.

Ernstiger – omdat data daarover al wel binnen handbereik liggen – is dat het Ministerie voorspelbare en documenteerbare neveneffecten van het eigen beleid niet onderzocht lijkt te hebben. Onder druk van het zgn. ‘discrepantie-criterium’ (het verschil tussen het cijfer op het Schoolexamen en het Centraal Examen) hebben sommige scholen er beleid van gemaakt bij werkstukken en projecten geen negens en tienen meer te geven. Dat is immers een effectieve manier om het cijfer voor het SE wat omlaag te krijgen zonder dat het onmiddellijk ‘zeer’ doet bij leerlingen afzonderlijk. Echter, die scholen zullen er – bij het intern bestuderen van de examencijfers – achter zijn gekomen dat dit beleid relatief tot het ‘discrepantie-criterium’ een te zwaar middel is. Het is, in relatie tot dit criterium, niet nodig om de SE-cijfers voor ALLE leerlingen neerwaarts te duwen. Het is voldoende om dit te doen bij de leerlingen die wat zwakkere papieren hebben voor het eindexamen. De leerling waarvan vrij zeker is dat die bij het centraal examen een hoog cijfer zal halen, kun je zonder problemen een negen geven voor een werkstuk mits je dat niet doet bij de leerling die bij het centraal examen maar net een voldoende zal halen.#

Het is dus heel wel voorstelbaar dat de zorg die er bij scholen leefde rond het ‘discrepantie-criterium’ de cijfers van ALLE eindexamenkandidaten een tijdje neerwaarts beinvloed heeft maar dat dit effect voor de ‘betere’ leerlingen is wegge-ebd. Examenkandidaten die in 2010 het predicaat cum laude niet zouden hebben gekregen omdat het ‘discrepantie-beleid’ bij hen tot lagere cijfers had geleid, zouden dat predicaat in 2016 wel gekregen hebben. En – iets subtieler – eindexamenkandidaten die vanwege het ‘discrepantie-beleid’ in 2010 gezakt zijn, zouden in 2016 geslaagd kunnen zijn.$ De ontwikkelingen die de staatssecretaris meent te zien zijn dan inderdaad een gevolg van de strengere exameneisen, maar op een andere manier dan de staatssecretaris denkt.

Het is wel fijn dat de staatssecretaris zo tevreden is over de leerlingen, docenten en besturen in het Voortgezet Onderwijs. Als het nu – zonder een lerarenregister, zonder een schoolleidersregister, zonder een bestuurdersregister – al zo goed gaat, dan zou de staatsecretaris al die ideeen over hoe het bestuur van scholen nog beter te maken misschien wel in de ijskast kunnen (terug)zetten.

 

# Niet alle scholen hebben een “geen negens meer voor werkstukken”-regel ingevoerd.  Voor andere beleidsmaatregelen waarmee scholen met het discrepantie-criterium aan de slag zijn gegaan, geldt echter ook dat deze beleidsregels zodanig bijgesteld kunnen worden dat het neerwaartse effect op het SE-cijfer alleen de cijfers van de zwakkere leerlingen raakt.

$ Dit ligt subtieler omdat dit vereist dat de school zich realiseert dat de beleidsregel waarmee de cijfers neerwaarts gedrukt zijn nader kunt verfijnen: je mag een leerling die over de gehele linie ‘zwakker’ is, best een negen geven voor een werkstuk in een vak waarin die leerling goed is zonder dat daarmee het ‘discrepantie’-risico ondraaglijk wordt.