PRANO heeft een cursus ontwikkeld “Kwaliteit geregeld”. Vanuit overwegingen die mogelijk leiden tot herziening van de cursus hebben wij de volgende vraag aan de organisatie Certiforce voorgelegd:
Kunt u uitleggen waarom er in het geval van de cursus assessor/examinator MBO niet sprake is van pseudo-certificering maar van een initiatief dat, althans in potentie, een bijdrage zou kunnen leveren aan de kwaliteit van het onderwijs?
Uw organisatie organiseert trainingen voor docenten en assessoren in het onderwijs. Deze trainingen worden afgerond met een certificerend examen. De opzet en criteria daarbij zijn door u beschreven in een document dat de bestandsnaam ‘profiel examinator badges 2019’ (versiedatum 4 januari 2019, gedownload vanaf uw site)heeft doch waarvan de inhoud niet beperkt is tot de beschrijving van het ‘badges-systeem’.
Wij hebben uw document doorgenomen. Er is daarbij – uiteraard, zoals bij elke versie van elk document – een aantal opmerkingen te maken:
1. Als u spreekt over ‘gedragingen’ die de assessor laat zien, beschrijft u soms geen gedragingen doch formuleert u kennisvereisten achter gedragingen of intenties die de assessor daarbij geacht wordt te hebben;
2. U forceert de taal en het denken bij uw poging SMART te formuleren (Wat betekent: “Gebruikt zichtbaar de aanwijzingen van het examenbureau, -leverancier, en evt. servicedocumenten” op pagina 15? En bent u het met ons eens dat deze zin niet loopt?);
3. U gebruikt verschillende spellingswijze voor wat in teksten van anderen de ‘WAKKER’-methode wordt genoemd (soms “WACKER”, soms “WAKCKER”);
4. U doet soms rare dingen met de taal (Pagina 20: “De assessor/examinator is aantoonbaar bekwaam(er) in zijn kennis en vaardigheden in het uitstroomprofiel waarvoor hij gecertificeerd is (Brons en/of Zilver).” Zoiets kan echt niet in een document dat niet alleen bedoeld is voor derden, maar specifiek voor derden die assessor/examinator in een taal geacht worden te zijn of gaan zijn.);
5. U gebruikt de termen ‘instrument’, ‘methode’, model’ en ‘tool’ door elkaar, terwijl aan deze termen in een zorgvuldig opgesteld document onderscheidende betekenissen toegekend zouden kunnen worden.
Voor het thema van onze cursus is relevanter wat er hier gebeurt. Welk doel kan het ‘certificeren’ van ‘examinatoren/assessoren’ dienen?
Er is hier een redenering op te zetten die voert naar de conclusie dat het instellen van een ‘assessor-certificaat’ nuttig of noodzakelijk is. Er worden al decennialang examens afgenomen in de verschillende onderwijssectoren. Op de kwaliteit van examens en degenen die de resultaten moeten beoordelen is af te dingen. Zo heeft een van de cursusleiders van ‘Kwaliteit geregeld’ onlangs kunnen vaststellen dat een hogeschool een diploma heeft afgegeven enkel en alleen omdat de bewuste docent anders met recht en rede beroep had kunnen doen op het feit dat de betreffende onderwijsinstelling nalatig was geweest in het nakomen van de onderwijsovereenkomst. Het is niet eenvoudig om de resultaten van leerlingen en studenten objectief te beoordelen, en het is ook niet eenvoudig om daarbij het belang van de onderwijsinstelling te vergeten. Het is derhalve redelijk dat gewerkt wordt aan de kwaliteit van mensen die examens afnemen.
In sectoren waar de meeste docenten een onderwijsbevoegdheid hebben, mag worden aangenomen dat diegenen die de school/instellingsexamens afnemen daartoe voldoende geëquipeerd zijn. Daar waar ook docenten zonder onderwijsbevoegdheid voor de klas staan, is extra aandacht voor de kwaliteit van de examinering redelijk. Temeer als, zoals in het MBO, de kerndoelen en eindtermen van het onderwijs niet helder en duidelijk geformuleerd zijn of relatief vaak aan verandering onderhevig zijn.
Er zijn verschillende manieren waarop een MBO kan investeren in de kwaliteit van de examens. In de examenagenda MBO is afgesproken dat MBO-instellingen de (instellings)examens in principe gaan inkopen bij toetsontwikkelaars die zich specifiek daarop richten. In die lijn is er een validatieproject gestart waarbij, als wij het goed begrepen, ook uw organisatie ingeschakeld is geraakt. Het inkopen van examens door MBO-instellingen is weliswaar niet wettelijk voorgeschreven, en de afspraken binnen het MBO laten ruimte tot afwijken, maar het is niet geheel bezijden de waarheid als u, in het bovengenoemde document, stelt:
“Per 1 augustus 2018 dienen de examens binnen het mbo-onderwijs gevalideerd te zijn of ingekocht bij een gecertificeerde examenleverancier.” (pagina 1)
Opmerkelijk is dat u onmiddellijk daarop stelt: “Het belang van goede beoordelaars is hierdoor alleen nog maar groter geworden.”
Dat is opmerkelijk omdat het onzin lijkt te zijn. De motivatie achter de eis dat examens binnen het mbo-onderwijs gevalideerd moeten zijn door een gecertificeerde examenleverancier, is dat de kwaliteit van de examens toeneemt ook als de kwaliteit van de examinatoren niet toeneemt. Echter, hier kan schijn bedrieglijk zijn. Het is denkbaar dat een verbetering van het meetinstrument hogere deskundigheidseisen stelt aan diegenen die het meetinstrument hanteren. Weliswaar zou dat, in het geval het nieuwe meetinstrument geïntroduceerd zou worden in de context van een productieproces of een ander proces waar veiligheid en kwaliteit van het hoogste belang zijn, ertoe leiden dat het werken aan de deskundigheid van degenen die het meetinstrument moeten bedienen vooraf zou gaan aan het implementeren van het meetinstrument, maar het onderwijs is een speciale sector en het speciale karakter daarvan uit zich wel vaker in het voor het paard spannen van de wagen.
Beschouwen wij de meetinstrumenten die in het MBO gebruikt worden, nader dan blijkt de schijn hier niet bedrieglijk. De criteria die na 1 augustus 2018 in gevalideerde toetsinstrumenten gebruikt worden, zijn exact of bijna exact dezelfde als de criteria die voor 1 augustus 2018 gehanteerd werden. Voor zover er een verschil is, zit ‘m dat in het feit dat MBO-instellingen die tot 1 augustus 2018 volharden in het hanteren van een zelf-ontwikkeld toetsinstrument, het verzet hebben opgegeven. Dit geldt voor een beperkt aantal MBO-instellingen en daarbinnen voor een beperkt aantal opleidingen of vakken binnen opleidingen. Voor de meeste MBO-scholen en MBO-opleidingen is er per 1 augustus 2018 niets veranderd.
Na de derde zin, “Het is een belangrijke taak van een examencommissie om zorg te dragen voor kwaliteitsborging van de afnames van de examens.” die niet alleen juist is, maar ook in een onderwijswet verankerd is, volgt andermaal een opmerkelijke stelling: “De exameninstrumenten zijn gevalideerd dus liggen de risico’s nu vooral bij de voorbereiding, afname en evaluatie door de beoordelaars.” Dit is ook in een coulante interpretatie lariekoek. Hier wordt een spel gespeeld met de woorden ‘norm’ en ‘validiteit’. De norm heeft betrekking op de organisatie die het toetsinstrument ontwikkeld, niet op het toetsinstrument zelf. Voor wat betreft het toetsinstrument zelf worden wel de termen ‘valide’ en ‘validiteit’ gebruikt doch deze termen worden niet gebruikt in de betekenis die daarin binnen een wetenschappelijke methodologie aan gegeven wordt. Bij het beoordelen van de validiteit van een toetsinstrument wordt feitelijk beroep gedaan op intuïtieve oordelen in de sector. Zo wordt er binnen de sector vanuit gegaan dat het geven van een presentatie iets zegt over de mondelinge taalvaardigheid van een student. Dit is niet onredelijk, maar het is geen wet van meden en perzen. Het is zeer wel mogelijk dat bij het beoordelen van een presentatie examinatoren mede of vooral kijken naar de juistheid van de inhoud ervan, naar de kwaliteit van de gebruikte bronnen, naar het oogcontact van de spreker met de toehoorder, naar de toepasselijkheid van gebaren die de spreker tijdens de presentatie maakt, of naar de kwaliteit van de digitale presentatie zelf. Niet alleen zullen veel examinatoren bij het beoordelen van een presentatie die in het kader van het instellingsexamen Spreken gegeven is, feitelijk een of meer van deze aspecten bij de beoordeling betrekken maar ook als dat niet de bedoeling is – dus als de opsteller van het exameninstrument het oogmerk had een bepaald aspect (bijvoorbeeld het gebruik van foto’s in de presentatie) buiten de beoordeling te houden – laat zich de redelijkheid van het betrekken van deze aspecten in de beoordeling niet blokkeren. Wie hieromtrent aarzelingen heeft, en meent dat door het exacter aanscherpen van de beoordelingscriteria aspecten buitengesloten kunnen worden, zij erop gewezen dat althans voor het vak Nederlands de commissie Meijerink aspecten die intuïtief niet veel te maken hebben met de mondelinge taalvaardigheid expliciet heeft opgenomen in de uitwerking van de referentieniveau’s. Zo nu en dan lijken de ijkpunten van de commissie Meijerink rechtstreeks te zijn ontleend aan de tips en trucs waarmee het Nederlandse Debatinstituut de Nederlandse burger meent te moeten indoctrineren in de richting van het waarderen van populistische Jip&Janneke-praat. Dat is een veeg teken, niet alleen omdat daaruit blijkt dat de commissie Meijerink niet deskundig bezig is geweest, maar vooral omdat, gegeven het feit dat de ene Nederlandse burger Geert Wilders een populist vindt en de andere Nederlandse burger Mark Rutte een populist vindt, zo ongeveer elke manier van spreken die van redelijkheid gespeend is aan de criteria van de commissie Meijerink lijkt te voldoen.
Onze excuses voor het geval deze zijslag naar het alsmaar verder dalende niveau van het maatschappelijke debat in Nederland u heeft afgeleid van het punt dat wij willen maken: vanuit de referentieniveau’s die de commissie Meijerink heeft opgesteld, laten zich geen helder en duidelijke criteria afleiden waardoor bepaalde, dus benoembare, aspecten van een presentatie buiten de beoordeling gehouden zouden moeten worden. Eén van ons was onlangs assessor bij een examen Nederlands waarbij een studente een presentatie hield terwijl zij gekleed was in een tenue met daarop de woorden “Fuck You”. Na overleg kreeg de studente een voldoende (een 6,7 om precies te zijn) doch zowel de duur als de inhoud van het overleg bevestigen de hypothese dat voor althans één van de assessoren de kledij met de provocerende tekst een aspect van de presentatie was dat bij de beoordeling niet genegeerd mocht worden. Dat de studente er zelf ook zo over dacht werd bevestigd door haar antwoord op de vraag of zij, aldus gekleed, een presentatie voor haar toekomstige werkgever zou houden.
Kort gezegd: de idee dat door het aanscherpen van de criteria in een exameninstrument, de aandacht van de assessoren daadwerkelijk gericht zou kunnen worden op die aspecten die volgens de makers van het exameninstrument relevant zijn, is even utopisch als dystopisch.
Als het exameninstrument niet voldoende exact kan zijn voor wat betreft de aspecten die meegenomen moeten worden, mag niet verwacht worden dat het exameninstrument voldoende exact is voor wat betreft de score die voor een bepaald aspect aan de student moet toegekend. Men kan de subjectiviteit van de ‘becijfering’ betreuren doch het feit van treurnis impliceert niet dat de bron ervan weggenomen zou kunnen worden. Een objectieve toetsing van vaardigheden die niet objectief getoetst kunnen worden is, wij zouden hier bijna zeggen per definitie, onmogelijk. Dit impliceert dat er, voor zover er aan de professionaliteit van examinatoren gewerkt kan worden, de inspanning en investering niet gericht moet zijn op wat buiten het domein der mogelijkheden ligt. Voor zover er in de context van examinatoren en assessoren gesproken kan worden van professionaliteit, moet deze gezocht worden in het vermogen om met onduidelijke criteria om te gaan.
In de context van het MBO is voor, bijvoorbeeld, een assessor bij het vak Nederlands de vraag: is het redelijk aan te nemen dat deze student (m/v) zich in de beroepspraktijk die aansluit op de opleiding voldoende verstaanbaar en helder zal weten uit te drukken? Is het antwoord ja, dan is de student voor het betreffende vak geslaagd; is het antwoord nee, dan moet er nog een gewerkt worden.
Tegen de achtergrond van deze (ham)vraag komen de criteria die in uw document aan de assessor gesteld worden, evasief en soms lachwekkend over. Ter illustratie beschouwen we de ‘operationalisering’ die op pagina 6 gegeven wordt van de competentie of vaardigheid van het criterium van een beoordelingsstandaard:
Gedrag
De assessor/examinator laat de volgende gedragingen zien:
• Heeft kennis van, past toe de regelgeving zoals voorgeschreven in de
procedure;
• Relateert concreet getoond gedrag / resultaat van een interview / resultaat
van beoordeling bewijzen, aan de beoordelingscriteria;
• Past de WACKER-methode toe bij een observatie;
• Past de STAR-methode toe bij een Criterium Gericht Interview (CGI);
• Past de VRAAK-methode toe bij de beoordeling van een
portfolio/documenten;
• Is transparant in zijn werkwijze;
• Vult de beoordeling in zoals voorgeschreven in de procedure;
• Gebruikt op de voorgeschreven wijze de cesuur.
Deze ‘operationalisering’ schiet tekort in de zin dat de “WACKER-methode”, de “STAR-methode” en de “VRAAK-methode” methodologisch natuurlijk geen methode zijn, maar in de onderwijssector wordt alsmaar slordiger omgesprongen met termen die in andere sectoren een specifiekere betekenis hebben, dat we daar niet opnieuw over zullen vallen. Zien we de slordige formuleringen door de vingers, dan staat er echter nog steeds niets. Wat betekent het als een examinator ‘transparant is in zijn werkwijze’? Eén van onze cursusleiders had enige maanden terug een geval om handen van een student die maar niet kon afstuderen omdat de examinator in elke ronde meer dan twee taalfouten constateerde. Die constatering stond helder en transparant op het beoordelingsformulier. Vanwege die transparantie achtte de examinator zich verder ontslagen van een inhoudelijke beoordeling van de scriptie. Opmerkelijk was dat dit transparante oordeel ook geveld werd nadat onze cursusleider de scriptie op taalfouten had gecorrigeerd. Nu zou men kunnen zeggen dat de mate van transparantie van de examinator althans zodanig was dat de examencommissie in ronde vier een berisping naar zijn kant op kon laten gaan. Maar we moeten hier de praktijk niet uit het oog verliezen, en die is dat in veruit de meeste gevallen een ‘onjuist’ oordeel van examinator door niets of niemand meer getoetst wordt, en een examencommissie slechts een ‘marginale toetsing’ toekomst. Als een examinator voldaan heeft aan het criterium van transparantie – in dit geval door het vinkje “meer dan twee taalfouten per pagina” aan te vinken – dan volgt daar niet uit dat een toetsend orgaan, i.h.c. de examencommissie, daarop kan ingrijpen. In de meeste gevallen kan dat niet, en doet de mate van transparantie van de examinator er dus niets toe.
Iets dergelijks geldt voor de andere ‘gedragingen’: het klinkt aardig, en zelfs zo aardig dat zo ongeveer elke examinator als vanzelf zal voldoen of willen voldoen aan deze ‘criteria’, maar de criteria houden nauwelijks verband met de kwaliteit van het oordeel dat de examinator velt.
Nu terug naar de context van onze cursus “Kwaliteit geregeld”. Het traject waarmee u assessoren meent te kunnen ‘certificeren’ doet ons denken aan trajecten van pseudo-certificering die wij bij het schrijven van de cursus vaker zijn tegengekomen. (Wist u dat softwareleverancier die in het onderwijs gecertificeerd willen worden voor de AVG/privacywetgeving, dit voor elkaar kunnen krijgen door simpelweg te verklaren dat zij voldoen aan de AVG/privacywetgeving? Als u dat al wist, dan verzoeken wij u namens Kennisnet dit niet verder te vertellen, want het is de bedoeling dat scholen denken dat softwareleveranciers die gecertificeerd zijn voor de AVG/privacywetgeving daarvoor een bijzondere inspanning hebben verricht en zich na het verrichten van die inspanning hebben blootgesteld aan het hyperkritische oog van Kennisnet.)
Als hier sprake is van pseudo-certificering, dan zou dit een bruikbaar voorbeeld zijn in de cursus ‘Kwaliteit geregeld’, een voorbeeld van hoe de onderwijssector zich conformeert aan een regel die er niet is, en zich daarbij laat leiden door organisaties die geen gezag kunnen hebben omdat de regel waarnaar deze organisaties verwijzen er niet is.
Maar hier, op dit punt, raken wij bevangen door een aarzeling. Mogelijk zijn wij door de jaren heen te cynisch geworden over het onderwijs.