Aankomende vrijdag mag ik een praatje houden op het afscheid van Piet Sanders. Piet Sanders is expert op het gebied van toetsing, voorzitter van de Nederlandse Vereniging van Examens en jarenlang werkzaam geweest bij Cito. Ik ben zeer vereerd, want ik ben onbekend, niet gepromoveerd, vrouw, jong en noem nog maar wat afwijkingen ten opzichte van het gemiddeld mensprofiel van die dag.
CITO vroeg me om iets te vertellen over mijn ervaringen met toetsen in het werkveld. Nu ben ik voor veel van mijn klanten weliswaar een expert op toetsgebied, maar ten opzichte van Piet Sanders verbleekt mijn psychometrische kennis terstond. Ik ga daar dus niets vertellen over toetsen, en misbruik dit blog om mijn gedachten te ordenen.
Waar ik in Piet de afgelopen jaren een aantal malen een bondgenoot vond, was in de zoektocht naar goede toetsen die bruikbaar zijn in het veld. Het veld was de detailhandelsbranche. De vraag was of er een praktijkexamen moest komen. Ik ben er een groot voorstander van om de bruikbaarheidseis op te nemen als een kwaliteitseis voor alles, dus zeker ook voor toetsen. En dan niet om eens en voor altijd een einde te maken aan de lijst van randvoorwaarden, maar omdat de bruikbaarheidseis je dwingt om naar de context en naar de echte vraag te kijken. Deze opmerking zette mij aan het denken.
The proof of the pudding is in the eating, maar is the proof of the performance in the assessment? Ik geloof het niet zo erg. De toets is maar een van de vele middelen om te bewijzen of te controleren dat iemand competent is. De context biedt vaak ook vele mogelijkheden om te controleren of iemand competent is. Audits zijn misschien wel een geschikter middel om gedrag te beoordelen dan een praktijkexamen.
De echte vraag gaat bijna nooit om het behalen van de toets, die gaat verder dan dat. Die gaat in de situaties die ik bedoel, over het mogen werken in een werkveld, een beroep mogen uitoefenen.
Dat daar eisen aan verbonden kunnen worden is klip en klaar, het aantoonbaar maken dat aan die eisen is voldaan al een uitdagende missie. Het met het behalen van een toets voor 100% garanderen dat die persoon een beginnende vakman is, misschien wel een utopie. Toetsen maken is afleiden, afleiden is informatie verliezen, informatie verliezen is risico's nemen. Juist daar waar je je wilde verzekeren van kwaliteit.
Toen ik mijn intrede maakte in de wereld van de detailhandel en examinering maakte ik kennis met vele 'mannetjes'. Mannetjes die al jaren meeliepen in het vak, die precies wisten wat een vakman is. Bovendien hadden ze ook veel opvattingen over examineren.
Zoals dat je het nooit kunt beschrijven, want het zit toch in de vingers en tussen de oren. Vaste criteria opstellen om te beoordelen was niet nodig en eigenlijk onmogelijk.
Zoals dat je moet vragen naar wat iemand weet, dus even een beetje helpen als iemand het niet weet is heel verstandig.
Zoals dat met zijn tweeën een kandidaat beoordelen niet nodig is, als je maar kundige vakmensen vraagt als jury. En die kennen elkaar allemaal nog van vroeger, die zijn het wel eens.
Het was een uitdagende tijd en voordat ik de toetsmatrijs en het praktijkexamenprotocol had geïmplementeerd was ik veranderd van dat leuke meisje, in die strenge mevrouw.
Destijds was ik tevreden met wat ik bereikt had, maar nu weet ik het soms niet meer zo zeker.
Laatst las ik weer eens het boek "De man die zijn vrouw voor een hoed hield", en ik ging weer twijfelen aan mijn kwaliteitsverbeterinterventie. Oliver Sacks beschrijft daarin Dr. P., een ontwikkelde man die het vermogen heeft verloren om een cognitief oordeel te vellen. Niet omdat hij niet meer abstract kan denken, of categoriseren. Nee, juist omdat hij zijn intuitief vermogen verloren heeft en daarmee het vermogen persoonlijke verbinding aan te gaan en te voelen. Dit door een beschadiging van een deel van zijn hersenen. Dr P. herkent geen mensen meer, hij ziet alleen patronen. Hij ziet zijn vrouw voor een hoed aan. Sacks trekt een parallel naar de wetenschap, en noemt daarbij de psychologie en cognitieve neurologie. Maar geldt het niet ook voor de psychometrie. Om het concrete en reele te zien en te beoordelen, hebben we niet genoeg aan het indelen en ordenen, maar moeten we ook voortdurend intuitief oordelen en voelen.
Voor de toetsdeskundige heb ik daarom een vraag:
Betekent verstand hebben van toetsen dat je verstand hebt van ordenen of dat je verstand hebt van oordelen?
Aan Piet Sanders de dank dat hij mij heeft wakker geschud met zijn opmerking dat de bruikbaarheidseis van belang is. Bijzonder om te zien dat iemand die zijn sporen heeft verdiend met ordenen, het oordelen niet is verleerd.
CITO vroeg me om iets te vertellen over mijn ervaringen met toetsen in het werkveld. Nu ben ik voor veel van mijn klanten weliswaar een expert op toetsgebied, maar ten opzichte van Piet Sanders verbleekt mijn psychometrische kennis terstond. Ik ga daar dus niets vertellen over toetsen, en misbruik dit blog om mijn gedachten te ordenen.
Waar ik in Piet de afgelopen jaren een aantal malen een bondgenoot vond, was in de zoektocht naar goede toetsen die bruikbaar zijn in het veld. Het veld was de detailhandelsbranche. De vraag was of er een praktijkexamen moest komen. Ik ben er een groot voorstander van om de bruikbaarheidseis op te nemen als een kwaliteitseis voor alles, dus zeker ook voor toetsen. En dan niet om eens en voor altijd een einde te maken aan de lijst van randvoorwaarden, maar omdat de bruikbaarheidseis je dwingt om naar de context en naar de echte vraag te kijken. Deze opmerking zette mij aan het denken.
The proof of the pudding is in the eating, maar is the proof of the performance in the assessment? Ik geloof het niet zo erg. De toets is maar een van de vele middelen om te bewijzen of te controleren dat iemand competent is. De context biedt vaak ook vele mogelijkheden om te controleren of iemand competent is. Audits zijn misschien wel een geschikter middel om gedrag te beoordelen dan een praktijkexamen.De echte vraag gaat bijna nooit om het behalen van de toets, die gaat verder dan dat. Die gaat in de situaties die ik bedoel, over het mogen werken in een werkveld, een beroep mogen uitoefenen.
Dat daar eisen aan verbonden kunnen worden is klip en klaar, het aantoonbaar maken dat aan die eisen is voldaan al een uitdagende missie. Het met het behalen van een toets voor 100% garanderen dat die persoon een beginnende vakman is, misschien wel een utopie. Toetsen maken is afleiden, afleiden is informatie verliezen, informatie verliezen is risico's nemen. Juist daar waar je je wilde verzekeren van kwaliteit.
Toen ik mijn intrede maakte in de wereld van de detailhandel en examinering maakte ik kennis met vele 'mannetjes'. Mannetjes die al jaren meeliepen in het vak, die precies wisten wat een vakman is. Bovendien hadden ze ook veel opvattingen over examineren.
Zoals dat je het nooit kunt beschrijven, want het zit toch in de vingers en tussen de oren. Vaste criteria opstellen om te beoordelen was niet nodig en eigenlijk onmogelijk.
Zoals dat je moet vragen naar wat iemand weet, dus even een beetje helpen als iemand het niet weet is heel verstandig.
Zoals dat met zijn tweeën een kandidaat beoordelen niet nodig is, als je maar kundige vakmensen vraagt als jury. En die kennen elkaar allemaal nog van vroeger, die zijn het wel eens.
Het was een uitdagende tijd en voordat ik de toetsmatrijs en het praktijkexamenprotocol had geïmplementeerd was ik veranderd van dat leuke meisje, in die strenge mevrouw.
Destijds was ik tevreden met wat ik bereikt had, maar nu weet ik het soms niet meer zo zeker.
Laatst las ik weer eens het boek "De man die zijn vrouw voor een hoed hield", en ik ging weer twijfelen aan mijn kwaliteitsverbeterinterventie. Oliver Sacks beschrijft daarin Dr. P., een ontwikkelde man die het vermogen heeft verloren om een cognitief oordeel te vellen. Niet omdat hij niet meer abstract kan denken, of categoriseren. Nee, juist omdat hij zijn intuitief vermogen verloren heeft en daarmee het vermogen persoonlijke verbinding aan te gaan en te voelen. Dit door een beschadiging van een deel van zijn hersenen. Dr P. herkent geen mensen meer, hij ziet alleen patronen. Hij ziet zijn vrouw voor een hoed aan. Sacks trekt een parallel naar de wetenschap, en noemt daarbij de psychologie en cognitieve neurologie. Maar geldt het niet ook voor de psychometrie. Om het concrete en reele te zien en te beoordelen, hebben we niet genoeg aan het indelen en ordenen, maar moeten we ook voortdurend intuitief oordelen en voelen.
Voor de toetsdeskundige heb ik daarom een vraag:
Betekent verstand hebben van toetsen dat je verstand hebt van ordenen of dat je verstand hebt van oordelen?
Aan Piet Sanders de dank dat hij mij heeft wakker geschud met zijn opmerking dat de bruikbaarheidseis van belang is. Bijzonder om te zien dat iemand die zijn sporen heeft verdiend met ordenen, het oordelen niet is verleerd.
