Examens en selectie

In deze blogbijdrage stel ik een vraag aan de lezer, voortkomend uit een tweetal recente mediauitingen over examinering en selectie Nederland.

1. Universiteiten gaan meer selecteren aan de poort
Het werd afgelopen week breed uitgemeten in de krant: Utrecht stelt vooraf bij studenten hun geschiktheid voor de studie vast. Zelf schrijft de universiteit hierover: "We willen met matching bereiken dat studenten bewuster kiezen voor een opleiding, beter nadenken of een opleiding wel of niet bij hen past. Daarmee willen we al voor de poort zorgen voor meer binding tussen student en opleiding om de uitval in het eerste jaar tegen te gaan en het studiesucces te verbeteren. Matching is een traject van vier samenhangende onderdelen, dat begint bij de voorlichting, een intakeformulier, een matchingsactiviteit tot en met goede begeleiding in het eerste jaar en het bindend studieadvies."

2. PABO’s hanteren (o.a.) een verplichte rekentoets voor hun eerstejaars studenten
De Katholieke PABO Zwolle twitterde op 20 september het volgende:
"Studenten Vt en Dt behalen goede resultaten bij Entreetoets Taal Respectievelijk 69% en 77% behaalt het bij het eerste aanbod! #proficiat"

Theo Wubbels reageerde hierop: " "Goede resultaten Entreetoets Taal Respectievelijk 69% en 77% haalt het". Zolang we dit goed noemen gaat het niet goed met pabo." en in een tweede reactie: "ik vind dat de pabo dit percentage geen goed resultaat moet noemen. Havo schiet tekort. Afnemen toets is prima"

Casper Hulshof was van mening: "Ik vind eigenlijk dat in principe iedere havo'er zo'n entreetoets moet kunnen halen. Anders klopt er toch iets niet?"

Mijn mening: Als je havo-examen hebt gedaan en je zakt voor een taaltoets die basiskwaliteit meet, is er in elk geval sprake van een vreemde situatie. De school is blij dat zo'n 70% slaagt. Dat zijn hopelijk niet allemaal havo gediplomeerde PABO studenten.

De vraag die mij bezig houdt is: waar is Nederland nu het best mee gediend? We willen allemaal graag competente professionals in ons land. We hebben ze keihard nodig, niet alleen in ons onderwijs, als hypotheekadviseur of bakker, maar zeker ook in de zoektocht naar innovatie van onze economie.
Wat geeft een betere garantie op de kwaliteit aan expertise die wij daarvoor nodig hebben?

Moet een einddiploma (havo, vwo, of vmbo) de garantie geven dat geslaagde leerlingen ook voldoende zijn voorbereid op een aantal uitputtend beschreven vervolgstappen? Of is selectie aan de poort, misschien zelfs een toelatingsexamen een beter idee?

Wat vinden jullie?

Standard-based national testing: zegen of vloek?

Op 31 aug 2012 werd de Earli Sig Assessment & Evaluatie afgesloten met een internationaal debat over standard-based national testing. Zes landen werden gerepresenteerd door experts in assessment en evaluatie: Nieuw Zeeland (Gavin Brown), de Verenigde Staten (Jim Pelligrino), Zweden (Anders Jönsson), België, Vlaanderen (Nadine Engels), Duitsland (Jan-Willem Strijbos), en Nederland (Marieke van der Schaaf). De discussie werd geleid door Frans Prins.
Elke representant presenteerde kort het systeem van national standard-based testing in zijn of haar land en de consequenties daarvan. De landen zijn te positioneren op een continuüm van (te) veel naar geen national standard-based testing.
In de USA is onder invloed van Bush' ‘No Child left Behind Act’ de afgelopen jaren veel geïnvesteerd in nationaal testen. Ondanks de verschillende beleidsvoeringen per staat is in het algemeen te stellen dat er een  grote nadruk ligt op gestandaardiseerd toetsen. De resultaten van de vele toetsen die leerlingen verplicht ondergaan zijn voornamelijk voor administratieve doeleinden van belang, bijvoorbeeld om op geaggregeerd niveau de kwaliteit van onderwijs te kunnen vaststellen. Ook in Duitsland is er een sterk regime van national standard-based testing, al zijn de resultaten daarvan niet af te lezen aan de relatieve zwakke Pisa ranking. Dit heeft een negatieve invloed op leerlingen die angstig zijn om tussentijdse concepten van hun werk aan te leveren bij docenten voor feedback, een fenomeen dat Strijbos in de praktijk ondervindt.
Jönsson legde uit dat in het aanvankelijk liberale Zweden nu een opmars van standard-based testing gaande is. De situatie in Nederland is vooralsnog iets milder en te bestempelen als een midden tussen verplichte standard-based toetsing (bijvoorbeeld Cito eindexamens in het VO) en het gebruik van toetsing voor formatieve doeleinden. Een voorbeeld is de Citotoets in groep 8 die vooralsnog niet verplicht is (en dat voorlopig ook niet zal worden) en die op ongeveer 85% van onze scholen wordt afgenomen. De advisering voor het niveau van middelbaar onderwijs van leerlingen is voornamelijk gebaseerd op het advies van het leerkrachtenteam van de basisschool.
In België en Nieuw Zeeland heeft men geen systeem voor national standard-based testing.  In Nieuw Zeeland bestaat een groot aanbod van geschikte tests voor scholen en docenten waaruit men een keuze kan maken. Vervolgens is het aan de school om verantwoording af te leggen over de kwaliteit van toetsing. Kortom, een faciliterend beleid met een verantwoording bij de scholen en docenten.
Vervolgens kruisten de experts en het publiek de degens onder leiding van Frans Prins. De voors- en tegens van de diverse systemen werden belicht. Uiteraard was daarin veel aandacht voor het onwenselijke fenomeen van teaching to the test dat het curriculum op scholen vernauwt. Ook werd afbreuk van zelfvertrouwen van leerlingen als mogelijk schadelijk gevolg van het vele testen gezien. In landen waar een middenpositie ten aanzien van standardbased testing wordt ingenomen, zoals Nederland, blijft de consequentiele validiteit vaak in gebreken, hetgeen inhoudt dat de toetsresultaten dikwijls voor andere doeleinden worden gebruikt dan aanvankelijk beoogt. Een voorbeeld is het hangen van een zwaar gewicht aan resultaten van de kleutertoets die veel scholen ter monitoring van hun leerlingen in Nederland wordt afgenomen. Basisscholen en leerkrachten gaan daar verschillend mee om.
Moeten we af van standard-based testing? Nee, want ondanks de tekortkomingen zullen we ook de meerwaarde van standard-based testing moeten erkennen, aldus een meerderheid van de panelleden. De toetsen kunnen een aanvulling zijn op toetsen die door docenten en de school worden ontwikkeld en afgenomen. Dat is een pre, want we weten allemaal dat beoordelingen van docenten ook de nodige bias bevat. Vanwege standaardisatie maakt standard-based testing op nationaal niveau een voorzichtige vergelijkingsbasis mogelijk binnen en tussen landen, mits we daar maar geen onjuiste consequenties aan verbinden.

Wat we leren uit het debat:
De visie van de experts in de zaal en van het panel komt erop neer dat het van belang is te streven naar een gebalanceerd systeem, waarin standaard-based testing in minimale mate zou kunnen functioneren ter aanvulling op schoolexamens of toetsen zoals gekozen door scholen en docenten. Bij voorkeur bestaat er een groot en degelijk aanbod van tests waar scholen en docenten uit kunnen putten om hun toetsbeleid mee vorm te geven en waarover ze verantwoording kunnen afleggen aan de onderwijsinspectie. Dit komt behoorlijk in de buurt van ons huidigeNederlandse systeem.
Advies van de Europese toets- en assessmentdeskundigen aan de opvolg(st)er van Marja en Halbe: stop verdere invoering van standard-based testing, maak de Citotoets in groep 8 niet verplicht!

Joseph Kessels over assessment en evaluatie

Op 29 augustus vond een zogenaamde EARLI 'SIG-meeting' (SIG staat voor 'special interest group') over toetsing plaats. De EARLI (European Association for Research on Learning and Instruction) is het Europese overlegorgaan tussen  onderwijskundigen, zoals de VOR (Vereniging voor onderwijsresearch) dat is voor Nederland. Bij de gelegenheid op 29 augustus sprak professor Joseph Kessels, hoogleraar human resource development aan de Universiteit Twente. Marieke van der Schaaf heeft zijn rede over assessment en evaluatie samengevat.

Kessels behandelt het thema ‘assessment’ vanuit het perspectief van levenslang leren en ontwikkeling van (toekomstige) hoger en lager opgeleide beroepsbeoefenaren. Helaas draagt assessment, in summatief en formatief opzicht (bv. feedback), in veel gevallen niet bij aan levenslang leren in onderwijs en organisaties. Dikwijls is het principe van ‘step up or step out’ aan de orde, hetgeen inhoudt dat enkel in ‘top performers’ in een organisatie wordt geïnvesteerd. De keerzijde van dit ‘rankingsproces’ is dat het verliezers creeërt. “Every golden medal stands for many losers”. Kessels stelt de mogelijke perversie waartoe dit leidt aan de orde. Daarin verwijst hij kritisch naar het academische systeem van publicatiedruk en het organiseren van een ratrace door onhoudbare standaarden en rankingsystemen. Op geaggregeerd niveau geldt dat ook voor curricula in het onderwijs; om als school tot een goede ranking te komen worden curricula dikwijls ‘uitgekleed’met een accent op basisvakken (‘back to basics’) en doet zich vaak teaching to the test voor. What makes professionals shine? Kessels benoemt het belang van intrinsieke motivatie voor de inhoud van een vakgebied voor levenslang leren. Levenslang leren betekent ‘levenslang’ voor menigeen. De plan-do-check-act cyclus (Deming) kan worden ingezet voor performance feedback om assessment for learning te stimuleren, in ogenschouw genomen dat feedback niet automatisch leidt tot performance improvement.

Kessels beschijft veel gebruikte ingredienten voor competency based assessment, gebaseerd op ‘gap analysis’:

• Ontwikkelen van een competentie profiel, d.w.z. relevante kerntaken in een werkomgeving onderscheiden.
• Analyse van de ‘Competentie gap’ – over welke competenties beschikt de student/werknemer nog niet?
• Overbruggen van de competentie gap door middel van training en ontwikkeling
• Het beoordelen van de resultaten – ‘bewijs’ van iemands competenties in een realistische context.

Keerzijde van deze benadering is dat het gericht is op wat er ontbreekt en niet op talenten van personen (negatief uitgangspunt). Als alternatief stelt Kessels een ‘appreciate approach’ voor, bestaande uit de ‘romantische’ stappen: 1) discovery: appreciate what is; 2) dreaming: imagine what might be; 3) design: determine what the ideal should be; 4) destiny: create what will be. Self-determination theory (Ryan & Deci) kan als onderbouwing bij deze benadering worden gezien.

Wat leren we hiervan?

Mensen/kinderen verschillen van elkaar. Een one-size-fits all system in assessment, werkt niet. Van belang om assessment FOR learning voor ogen te houden, investeren in talent in plaats van selectie en exclusie door assessment. Persoonlijke ontwikkeling gaat samen met emancipatie.

Nogmaals, verstand van toetsen

Voor goed onderwijs is de kwaliteit van leerkrachten van levensbelang. Het is niet alleen belangrijk dat zij inzicht hebben in de beoogde leerinhoud en de aard van de leerlingen. Ze moeten ook een krachtige leeromgeving kunnen arrangeren, in het basisonderwijs bovendien gedurende de gehele onderwijsperiode. En omdat alle leerlingen uniek zijn en passend onderwijs is geboden is het geen wonder dat er steeds meer volgsystemen op de markt komen. Zo kan de leerkracht de leerling op de voet volgen in zijn ontwikkeling. En daar wordt het onderwijs alleen maar beter van, of niet soms?

Nu, ik denk van niet! En wel om het volgende. Ten eerste vraagt het van de leerkracht veel (toetstechnische) kennis om toetsresultaten juist te interpreteren en te vertalen naar een juist oordeel. Cijfers en afvinklijstjes geven het gevoel van weten, terwijl er altijd maar beperkt is gemeten. Zonder reflectie op een score, heeft deze geen betekenis. Vaak worden het toetsresultaat en het oordeel verward. Ik zie op het rapport van mijn zoon bijvoorbeeld een 4 voor tafels, terwijl hij de tafels prima uit zijn hoofd kent. Nu weet de juf dat in dit geval gelukkig ook. Maar ja, men zet nou eenmaal de toetsuitslag op het rapport. Over de functie van een rapport wordt allang niet meer nagedacht, rapporten invullen is een routineklus geworden...
Dat brengt me op mijn tweede argument. Het gebruiken van een meetinstrument vraagt om een professionele beroepshouding, waarbij helder is wat de verantwoordelijkheid is van de professional en kennis van de functie van de instrumenten die je gebruikt. Een professional interpreteert de gemeten scores niet alleen, maar weegt ze ook naast andere inzichten en beslist welke vervolgactie passend is. Een arts doet dat met een bloedonderzoekuitslag, en zo moet een leerkracht dat ook doen met een toetsuitslag. Ik wil niet zozeer mijn bloedwaardes weten, ik wil weten welke diagnose de arts daaraan verbindt. Ik wil van de school een professioneel oordeel weten en een advies.
Het derde argument is dat juist de ogenschijnlijke eenvoud van gebruiksvriendelijke toetsinstrumenten de beoordelingskwaliteit van het onderwijs verkleint. Teveel vertrouwen in een volgsysteem zal de zwakke beoordelingsvaardigheden van sommige leerkrachten verdoezelen. Goede leerkrachten hebben een volgsysteem niet zozeer nodig hebben om te weten hoe hun leerlingen ervoor staan, zij gebruiken het als aanvulling van hun eigen oordeel.
Een vierde argument is dat teveel nadruk op instrumenten kan leiden tot ondermijning van de erkende waarde van de professional. Ik wantrouw de arts, dus geef me zelf maar die echo, ik vind de juf niet prettig, ik vertrouw maar gewoon op de citoscore van mijn kind.
Tenslotte is er de financiële vraag. Als het overheidsgeld dat nu geïnvesteerd wordt in voortgangstoetsen eens werd geïnvesteerd in het verzwaren van de lerarenopleiding. Dan hebben we straks die professionals ook echt in de klas die naar de talenten en prestaties van mijn kind kijkt in plaats van naar de scores van de toetsen van mijn kind.
Het wrange is dat volgsystemen in het onderwijs worden ingezet om de kwaliteit van scholen en van onderwijs te verhogen. Ik ben van mening dat het juist de kwaliteit ondermijnt, door de overwaardering van systemen en procedures en het maskeren van een soms pijnlijk tekort aan expertise.

Ook in het bedrijfsleven zie ik vergelijkbare ontwikkelingen, bijvoorbeeld als het gaat om kwaliteitszorg en controle daarop. Ik roep wel eens: "Waar kwaliteitszorg start, stopt het leren." ISO-certificering hangt maar beperkt samen met goede kwaliteitszorg. Kwaliteitsbeleid en dito procedures staan niet garant voor kwaliteitsdenken. Daar waar door een afgedwongen "meten wat we kunnen meten in plaats van meten wat we willen weten"-aanpak vinklijstjes het verstand gaan domineren, moet de echte professional opstaan. In de zorgsector zie ik dat steeds vaker gebeuren. De dialoog aangaan met medewerkers, klanten en collega's, in plaats van vinkjes zetten en lijstjes aanleveren. Zelf kijken, zelf nadenken wat kwaliteit is en zelf bepalen wat je daarvoor moet weten, dus.

Ik vind het een bemoedigende trend, van controle naar inzicht en vertrouwen. Er is nog hoop voor het onderwijs.

We hebben verstand van toetsen, maar hebben we ook verstand van toetsen?

Aankomende vrijdag mag ik een praatje houden op het afscheid van Piet Sanders. Piet Sanders is expert op het gebied van toetsing, voorzitter van de Nederlandse Vereniging van Examens en jarenlang werkzaam geweest bij Cito. Ik ben zeer vereerd, want ik ben onbekend, niet gepromoveerd, vrouw, jong en noem nog maar wat afwijkingen ten opzichte van het gemiddeld mensprofiel van die dag.

CITO vroeg me om iets te vertellen over mijn ervaringen met toetsen in het werkveld. Nu ben ik voor veel van mijn klanten weliswaar een expert op toetsgebied, maar ten opzichte van Piet Sanders verbleekt mijn psychometrische kennis terstond. Ik ga daar dus niets vertellen over toetsen, en misbruik dit blog om mijn gedachten te ordenen.

Waar ik in Piet de afgelopen jaren een aantal malen een bondgenoot vond, was in de zoektocht naar goede toetsen die bruikbaar zijn in het veld. Het veld was de detailhandelsbranche. De vraag was of er een praktijkexamen moest komen. Ik ben er een groot voorstander van om de bruikbaarheidseis op te nemen als een kwaliteitseis voor alles, dus zeker ook voor toetsen. En dan niet om eens en voor altijd een einde te maken aan de lijst van randvoorwaarden, maar omdat de bruikbaarheidseis je dwingt om naar de context en naar de echte vraag te kijken. Deze opmerking zette mij aan het denken.

The proof of the pudding is in the eating, maar is the proof of the performance in the assessment? Ik geloof het niet zo erg. De toets is maar een van de vele middelen om te bewijzen of te controleren dat iemand competent is. De context biedt vaak ook vele mogelijkheden om te controleren of iemand competent is. Audits zijn misschien wel een geschikter middel om gedrag te beoordelen dan een praktijkexamen.

De echte vraag gaat bijna nooit om het behalen van de toets, die gaat verder dan dat. Die gaat in de situaties die ik bedoel, over het mogen werken in een werkveld, een beroep mogen uitoefenen.
Dat daar eisen aan verbonden kunnen worden is klip en klaar, het aantoonbaar maken dat aan die eisen  is voldaan al een uitdagende missie. Het met het behalen van een toets voor 100% garanderen dat die persoon een beginnende vakman is, misschien wel een utopie. Toetsen maken is afleiden, afleiden is informatie verliezen, informatie verliezen is risico's nemen. Juist daar waar je je wilde verzekeren van kwaliteit.

Toen ik mijn intrede maakte in de wereld van de detailhandel en examinering maakte ik kennis met vele 'mannetjes'. Mannetjes die al jaren meeliepen in het vak, die precies wisten wat een vakman is. Bovendien hadden ze ook veel opvattingen over examineren.
Zoals dat je het nooit kunt beschrijven, want het zit toch in de vingers en tussen de oren. Vaste criteria opstellen om te beoordelen was niet nodig en eigenlijk onmogelijk.
Zoals dat je moet vragen naar wat iemand weet, dus even een beetje helpen als iemand het niet weet is heel verstandig.
Zoals dat met zijn tweeën een kandidaat beoordelen niet nodig is, als je maar kundige vakmensen vraagt als jury. En die kennen elkaar allemaal nog van vroeger, die zijn het wel eens.
Het was een uitdagende tijd en voordat ik de toetsmatrijs en het praktijkexamenprotocol had geïmplementeerd was ik veranderd van dat leuke meisje, in die strenge mevrouw.

Destijds was ik tevreden met wat ik bereikt had, maar nu weet ik het soms niet meer zo zeker.

Laatst las ik weer eens het boek "De man die zijn vrouw voor een hoed hield", en ik ging weer twijfelen aan mijn kwaliteitsverbeterinterventie. Oliver Sacks beschrijft daarin Dr. P., een ontwikkelde man die het vermogen heeft verloren om een cognitief oordeel te vellen. Niet omdat hij niet meer abstract kan denken, of categoriseren. Nee, juist omdat hij zijn intuitief vermogen verloren heeft en daarmee het vermogen persoonlijke verbinding aan te gaan en te voelen. Dit door een beschadiging van een deel van zijn hersenen. Dr P. herkent geen mensen meer, hij ziet alleen patronen. Hij ziet zijn vrouw voor een hoed aan. Sacks trekt een parallel naar de wetenschap, en noemt daarbij de psychologie en cognitieve neurologie. Maar geldt het niet ook voor de psychometrie. Om het concrete en reele te zien en te beoordelen, hebben we niet genoeg aan het indelen en ordenen, maar moeten we ook voortdurend intuitief oordelen en voelen.

Voor de toetsdeskundige heb ik daarom een vraag:
Betekent verstand hebben van toetsen dat je verstand hebt van ordenen of dat je verstand hebt van oordelen?

Aan Piet Sanders de dank dat hij mij heeft wakker geschud met zijn opmerking dat de bruikbaarheidseis van belang is. Bijzonder om te zien dat iemand die zijn sporen heeft verdiend met ordenen, het oordelen niet is verleerd.