Standard-based national testing: zegen of vloek?

Op 31 aug 2012 werd de Earli Sig Assessment & Evaluatie afgesloten met een internationaal debat over standard-based national testing. Zes landen werden gerepresenteerd door experts in assessment en evaluatie: Nieuw Zeeland (Gavin Brown), de Verenigde Staten (Jim Pelligrino), Zweden (Anders Jönsson), België, Vlaanderen (Nadine Engels), Duitsland (Jan-Willem Strijbos), en Nederland (Marieke van der Schaaf). De discussie werd geleid door Frans Prins.
Elke representant presenteerde kort het systeem van national standard-based testing in zijn of haar land en de consequenties daarvan. De landen zijn te positioneren op een continuüm van (te) veel naar geen national standard-based testing.
In de USA is onder invloed van Bush' ‘No Child left Behind Act’ de afgelopen jaren veel geïnvesteerd in nationaal testen. Ondanks de verschillende beleidsvoeringen per staat is in het algemeen te stellen dat er een  grote nadruk ligt op gestandaardiseerd toetsen. De resultaten van de vele toetsen die leerlingen verplicht ondergaan zijn voornamelijk voor administratieve doeleinden van belang, bijvoorbeeld om op geaggregeerd niveau de kwaliteit van onderwijs te kunnen vaststellen. Ook in Duitsland is er een sterk regime van national standard-based testing, al zijn de resultaten daarvan niet af te lezen aan de relatieve zwakke Pisa ranking. Dit heeft een negatieve invloed op leerlingen die angstig zijn om tussentijdse concepten van hun werk aan te leveren bij docenten voor feedback, een fenomeen dat Strijbos in de praktijk ondervindt.
Jönsson legde uit dat in het aanvankelijk liberale Zweden nu een opmars van standard-based testing gaande is. De situatie in Nederland is vooralsnog iets milder en te bestempelen als een midden tussen verplichte standard-based toetsing (bijvoorbeeld Cito eindexamens in het VO) en het gebruik van toetsing voor formatieve doeleinden. Een voorbeeld is de Citotoets in groep 8 die vooralsnog niet verplicht is (en dat voorlopig ook niet zal worden) en die op ongeveer 85% van onze scholen wordt afgenomen. De advisering voor het niveau van middelbaar onderwijs van leerlingen is voornamelijk gebaseerd op het advies van het leerkrachtenteam van de basisschool.
In België en Nieuw Zeeland heeft men geen systeem voor national standard-based testing.  In Nieuw Zeeland bestaat een groot aanbod van geschikte tests voor scholen en docenten waaruit men een keuze kan maken. Vervolgens is het aan de school om verantwoording af te leggen over de kwaliteit van toetsing. Kortom, een faciliterend beleid met een verantwoording bij de scholen en docenten.
Vervolgens kruisten de experts en het publiek de degens onder leiding van Frans Prins. De voors- en tegens van de diverse systemen werden belicht. Uiteraard was daarin veel aandacht voor het onwenselijke fenomeen van teaching to the test dat het curriculum op scholen vernauwt. Ook werd afbreuk van zelfvertrouwen van leerlingen als mogelijk schadelijk gevolg van het vele testen gezien. In landen waar een middenpositie ten aanzien van standardbased testing wordt ingenomen, zoals Nederland, blijft de consequentiele validiteit vaak in gebreken, hetgeen inhoudt dat de toetsresultaten dikwijls voor andere doeleinden worden gebruikt dan aanvankelijk beoogt. Een voorbeeld is het hangen van een zwaar gewicht aan resultaten van de kleutertoets die veel scholen ter monitoring van hun leerlingen in Nederland wordt afgenomen. Basisscholen en leerkrachten gaan daar verschillend mee om.
Moeten we af van standard-based testing? Nee, want ondanks de tekortkomingen zullen we ook de meerwaarde van standard-based testing moeten erkennen, aldus een meerderheid van de panelleden. De toetsen kunnen een aanvulling zijn op toetsen die door docenten en de school worden ontwikkeld en afgenomen. Dat is een pre, want we weten allemaal dat beoordelingen van docenten ook de nodige bias bevat. Vanwege standaardisatie maakt standard-based testing op nationaal niveau een voorzichtige vergelijkingsbasis mogelijk binnen en tussen landen, mits we daar maar geen onjuiste consequenties aan verbinden.

Wat we leren uit het debat:
De visie van de experts in de zaal en van het panel komt erop neer dat het van belang is te streven naar een gebalanceerd systeem, waarin standaard-based testing in minimale mate zou kunnen functioneren ter aanvulling op schoolexamens of toetsen zoals gekozen door scholen en docenten. Bij voorkeur bestaat er een groot en degelijk aanbod van tests waar scholen en docenten uit kunnen putten om hun toetsbeleid mee vorm te geven en waarover ze verantwoording kunnen afleggen aan de onderwijsinspectie. Dit komt behoorlijk in de buurt van ons huidigeNederlandse systeem.
Advies van de Europese toets- en assessmentdeskundigen aan de opvolg(st)er van Marja en Halbe: stop verdere invoering van standard-based testing, maak de Citotoets in groep 8 niet verplicht!

Joseph Kessels over assessment en evaluatie

Op 29 augustus vond een zogenaamde EARLI 'SIG-meeting' (SIG staat voor 'special interest group') over toetsing plaats. De EARLI (European Association for Research on Learning and Instruction) is het Europese overlegorgaan tussen  onderwijskundigen, zoals de VOR (Vereniging voor onderwijsresearch) dat is voor Nederland. Bij de gelegenheid op 29 augustus sprak professor Joseph Kessels, hoogleraar human resource development aan de Universiteit Twente. Marieke van der Schaaf heeft zijn rede over assessment en evaluatie samengevat.

Kessels behandelt het thema ‘assessment’ vanuit het perspectief van levenslang leren en ontwikkeling van (toekomstige) hoger en lager opgeleide beroepsbeoefenaren. Helaas draagt assessment, in summatief en formatief opzicht (bv. feedback), in veel gevallen niet bij aan levenslang leren in onderwijs en organisaties. Dikwijls is het principe van ‘step up or step out’ aan de orde, hetgeen inhoudt dat enkel in ‘top performers’ in een organisatie wordt geïnvesteerd. De keerzijde van dit ‘rankingsproces’ is dat het verliezers creeërt. “Every golden medal stands for many losers”. Kessels stelt de mogelijke perversie waartoe dit leidt aan de orde. Daarin verwijst hij kritisch naar het academische systeem van publicatiedruk en het organiseren van een ratrace door onhoudbare standaarden en rankingsystemen. Op geaggregeerd niveau geldt dat ook voor curricula in het onderwijs; om als school tot een goede ranking te komen worden curricula dikwijls ‘uitgekleed’met een accent op basisvakken (‘back to basics’) en doet zich vaak teaching to the test voor. What makes professionals shine? Kessels benoemt het belang van intrinsieke motivatie voor de inhoud van een vakgebied voor levenslang leren. Levenslang leren betekent ‘levenslang’ voor menigeen. De plan-do-check-act cyclus (Deming) kan worden ingezet voor performance feedback om assessment for learning te stimuleren, in ogenschouw genomen dat feedback niet automatisch leidt tot performance improvement.

Kessels beschijft veel gebruikte ingredienten voor competency based assessment, gebaseerd op ‘gap analysis’:

• Ontwikkelen van een competentie profiel, d.w.z. relevante kerntaken in een werkomgeving onderscheiden.
• Analyse van de ‘Competentie gap’ – over welke competenties beschikt de student/werknemer nog niet?
• Overbruggen van de competentie gap door middel van training en ontwikkeling
• Het beoordelen van de resultaten – ‘bewijs’ van iemands competenties in een realistische context.

Keerzijde van deze benadering is dat het gericht is op wat er ontbreekt en niet op talenten van personen (negatief uitgangspunt). Als alternatief stelt Kessels een ‘appreciate approach’ voor, bestaande uit de ‘romantische’ stappen: 1) discovery: appreciate what is; 2) dreaming: imagine what might be; 3) design: determine what the ideal should be; 4) destiny: create what will be. Self-determination theory (Ryan & Deci) kan als onderbouwing bij deze benadering worden gezien.

Wat leren we hiervan?

Mensen/kinderen verschillen van elkaar. Een one-size-fits all system in assessment, werkt niet. Van belang om assessment FOR learning voor ogen te houden, investeren in talent in plaats van selectie en exclusie door assessment. Persoonlijke ontwikkeling gaat samen met emancipatie.