Standard-based national testing: zegen of vloek?

Op 31 aug 2012 werd de Earli Sig Assessment & Evaluatie afgesloten met een internationaal debat over standard-based national testing. Zes landen werden gerepresenteerd door experts in assessment en evaluatie: Nieuw Zeeland (Gavin Brown), de Verenigde Staten (Jim Pelligrino), Zweden (Anders Jönsson), België, Vlaanderen (Nadine Engels), Duitsland (Jan-Willem Strijbos), en Nederland (Marieke van der Schaaf). De discussie werd geleid door Frans Prins.
Elke representant presenteerde kort het systeem van national standard-based testing in zijn of haar land en de consequenties daarvan. De landen zijn te positioneren op een continuüm van (te) veel naar geen national standard-based testing.
In de USA is onder invloed van Bush' ‘No Child left Behind Act’ de afgelopen jaren veel geïnvesteerd in nationaal testen. Ondanks de verschillende beleidsvoeringen per staat is in het algemeen te stellen dat er een  grote nadruk ligt op gestandaardiseerd toetsen. De resultaten van de vele toetsen die leerlingen verplicht ondergaan zijn voornamelijk voor administratieve doeleinden van belang, bijvoorbeeld om op geaggregeerd niveau de kwaliteit van onderwijs te kunnen vaststellen. Ook in Duitsland is er een sterk regime van national standard-based testing, al zijn de resultaten daarvan niet af te lezen aan de relatieve zwakke Pisa ranking. Dit heeft een negatieve invloed op leerlingen die angstig zijn om tussentijdse concepten van hun werk aan te leveren bij docenten voor feedback, een fenomeen dat Strijbos in de praktijk ondervindt.
Jönsson legde uit dat in het aanvankelijk liberale Zweden nu een opmars van standard-based testing gaande is. De situatie in Nederland is vooralsnog iets milder en te bestempelen als een midden tussen verplichte standard-based toetsing (bijvoorbeeld Cito eindexamens in het VO) en het gebruik van toetsing voor formatieve doeleinden. Een voorbeeld is de Citotoets in groep 8 die vooralsnog niet verplicht is (en dat voorlopig ook niet zal worden) en die op ongeveer 85% van onze scholen wordt afgenomen. De advisering voor het niveau van middelbaar onderwijs van leerlingen is voornamelijk gebaseerd op het advies van het leerkrachtenteam van de basisschool.
In België en Nieuw Zeeland heeft men geen systeem voor national standard-based testing.  In Nieuw Zeeland bestaat een groot aanbod van geschikte tests voor scholen en docenten waaruit men een keuze kan maken. Vervolgens is het aan de school om verantwoording af te leggen over de kwaliteit van toetsing. Kortom, een faciliterend beleid met een verantwoording bij de scholen en docenten.
Vervolgens kruisten de experts en het publiek de degens onder leiding van Frans Prins. De voors- en tegens van de diverse systemen werden belicht. Uiteraard was daarin veel aandacht voor het onwenselijke fenomeen van teaching to the test dat het curriculum op scholen vernauwt. Ook werd afbreuk van zelfvertrouwen van leerlingen als mogelijk schadelijk gevolg van het vele testen gezien. In landen waar een middenpositie ten aanzien van standardbased testing wordt ingenomen, zoals Nederland, blijft de consequentiele validiteit vaak in gebreken, hetgeen inhoudt dat de toetsresultaten dikwijls voor andere doeleinden worden gebruikt dan aanvankelijk beoogt. Een voorbeeld is het hangen van een zwaar gewicht aan resultaten van de kleutertoets die veel scholen ter monitoring van hun leerlingen in Nederland wordt afgenomen. Basisscholen en leerkrachten gaan daar verschillend mee om.
Moeten we af van standard-based testing? Nee, want ondanks de tekortkomingen zullen we ook de meerwaarde van standard-based testing moeten erkennen, aldus een meerderheid van de panelleden. De toetsen kunnen een aanvulling zijn op toetsen die door docenten en de school worden ontwikkeld en afgenomen. Dat is een pre, want we weten allemaal dat beoordelingen van docenten ook de nodige bias bevat. Vanwege standaardisatie maakt standard-based testing op nationaal niveau een voorzichtige vergelijkingsbasis mogelijk binnen en tussen landen, mits we daar maar geen onjuiste consequenties aan verbinden.

Wat we leren uit het debat:
De visie van de experts in de zaal en van het panel komt erop neer dat het van belang is te streven naar een gebalanceerd systeem, waarin standaard-based testing in minimale mate zou kunnen functioneren ter aanvulling op schoolexamens of toetsen zoals gekozen door scholen en docenten. Bij voorkeur bestaat er een groot en degelijk aanbod van tests waar scholen en docenten uit kunnen putten om hun toetsbeleid mee vorm te geven en waarover ze verantwoording kunnen afleggen aan de onderwijsinspectie. Dit komt behoorlijk in de buurt van ons huidigeNederlandse systeem.
Advies van de Europese toets- en assessmentdeskundigen aan de opvolg(st)er van Marja en Halbe: stop verdere invoering van standard-based testing, maak de Citotoets in groep 8 niet verplicht!

Joseph Kessels over assessment en evaluatie

Op 29 augustus vond een zogenaamde EARLI 'SIG-meeting' (SIG staat voor 'special interest group') over toetsing plaats. De EARLI (European Association for Research on Learning and Instruction) is het Europese overlegorgaan tussen  onderwijskundigen, zoals de VOR (Vereniging voor onderwijsresearch) dat is voor Nederland. Bij de gelegenheid op 29 augustus sprak professor Joseph Kessels, hoogleraar human resource development aan de Universiteit Twente. Marieke van der Schaaf heeft zijn rede over assessment en evaluatie samengevat.

Kessels behandelt het thema ‘assessment’ vanuit het perspectief van levenslang leren en ontwikkeling van (toekomstige) hoger en lager opgeleide beroepsbeoefenaren. Helaas draagt assessment, in summatief en formatief opzicht (bv. feedback), in veel gevallen niet bij aan levenslang leren in onderwijs en organisaties. Dikwijls is het principe van ‘step up or step out’ aan de orde, hetgeen inhoudt dat enkel in ‘top performers’ in een organisatie wordt geïnvesteerd. De keerzijde van dit ‘rankingsproces’ is dat het verliezers creeërt. “Every golden medal stands for many losers”. Kessels stelt de mogelijke perversie waartoe dit leidt aan de orde. Daarin verwijst hij kritisch naar het academische systeem van publicatiedruk en het organiseren van een ratrace door onhoudbare standaarden en rankingsystemen. Op geaggregeerd niveau geldt dat ook voor curricula in het onderwijs; om als school tot een goede ranking te komen worden curricula dikwijls ‘uitgekleed’met een accent op basisvakken (‘back to basics’) en doet zich vaak teaching to the test voor. What makes professionals shine? Kessels benoemt het belang van intrinsieke motivatie voor de inhoud van een vakgebied voor levenslang leren. Levenslang leren betekent ‘levenslang’ voor menigeen. De plan-do-check-act cyclus (Deming) kan worden ingezet voor performance feedback om assessment for learning te stimuleren, in ogenschouw genomen dat feedback niet automatisch leidt tot performance improvement.

Kessels beschijft veel gebruikte ingredienten voor competency based assessment, gebaseerd op ‘gap analysis’:

• Ontwikkelen van een competentie profiel, d.w.z. relevante kerntaken in een werkomgeving onderscheiden.
• Analyse van de ‘Competentie gap’ – over welke competenties beschikt de student/werknemer nog niet?
• Overbruggen van de competentie gap door middel van training en ontwikkeling
• Het beoordelen van de resultaten – ‘bewijs’ van iemands competenties in een realistische context.

Keerzijde van deze benadering is dat het gericht is op wat er ontbreekt en niet op talenten van personen (negatief uitgangspunt). Als alternatief stelt Kessels een ‘appreciate approach’ voor, bestaande uit de ‘romantische’ stappen: 1) discovery: appreciate what is; 2) dreaming: imagine what might be; 3) design: determine what the ideal should be; 4) destiny: create what will be. Self-determination theory (Ryan & Deci) kan als onderbouwing bij deze benadering worden gezien.

Wat leren we hiervan?

Mensen/kinderen verschillen van elkaar. Een one-size-fits all system in assessment, werkt niet. Van belang om assessment FOR learning voor ogen te houden, investeren in talent in plaats van selectie en exclusie door assessment. Persoonlijke ontwikkeling gaat samen met emancipatie.

Leren terwijl je slaapt: kan dat?

Het is de droom van menig leerling: zonder inspanning leerstof tot je nemen terwijl je aan het slapen bent. Als je 's morgens wakker wordt weet je: ik ben klaar om het proefwerk te maken. Rond dit 'slaapleren' (de officiële term is 'hypnopedie') is een hele industrie ontstaan. Neem bijvoorbeeld sleeplearning.com, een bedrijf dat ons aanspoort de 'full potential of our brain' te gaan gebruiken, en dat voor een flinke prijs CD's aanbiedt die ons onder andere moeten helpen bij het leren van een nieuwe taal, het verbeteren van ons geheugen, en het verhogen van ons zelfvertrouwen. Zoals te verwachten wordt als mechanisme verondersteld dat het leren via onbewuste beïnvloeding gaat. Maar er is een probleem met slaapleren: het werkt niet. Dat wil zeggen: er is tot nu toe nooit door middel van wetenschappelijk onderzoek ondersteuning gevonden voor het idee dat mensen iets nieuws kunnen leren tijdens hun slaap. Dat lijkt op zich prima te begrijpen: blijkbaar hebben mensen die slapen wel iets anders aan hun hoofd dan te luisteren naar hun omgeving. Toch is het niet zo dat je tijdens je slaap helemaal bent afgesloten van die omgeving. Bij een harde knal ergens in je omgeving schiet je wakker. Sterker: het blijkt dat in de hersenen andere gebieden actief worden als omgevingsstimuli betekenisvol zijn. Ook tijdens je slaap reageren de hersenen dus anders op je naam dan op andere geluiden. Desondanks leiden stimuli van buitenaf niet tot effecten die ook te meten zijn als je weer wakker bent. Dat geldt in ieder geval voor zogenaamd 'hogere orde'-leren (bijvoorbeeld het leren van woorden in een vreemde taal). De vraag is nu: geldt het ook voor lagere orde-leren? Het bekendste voorbeeld van lagere-orde leren is klassiek conditioneren (ook wel het Pavlov-effect genaamd: de hond die gaat kwijlen zodra hij een worst ziet). De vraag is dus: kun je iemand conditioneren in zijn slaap, met als gevolg dat het effect er nog is als diegene weer wakker is? Voor onderzoekers komt daar nog een vraag bij: hoe moet je een onderzoek naar conditioneren tijdens slapen uitvoeren? De sleutel daarvoor blijkt te liggen bij de neus: net als geluiden verwerken de hersenen ook geuren terwijl we slapen. Bijkomend voordeel van geur is dat je van sommige geuren niet wakker wordt (zolang de vijfde zenuw niet geprikkeld wordt), maar dat je lichaam wel reageert op geuren: door te snuiven. In het onderzoek dat ik hier bespreek (zie de verwijzing onderaan) werd hiervan handig gebruikgemaakt. In dit geval gebruikten de onderzoekers, terwijl hun 28 proefpersonen aan het slapen waren, een specifieke conditioneertechniek die 'differential partial-reinforcement trace conditioning' heet. Die procedure betekent:

1. Differential - Er werden twee verschillende stimuli gebruikt: een toon van 400 Herz en een toon van 1200 Herz. Als iemand wakker werd van het geluid deed diegene niet meer mee in het experiment (wat gelukkig niet zo vaak voorkwam).
2. Partial-reinforcement - De twee tonen (de neutrale stimuli) werden op sommige trials (dus niet elke keer) gekoppeld aan een geur. De toon van 400 Herz werd geassocieerd met een prettige geur, de toon van 1200 Herz met een vervelende geur.
3. Trace conditioning - Tussen de toon en de geur zat een pauze van een paar seconden. Die manier van conditioneren wordt 'trace conditioning' genoemd.

NB: Voor meer uitleg over klassiek conditioneren: ik heb eerder een ShowMe gemaakt (een korte videopresentatie) waarin ik dit concept, en het verschil tussen CS, UCS, UCR enzovoort uitleg.

Voor zo'n eenvoudige onderzoeksvraag is de in het artikel beschreven experimentele procedure uiterst omslachtig en ingewikkeld. Dat is wel meteen de kracht van dit specifieke onderzoek. Als er een effect van het conditioneren wordt gemeten dan weet je in ieder geval vrij zeker dat dat effect is toe te schrijven aan het conditioneren en niet aan een zogenaamd 'onderzoeksartefact' (een procedurele fout in het experiment).
Om te kijken of het conditioneren effect had werd het zogenaamde 'snuifvolume' gemeten. Dat werd gemeten bij de ontwaakte proefpersonen na het laten klinken van de tonen van 400 en 1200 Herz. Als dat inmiddels 'geconditioneerde stimuli' zouden zijn dan zou er een relevante snuifrespons moeten volgen: meer bij de toon die met een plezierige geur was geassocieerd, minder bij de toon die met een vervelende geur was geassocieerd. In het diagram hierboven zie je figuur 3d en 3e uit het artikel. Links zie je twee staafjes van de experimentele groep (de slapers) die in hun slaap geconditioneerd waren, rechts twee staafjes van een controlegroep met wie niets was gebeurd. Het verschil is duidelijk (en statistisch significant): de groep die tijdens het slapen geconditioneerd was reageerde wakker anders op de toon dan de groep die niet geconditioneerd was. Met name voor de vervelende geur is het effect duidelijk zichtbaar. Leren tijdens het slapen is dus mogelijk! Twee bijkomende bevindingen zijn: 1) de proefpersonen hadden geen idee na afloop wat er tijdens hun slaap was gebeurd, ze wisten niets van tonen en geuren; 2) een beperkt vervolgexperiment toonde dat het leereffect alleen optrad als er geleerd werd buiten de REM-slaap om. De betekenis daarvan is nog onbekend.

Wat leren we van deze resultaten? Ten eerste is het voor verder onderzoek fijn dat geur goed werkt in dit type experimenten. Het conditioneren gebeurde relatief snel, en van de aanwezigheid van bepaalde geuren wordt niemand wakker. Daarnaast is de snuifrespons een mooie manier om op een objectieve manier een leereffect te meten. Ten tweede impliceren de resultaten dat leren tijdens de slaap echt mogelijk is. Therapieën tegen fobieën gaan soms uit van klassiek conditioneren. Zou het niet mooi zijn als de therapie tijdens het slapen kon worden voortgezet? Er is nog veel ruimte voor verder onderzoek om te bekijken waar de grenzen liggen van wat mogelijk is, maar met deze experimentele procedure is de toon in ieder geval gezet. Welterusten!

Arzi, A., Shedlesky, L., Ben-Shaul, M., Oksenberg, A., Hairston, I.S., and Sobel, N. (2012). Humans can learn new information during sleep. Nature Neuroscience. doi:10.1038/nn.3193

Aankondiging symposium "Teacher expertise" 11 oktober 2012

Op 11 oktober organiseert de afdeling Educatie aan de Universiteit Utrecht een symposium over het onderwerp 'Docent expertise' en de ontwikkeling hiervan. Het symposium vindt plaats op de Uithof in het Wentgebouw. U bent van harte welkom op dit symposium. Naast keynote speaker Professor Anders Ericsson, expert op het gebied van expertise, zullen presentaties worden gegeven door verschillende onderwijskundigen. Er is ruimte voor een plenaire discussie en posterpresentaties. Klik op het plaatje hieronder voor de aankondiging in PDF, daarop staat hoe u zich kunt aanmelden voor het symposium. Graag tot 11 oktober!

Onderwijs en politiek: De stilte na de langstudeerboete

CDA lijsttrekker Van Haersma Buma.

Je zou kunnen denken dat onderwijs weer hoog op de politieke agenda staat en een belangrijk onderwerp vormt in de verkiezingscampagne. Nadat CDA lijsttrekker Van Haersma Buma het vuurtje opstookte door te stellen dat wat hem betreft de langstudeerboete afgeschaft moest worden, lijkt het onderwijs weer helemaal terug als twistpunt in de verkiezingsstrijd. Zendtijd in alle journaals en actualiteitsrubrieken, opiniestukjes in de kranten en spoeddebatten plus een dreigende motie van wantrouwen tegen de staatssecretaris. Waar het naartoe moet met het Nederlandse onderwijs is weer inzet van de verkiezingen!

Volgens mij is niets minder waar. Behalve de aandacht voor de langstudeerboete| heerst er een oorverdovende stilte over het onderwijs in de politieke campagnes. En dat is vreemd. Waar het afgelopen jaar het onderwijs regelmatig (negatief) in het nieuws was (bijvoorbeeld vanwege onze dalende positie op internationale onderwijsranglijstjes, de bezuiniging op het Passend Onderwijs, etc.) blijft het nu stil. Wat zijn de plannen van onze politieke partijen? Wat zijn hun speerpunten wat betreft het onderwijs? Wat is de visie van onze lijsttrekkers over problemen en vraagstukken in het Nederlandse onderwijs? Weet u het? Ik niet.

De aandacht voor de langstudeerboete camoufleert dit schrijnende gebrek aan aandacht voor het onderwijs. Begrijp me goed: ik vind het prima dat de langstudeerboete mogelijk van tafel gaat. Maar is dit nu werkelijk het enige en grootste onderwijsvraagstuk waar we op dit moment mee geconfronteerd worden? Volgens mij niet.

Veel onrust over de bezuinigingen op het passend onderwijs.

Wat te denken van het toenemende aantal onbevoegde docenten in het onderwijs en de gevolgen daarvan op de leerlingen? Of van de leerkrachten in het basisonderwijs die zich steeds vaker geconfronteerd zien met grotere klassen? Of de toetscultuur die in het onderwijs is aan het onstaan, waarbij meer en meer getoetst moet worden, met als ogenschijnlijk voornaamste doel controle (van scholen en docenten) en kwalificatie (van leerlingen)? Of van de trend dat taal en rekenen/wiskunde weer meer gewicht en aandacht krijgen in het onderwijs? Is dat een goede ontwikkeling of gaat dat misschien ten koste van andere kennis en vaardigheden die leerlingen op school leren?

Dit is nog maar een beperkte greep uit onderwijsthema's waarover debat mogelijk is. Hoe kijken onze politieke partijen tegen al deze vraagstukken aan?

Donderdag debatteert de Tweede Kamer weer met staatssecrataris Zijlstra over de langstudeerboete. Er zal heus wel een oplossing gevonden worden. Iedereen een beetje tevreden. En dan? Blijft onderwijs op de verkiezingsagenda? Het antwoord laat zich raden. Na het gekakel en geschreeuw over de langstudeerboete, zal de stilte des te overdonderender zijn.

Wat zou er voor kunnen zorgen dat de discussie verder wordt aangewakkerd? Zou het niet prachtig zijn als, laten we zeggen, de nummer 23 op de lijst van D66 eens olie op het vuur gooit en komt met een ferme uitspraak als: 'Meer gestandaardiseerde tests in het onderwijs? Over my dead body!'. Wat zou er dan een mooie discussie kunnen ontstaan tussen onze aankomende volksvertegenwoordigers over hun visie voor het Nederlandse onderwijs. Ik hoop het van harte. Tot die tijd blijft onderwijs toch een ondergeschikt thema in de verkiezingsstrijd.

Nogmaals, verstand van toetsen

Voor goed onderwijs is de kwaliteit van leerkrachten van levensbelang. Het is niet alleen belangrijk dat zij inzicht hebben in de beoogde leerinhoud en de aard van de leerlingen. Ze moeten ook een krachtige leeromgeving kunnen arrangeren, in het basisonderwijs bovendien gedurende de gehele onderwijsperiode. En omdat alle leerlingen uniek zijn en passend onderwijs is geboden is het geen wonder dat er steeds meer volgsystemen op de markt komen. Zo kan de leerkracht de leerling op de voet volgen in zijn ontwikkeling. En daar wordt het onderwijs alleen maar beter van, of niet soms?

Nu, ik denk van niet! En wel om het volgende. Ten eerste vraagt het van de leerkracht veel (toetstechnische) kennis om toetsresultaten juist te interpreteren en te vertalen naar een juist oordeel. Cijfers en afvinklijstjes geven het gevoel van weten, terwijl er altijd maar beperkt is gemeten. Zonder reflectie op een score, heeft deze geen betekenis. Vaak worden het toetsresultaat en het oordeel verward. Ik zie op het rapport van mijn zoon bijvoorbeeld een 4 voor tafels, terwijl hij de tafels prima uit zijn hoofd kent. Nu weet de juf dat in dit geval gelukkig ook. Maar ja, men zet nou eenmaal de toetsuitslag op het rapport. Over de functie van een rapport wordt allang niet meer nagedacht, rapporten invullen is een routineklus geworden...
Dat brengt me op mijn tweede argument. Het gebruiken van een meetinstrument vraagt om een professionele beroepshouding, waarbij helder is wat de verantwoordelijkheid is van de professional en kennis van de functie van de instrumenten die je gebruikt. Een professional interpreteert de gemeten scores niet alleen, maar weegt ze ook naast andere inzichten en beslist welke vervolgactie passend is. Een arts doet dat met een bloedonderzoekuitslag, en zo moet een leerkracht dat ook doen met een toetsuitslag. Ik wil niet zozeer mijn bloedwaardes weten, ik wil weten welke diagnose de arts daaraan verbindt. Ik wil van de school een professioneel oordeel weten en een advies.
Het derde argument is dat juist de ogenschijnlijke eenvoud van gebruiksvriendelijke toetsinstrumenten de beoordelingskwaliteit van het onderwijs verkleint. Teveel vertrouwen in een volgsysteem zal de zwakke beoordelingsvaardigheden van sommige leerkrachten verdoezelen. Goede leerkrachten hebben een volgsysteem niet zozeer nodig hebben om te weten hoe hun leerlingen ervoor staan, zij gebruiken het als aanvulling van hun eigen oordeel.
Een vierde argument is dat teveel nadruk op instrumenten kan leiden tot ondermijning van de erkende waarde van de professional. Ik wantrouw de arts, dus geef me zelf maar die echo, ik vind de juf niet prettig, ik vertrouw maar gewoon op de citoscore van mijn kind.
Tenslotte is er de financiële vraag. Als het overheidsgeld dat nu geïnvesteerd wordt in voortgangstoetsen eens werd geïnvesteerd in het verzwaren van de lerarenopleiding. Dan hebben we straks die professionals ook echt in de klas die naar de talenten en prestaties van mijn kind kijkt in plaats van naar de scores van de toetsen van mijn kind.
Het wrange is dat volgsystemen in het onderwijs worden ingezet om de kwaliteit van scholen en van onderwijs te verhogen. Ik ben van mening dat het juist de kwaliteit ondermijnt, door de overwaardering van systemen en procedures en het maskeren van een soms pijnlijk tekort aan expertise.

Ook in het bedrijfsleven zie ik vergelijkbare ontwikkelingen, bijvoorbeeld als het gaat om kwaliteitszorg en controle daarop. Ik roep wel eens: "Waar kwaliteitszorg start, stopt het leren." ISO-certificering hangt maar beperkt samen met goede kwaliteitszorg. Kwaliteitsbeleid en dito procedures staan niet garant voor kwaliteitsdenken. Daar waar door een afgedwongen "meten wat we kunnen meten in plaats van meten wat we willen weten"-aanpak vinklijstjes het verstand gaan domineren, moet de echte professional opstaan. In de zorgsector zie ik dat steeds vaker gebeuren. De dialoog aangaan met medewerkers, klanten en collega's, in plaats van vinkjes zetten en lijstjes aanleveren. Zelf kijken, zelf nadenken wat kwaliteit is en zelf bepalen wat je daarvoor moet weten, dus.

Ik vind het een bemoedigende trend, van controle naar inzicht en vertrouwen. Er is nog hoop voor het onderwijs.

We hebben verstand van toetsen, maar hebben we ook verstand van toetsen?

Aankomende vrijdag mag ik een praatje houden op het afscheid van Piet Sanders. Piet Sanders is expert op het gebied van toetsing, voorzitter van de Nederlandse Vereniging van Examens en jarenlang werkzaam geweest bij Cito. Ik ben zeer vereerd, want ik ben onbekend, niet gepromoveerd, vrouw, jong en noem nog maar wat afwijkingen ten opzichte van het gemiddeld mensprofiel van die dag.

CITO vroeg me om iets te vertellen over mijn ervaringen met toetsen in het werkveld. Nu ben ik voor veel van mijn klanten weliswaar een expert op toetsgebied, maar ten opzichte van Piet Sanders verbleekt mijn psychometrische kennis terstond. Ik ga daar dus niets vertellen over toetsen, en misbruik dit blog om mijn gedachten te ordenen.

Waar ik in Piet de afgelopen jaren een aantal malen een bondgenoot vond, was in de zoektocht naar goede toetsen die bruikbaar zijn in het veld. Het veld was de detailhandelsbranche. De vraag was of er een praktijkexamen moest komen. Ik ben er een groot voorstander van om de bruikbaarheidseis op te nemen als een kwaliteitseis voor alles, dus zeker ook voor toetsen. En dan niet om eens en voor altijd een einde te maken aan de lijst van randvoorwaarden, maar omdat de bruikbaarheidseis je dwingt om naar de context en naar de echte vraag te kijken. Deze opmerking zette mij aan het denken.

The proof of the pudding is in the eating, maar is the proof of the performance in the assessment? Ik geloof het niet zo erg. De toets is maar een van de vele middelen om te bewijzen of te controleren dat iemand competent is. De context biedt vaak ook vele mogelijkheden om te controleren of iemand competent is. Audits zijn misschien wel een geschikter middel om gedrag te beoordelen dan een praktijkexamen.

De echte vraag gaat bijna nooit om het behalen van de toets, die gaat verder dan dat. Die gaat in de situaties die ik bedoel, over het mogen werken in een werkveld, een beroep mogen uitoefenen.
Dat daar eisen aan verbonden kunnen worden is klip en klaar, het aantoonbaar maken dat aan die eisen  is voldaan al een uitdagende missie. Het met het behalen van een toets voor 100% garanderen dat die persoon een beginnende vakman is, misschien wel een utopie. Toetsen maken is afleiden, afleiden is informatie verliezen, informatie verliezen is risico's nemen. Juist daar waar je je wilde verzekeren van kwaliteit.

Toen ik mijn intrede maakte in de wereld van de detailhandel en examinering maakte ik kennis met vele 'mannetjes'. Mannetjes die al jaren meeliepen in het vak, die precies wisten wat een vakman is. Bovendien hadden ze ook veel opvattingen over examineren.
Zoals dat je het nooit kunt beschrijven, want het zit toch in de vingers en tussen de oren. Vaste criteria opstellen om te beoordelen was niet nodig en eigenlijk onmogelijk.
Zoals dat je moet vragen naar wat iemand weet, dus even een beetje helpen als iemand het niet weet is heel verstandig.
Zoals dat met zijn tweeën een kandidaat beoordelen niet nodig is, als je maar kundige vakmensen vraagt als jury. En die kennen elkaar allemaal nog van vroeger, die zijn het wel eens.
Het was een uitdagende tijd en voordat ik de toetsmatrijs en het praktijkexamenprotocol had geïmplementeerd was ik veranderd van dat leuke meisje, in die strenge mevrouw.

Destijds was ik tevreden met wat ik bereikt had, maar nu weet ik het soms niet meer zo zeker.

Laatst las ik weer eens het boek "De man die zijn vrouw voor een hoed hield", en ik ging weer twijfelen aan mijn kwaliteitsverbeterinterventie. Oliver Sacks beschrijft daarin Dr. P., een ontwikkelde man die het vermogen heeft verloren om een cognitief oordeel te vellen. Niet omdat hij niet meer abstract kan denken, of categoriseren. Nee, juist omdat hij zijn intuitief vermogen verloren heeft en daarmee het vermogen persoonlijke verbinding aan te gaan en te voelen. Dit door een beschadiging van een deel van zijn hersenen. Dr P. herkent geen mensen meer, hij ziet alleen patronen. Hij ziet zijn vrouw voor een hoed aan. Sacks trekt een parallel naar de wetenschap, en noemt daarbij de psychologie en cognitieve neurologie. Maar geldt het niet ook voor de psychometrie. Om het concrete en reele te zien en te beoordelen, hebben we niet genoeg aan het indelen en ordenen, maar moeten we ook voortdurend intuitief oordelen en voelen.

Voor de toetsdeskundige heb ik daarom een vraag:
Betekent verstand hebben van toetsen dat je verstand hebt van ordenen of dat je verstand hebt van oordelen?

Aan Piet Sanders de dank dat hij mij heeft wakker geschud met zijn opmerking dat de bruikbaarheidseis van belang is. Bijzonder om te zien dat iemand die zijn sporen heeft verdiend met ordenen, het oordelen niet is verleerd.

Academische schrijfvaardigheden

Ik leg mij toe op 't schrijven van levend Hollands. Maar ik heb schoolgegaan.
Multatuli

Een tijdje terug heb ik het boek weer eens van zolder gehaald: Harrie Lamers - Handleiding voor PR- en reclameteksten (uit 1991). Het gaat inderdaad over het schrijven van wervende teksten, maar ook over zaken als het vouwen van folders en de beste manier om een lijkrede te houden (opbouw: afscheid, herinnering, verdiensten, troost). Ondanks de nogal saaie lay-out en de totale afwezigheid van plaatjes bewaar ik goede herinneringen aan dit boek: het heeft er mede voor gezorgd dat ik tijdens mijn studietijd eigenlijk geen enkel probleem heb ondervonden bij het schrijven van teksten. Het boek staat bomvol aanwijzingen van het type: 'lange lijdende vorm in zin: 10 procent begripsverlies. Ontkenning in zin: 30 procent verlies." Meer had ik niet nodig. Waarom heb ik zo veel aan dat boek gehad? Ik denk dat dat vooral komt omdat de aanwijzingen gingen over waar het om moét gaan bij schrijven: hoe maak je het de lezer makkelijk. Het doel van een tekst is om te overtuigen en om de aandacht van de lezer vast te houden. Dat geldt voor wervende teksten, maar ook voor wetenschappelijke. Ook voor een wetenschappelijk artikel geldt: de eerste klap is een daalder waard. In de eerste paragraaf zet je de toon. Heb je de lezer daarmee ingepakt, dan verhoog je de kans op doorlezen.
Ik heb gemerkt dat studenten schrijven vaak buitengewoon lastig vinden. Dat is jammer, want het is een activiteit die zich in het hoger onderwijs mag verheugen in een buitengewoon grote belangstelling. Daarnaast zijn naar mijn mening sommige argumenten om op te zien tegen schrijven gebaseerd op verkeerde aannames over wat goed schrijven is. Mijn doel is om hier een eenvoudige en persoonlijke analyse te geven van het probleem. Ik zal daarbij ook ingaan op de manier waarop ik zelf heb leren schrijven, waarmee ik overigens allerminst wil beweren dat ik beter schrijf dan anderen (alleen al mijn overmatig gebruik van haakjes en van de ik-vorm kunnen ergernis wekken).
Waarom vinden studenten schrijven lastig? Enkele mogelijke oorzaken:

1. We noemen het niet schrijven, maar academisch schrijven. Niemand weet precies wat academisch schrijven is en wat daar zo anders aan is dan 'gewoon' schrijven, behalve dat het genre nadruk legt op de vorm van een tekst, het belang van bronvermelding, en het vermijden van plagiaat. Dat zijn zaken die voor de gemiddelde journalist net zo goed van belang zijn, maar die hier op een apart voetstuk lijken te zijn geplaatst. Ik kan me voorstellen dat student zich geïntimideerd voelen door het idee iets heel nieuws te moeten gaan doen: niet meer gewoon een tekst schrijven, maar een academische tekst. En dat, terwijl aan de onderliggende vereiste vaardigheid niets verandert.
2. Probleem 1 heeft soms een curieus gevolg: studenten denken dat academisch schrijven een wetenschappelijke toon vereist (wat waar is), en dat de tekst daarom vooral moeilijk moet zijn (wat niet waar is). Derhalve in plaats van dus, daar in plaats van omdat, en vooral veel gebruikmaken van de indirecte vorm ('Er werd gebruikgemaakt van 30 participanten'). Alles om maar te voorkomen dat de lezer misschien mocht gaan denken dat er een levend iemand achter het verhaal zit. De onderwerpen en concepten waar we over schrijven zijn vaak complex, maar dat wil niet zeggen dat bijzonder taalgebruik vereist is om die concepten te beschrijven! Integendeel: de beste stukken zijn juist die die ingewikkelde concepten weten uit te leggen op een voor de geïnteresseerde leek inzichtelijke manier. Het boek Vallende Kwartjes, samengesteld door Ionica Smeets en Bas Haring, vormt een treffende verzameling van zulke 'oh zit dat zo'-teksten. Denken dat je je eigen woorden moet 'vertalen' in ingewikkelde en ambtelijke taal, daar wordt schrijven vanzelf lastiger van.

3. Een derde oorzaak van mogelijke schrijfproblemen vormt het mechanisme dat wetenschappelijk schrijven juist zou moeten vergemakkelijken: de 'APA manual' en andere normen waaraan een tekst moet voldoen. APA is binnen de sociale wetenschappen de aangewezen methode om verwijzingen in een tekst en een literatuurlijst vorm te geven. Daarnaast staat de handleiding bol van regels over hoe een tekst eruit moet zien. De regels zelf zijn het probleem niet, maar de kans bestaat dat met name de wat zwakkere schrijver zich verliest in het woud van regeltjes, door de bomen het bos niet meer ziet, en niet toekomt aan het schrijven zelf. Een bijkomend gevolg is dat bij studenten die zich aan de regels houden het beeld kan ontstaan dat hun tekst daarom wel goed moét zijn. Over de zin en onzin van tekstuele normen zou ik nog veel meer kunnen zeggen, maar dat lijkt me geschikter voor een vervolgpost (als daar behoefte aan is).
4. Wetenschappelijk schrijven is een apart genre. Het is schrijven op een toon die je je eigen moet zien te maken. Daarom is veel oefenen belangrijk. Een lijstje met twaalf misverstanden over schrijven dat de Rijksuniversiteit Groningen aanbiedt biedt daarbij een aardige handreiking. Tegelijkertijd constateer ik dat de nadruk in de universitaire opleiding vaak ligt op het schrijven van artikelen zoals die ook in wetenschappelijke tijdschriften worden geplaatst. Dat is tenslotte het communicatiemedium van de (sociale) wetenschappen. Toch kan die nadruk studenten vervreemden van bijvoorbeeld de rol die sociale media is gaan spelen in de wetenschapscommunicatie. De vraag is of je studenten kunt leren te schrijven via verschillende media met verschillende doelgroepen: van vakpublicatie tot blog post. Juist het informele aspect van sociale media kan ook de wat zwakkere schrijvers over de streep trekken; en als je over de streep bent kan de APA manual wel eens van de plank gehaald worden.

Is goed schrijven moeilijk? Ja, maar niet per se om de redenen die sommigen in hun hoofd hebben. De oorzaken die ik hierboven noem hebben tot gevolg dat twee meer persoonlijke kanten aan schrijven soms weinig of geen aandacht krijgen: toon en creativiteit. Dat zijn de academische schrijfvaardigheden die ik het liefst zie, maar die moeilijker aan te leren of te controleren zijn. Door veel te schrijven merk je vanzelf welke stijl het best bij jou past. Krampachtig je eigen stijl verbloemen door het keurslijf van de 'norm' aan te meten leidt in mijn optiek snel tot gekunstel. Wees daarbij niet bang om creatief te zijn en zo nu en dan iets nieuws te proberen. Ik maakte er tijdens mij eigen studie een sport van om zo nu en dan iets geks te doen met een tekst, ook om te zien of de docent het zou opmerken. Bij Johan Hoogstraten (auteur van het boek 'De machteloze onderzoeker') leverde ik ooit een lange tekst in waarin geen enkele komma zat: het werd niet opgemerkt. Nutteloos misschien, maar voor mij een leuke stijloefening (probeer het zelf maar eens) en een fijne manier om de schrijfsleur te doorbreken.

Eigenlijk is de verzameling korte adviezen die de Britse schrijver C.S. Lewis ooit gaf aan een fan nog het nuttigst: wees helder en concreet, en doe niet moeilijk. Het zijn universele regels die zich niet beperken tot studenten, en die misschien wel net zo relevant zijn voor schrijfvaardigheden als voor het leven zelf.