vrijdag 25 mei 2012

We hebben verstand van toetsen, maar hebben we ook verstand van toetsen?

Aankomende vrijdag mag ik een praatje houden op het afscheid van Piet Sanders. Piet Sanders is expert op het gebied van toetsing, voorzitter van de Nederlandse Vereniging van Examens en jarenlang werkzaam geweest bij Cito. Ik ben zeer vereerd, want ik ben onbekend, niet gepromoveerd, vrouw, jong en noem nog maar wat afwijkingen ten opzichte van het gemiddeld mensprofiel van die dag.

CITO vroeg me om iets te vertellen over mijn ervaringen met toetsen in het werkveld. Nu ben ik voor veel van mijn klanten weliswaar een expert op toetsgebied, maar ten opzichte van Piet Sanders verbleekt mijn psychometrische kennis terstond. Ik ga daar dus niets vertellen over toetsen, en misbruik dit blog om mijn gedachten te ordenen.

Waar ik in Piet de afgelopen jaren een aantal malen een bondgenoot vond, was in de zoektocht naar goede toetsen die bruikbaar zijn in het veld. Het veld was de detailhandelsbranche. De vraag was of er een praktijkexamen moest komen. Ik ben er een groot voorstander van om de bruikbaarheidseis op te nemen als een kwaliteitseis voor alles, dus zeker ook voor toetsen. En dan niet om eens en voor altijd een einde te maken aan de lijst van randvoorwaarden, maar omdat de bruikbaarheidseis je dwingt om naar de context en naar de echte vraag te kijken. Deze opmerking zette mij aan het denken.

The proof of the pudding is in the eating, maar is the proof of the performance in the assessment? Ik geloof het niet zo erg. De toets is maar een van de vele middelen om te bewijzen of te controleren dat iemand competent is. De context biedt vaak ook vele mogelijkheden om te controleren of iemand competent is. Audits zijn misschien wel een geschikter middel om gedrag te beoordelen dan een praktijkexamen.

De echte vraag gaat bijna nooit om het behalen van de toets, die gaat verder dan dat. Die gaat in de situaties die ik bedoel, over het mogen werken in een werkveld, een beroep mogen uitoefenen.
Dat daar eisen aan verbonden kunnen worden is klip en klaar, het aantoonbaar maken dat aan die eisen  is voldaan al een uitdagende missie. Het met het behalen van een toets voor 100% garanderen dat die persoon een beginnende vakman is, misschien wel een utopie. Toetsen maken is afleiden, afleiden is informatie verliezen, informatie verliezen is risico's nemen. Juist daar waar je je wilde verzekeren van kwaliteit.

Toen ik mijn intrede maakte in de wereld van de detailhandel en examinering maakte ik kennis met vele 'mannetjes'. Mannetjes die al jaren meeliepen in het vak, die precies wisten wat een vakman is. Bovendien hadden ze ook veel opvattingen over examineren.
Zoals dat je het nooit kunt beschrijven, want het zit toch in de vingers en tussen de oren. Vaste criteria opstellen om te beoordelen was niet nodig en eigenlijk onmogelijk.
Zoals dat je moet vragen naar wat iemand weet, dus even een beetje helpen als iemand het niet weet is heel verstandig.
Zoals dat met zijn tweeën een kandidaat beoordelen niet nodig is, als je maar kundige vakmensen vraagt als jury. En die kennen elkaar allemaal nog van vroeger, die zijn het wel eens.
Het was een uitdagende tijd en voordat ik de toetsmatrijs en het praktijkexamenprotocol had geïmplementeerd was ik veranderd van dat leuke meisje, in die strenge mevrouw.

Destijds was ik tevreden met wat ik bereikt had, maar nu weet ik het soms niet meer zo zeker.

Laatst las ik weer eens het boek "De man die zijn vrouw voor een hoed hield", en ik ging weer twijfelen aan mijn kwaliteitsverbeterinterventie. Oliver Sacks beschrijft daarin Dr. P., een ontwikkelde man die het vermogen heeft verloren om een cognitief oordeel te vellen. Niet omdat hij niet meer abstract kan denken, of categoriseren. Nee, juist omdat hij zijn intuitief vermogen verloren heeft en daarmee het vermogen persoonlijke verbinding aan te gaan en te voelen. Dit door een beschadiging van een deel van zijn hersenen. Dr P. herkent geen mensen meer, hij ziet alleen patronen. Hij ziet zijn vrouw voor een hoed aan. Sacks trekt een parallel naar de wetenschap, en noemt daarbij de psychologie en cognitieve neurologie. Maar geldt het niet ook voor de psychometrie. Om het concrete en reele te zien en te beoordelen, hebben we niet genoeg aan het indelen en ordenen, maar moeten we ook voortdurend intuitief oordelen en voelen.

Voor de toetsdeskundige heb ik daarom een vraag:
Betekent verstand hebben van toetsen dat je verstand hebt van ordenen of dat je verstand hebt van oordelen?

Aan Piet Sanders de dank dat hij mij heeft wakker geschud met zijn opmerking dat de bruikbaarheidseis van belang is. Bijzonder om te zien dat iemand die zijn sporen heeft verdiend met ordenen, het oordelen niet is verleerd.

maandag 7 mei 2012

Academische schrijfvaardigheden

Ik leg mij toe op 't schrijven van levend Hollands. Maar ik heb schoolgegaan.
Multatuli

Een tijdje terug heb ik het boek weer eens van zolder gehaald: Harrie Lamers - Handleiding voor PR- en reclameteksten (uit 1991). Het gaat inderdaad over het schrijven van wervende teksten, maar ook over zaken als het vouwen van folders en de beste manier om een lijkrede te houden (opbouw: afscheid, herinnering, verdiensten, troost). Ondanks de nogal saaie lay-out en de totale afwezigheid van plaatjes bewaar ik goede herinneringen aan dit boek: het heeft er mede voor gezorgd dat ik tijdens mijn studietijd eigenlijk geen enkel probleem heb ondervonden bij het schrijven van teksten. Het boek staat bomvol aanwijzingen van het type: 'lange lijdende vorm in zin: 10 procent begripsverlies. Ontkenning in zin: 30 procent verlies." Meer had ik niet nodig. Waarom heb ik zo veel aan dat boek gehad? Ik denk dat dat vooral komt omdat de aanwijzingen gingen over waar het om moét gaan bij schrijven: hoe maak je het de lezer makkelijk. Het doel van een tekst is om te overtuigen en om de aandacht van de lezer vast te houden. Dat geldt voor wervende teksten, maar ook voor wetenschappelijke. Ook voor een wetenschappelijk artikel geldt: de eerste klap is een daalder waard. In de eerste paragraaf zet je de toon. Heb je de lezer daarmee ingepakt, dan verhoog je de kans op doorlezen.
Ik heb gemerkt dat studenten schrijven vaak buitengewoon lastig vinden. Dat is jammer, want het is een activiteit die zich in het hoger onderwijs mag verheugen in een buitengewoon grote belangstelling. Daarnaast zijn naar mijn mening sommige argumenten om op te zien tegen schrijven gebaseerd op verkeerde aannames over wat goed schrijven is. Mijn doel is om hier een eenvoudige en persoonlijke analyse te geven van het probleem. Ik zal daarbij ook ingaan op de manier waarop ik zelf heb leren schrijven, waarmee ik overigens allerminst wil beweren dat ik beter schrijf dan anderen (alleen al mijn overmatig gebruik van haakjes en van de ik-vorm kunnen ergernis wekken).
Waarom vinden studenten schrijven lastig? Enkele mogelijke oorzaken:
  1. We noemen het niet schrijven, maar academisch schrijven. Niemand weet precies wat academisch schrijven is en wat daar zo anders aan is dan 'gewoon' schrijven, behalve dat het genre nadruk legt op de vorm van een tekst, het belang van bronvermelding, en het vermijden van plagiaat. Dat zijn zaken die voor de gemiddelde journalist net zo goed van belang zijn, maar die hier op een apart voetstuk lijken te zijn geplaatst. Ik kan me voorstellen dat student zich geïntimideerd voelen door het idee iets heel nieuws te moeten gaan doen: niet meer gewoon een tekst schrijven, maar een academische tekst. En dat, terwijl aan de onderliggende vereiste vaardigheid niets verandert.
  2. Probleem 1 heeft soms een curieus gevolg: studenten denken dat academisch schrijven een wetenschappelijke toon vereist (wat waar is), en dat de tekst daarom vooral moeilijk moet zijn (wat niet waar is). Derhalve in plaats van dus, daar in plaats van omdat, en vooral veel gebruikmaken van de indirecte vorm ('Er werd gebruikgemaakt van 30 participanten'). Alles om maar te voorkomen dat de lezer misschien mocht gaan denken dat er een levend iemand achter het verhaal zit. De onderwerpen en concepten waar we over schrijven zijn vaak complex, maar dat wil niet zeggen dat bijzonder taalgebruik vereist is om die concepten te beschrijven! Integendeel: de beste stukken zijn juist die die ingewikkelde concepten weten uit te leggen op een voor de geïnteresseerde leek inzichtelijke manier. Het boek Vallende Kwartjes, samengesteld door Ionica Smeets en Bas Haring, vormt een treffende verzameling van zulke 'oh zit dat zo'-teksten. Denken dat je je eigen woorden moet 'vertalen' in ingewikkelde en ambtelijke taal, daar wordt schrijven vanzelf lastiger van.
  3. Een derde oorzaak van mogelijke schrijfproblemen vormt het mechanisme dat wetenschappelijk schrijven juist zou moeten vergemakkelijken: de 'APA manual' en andere normen waaraan een tekst moet voldoen. APA is binnen de sociale wetenschappen de aangewezen methode om verwijzingen in een tekst en een literatuurlijst vorm te geven. Daarnaast staat de handleiding bol van regels over hoe een tekst eruit moet zien. De regels zelf zijn het probleem niet, maar de kans bestaat dat met name de wat zwakkere schrijver zich verliest in het woud van regeltjes, door de bomen het bos niet meer ziet, en niet toekomt aan het schrijven zelf. Een bijkomend gevolg is dat bij studenten die zich aan de regels houden het beeld kan ontstaan dat hun tekst daarom wel goed moét zijn. Over de zin en onzin van tekstuele normen zou ik nog veel meer kunnen zeggen, maar dat lijkt me geschikter voor een vervolgpost (als daar behoefte aan is).
  4. Wetenschappelijk schrijven is een apart genre. Het is schrijven op een toon die je je eigen moet zien te maken. Daarom is veel oefenen belangrijk. Een lijstje met twaalf misverstanden over schrijven dat de Rijksuniversiteit Groningen aanbiedt biedt daarbij een aardige handreiking. Tegelijkertijd constateer ik dat de nadruk in de universitaire opleiding vaak ligt op het schrijven van artikelen zoals die ook in wetenschappelijke tijdschriften worden geplaatst. Dat is tenslotte het communicatiemedium van de (sociale) wetenschappen. Toch kan die nadruk studenten vervreemden van bijvoorbeeld de rol die sociale media is gaan spelen in de wetenschapscommunicatie. De vraag is of je studenten kunt leren te schrijven via verschillende media met verschillende doelgroepen: van vakpublicatie tot blog post. Juist het informele aspect van sociale media kan ook de wat zwakkere schrijvers over de streep trekken; en als je over de streep bent kan de APA manual wel eens van de plank gehaald worden.
Is goed schrijven moeilijk? Ja, maar niet per se om de redenen die sommigen in hun hoofd hebben. De oorzaken die ik hierboven noem hebben tot gevolg dat twee meer persoonlijke kanten aan schrijven soms weinig of geen aandacht krijgen: toon en creativiteit. Dat zijn de academische schrijfvaardigheden die ik het liefst zie, maar die moeilijker aan te leren of te controleren zijn. Door veel te schrijven merk je vanzelf welke stijl het best bij jou past. Krampachtig je eigen stijl verbloemen door het keurslijf van de 'norm' aan te meten leidt in mijn optiek snel tot gekunstel. Wees daarbij niet bang om creatief te zijn en zo nu en dan iets nieuws te proberen. Ik maakte er tijdens mij eigen studie een sport van om zo nu en dan iets geks te doen met een tekst, ook om te zien of de docent het zou opmerken. Bij Johan Hoogstraten (auteur van het boek 'De machteloze onderzoeker') leverde ik ooit een lange tekst in waarin geen enkele komma zat: het werd niet opgemerkt. Nutteloos misschien, maar voor mij een leuke stijloefening (probeer het zelf maar eens) en een fijne manier om de schrijfsleur te doorbreken.

Eigenlijk is de verzameling korte adviezen die de Britse schrijver C.S. Lewis ooit gaf aan een fan nog het nuttigst: wees helder en concreet, en doe niet moeilijk. Het zijn universele regels die zich niet beperken tot studenten, en die misschien wel net zo relevant zijn voor schrijfvaardigheden als voor het leven zelf.