Evaluatie van trainingen

1. Wat is evalueren?

Evalueren is het achteraf vaststellen van de waarde of het resultaat van een training. De evaluatie van trainingen is een onderdeel van de bekende PDCA-cyclus of Deming circel.

P (Plan) Je hebt een doel voor je training, en ontwerpt een training waarmee je dat doel wilt bereiken.

D (Do) Je voert de training uit.

C (Check) Je evalueert of je doel bereikt is.

A (Act) Je doet iets met het evaluatieresultaat. Je verwerkt dit bijvoorbeeld in de voorbereiding van een volgende training, je plant een aanvullende actie voor de cursisten of je geeft de opdrachtgever een aanvullend advies.

2. Doelgerichte evaluatie van trainingen

Het lijkt een open deur, maar toch zie ik het vaak mis gaan. Trainers die geen doelen stellen maar wel gaan evalueren. Trainers die een vaardigheidsdoel evalueren met een kennistoets, en trainers die gedragsverandering meten met een tevredenheidsformulier. De evaluatie van trainingen moet wel doelgericht plaatsvinden!

Zonder doel kan er volgens mij niet getraind worden. Het doel van de training is de enige reden waarom de cursisten bij elkaar zijn. Het doel van de training bepaalt dan ook de vorm en inhoud van een evaluatie. Kennisdoelen meet je door het kennisniveau vast te stellen, vaardigheidsdoelen o.a. door oefeningen, en attitudedoelen door de cursisten hun mening of visie te laten verwoorden. Dit zijn slechts voorbeelden, het aantal mogelijkheden is veel groter en iedere situatie en ieder doel biedt inspiratie voor originele evaluatiemethodes.

Doelgericht trainen, de kans op resultaat zo groot mogelijk maken, en het resultaat evalueren. Dat leer je in de Train-de-trainercursus van Bridge2learn.

3. De evaluatie hoort bij het ontwerp van de training

Als het goed is stel je bij het ontwerp van je training het doel vast. Wat moeten de cursisten aan het einde van de training kennen en kunnen? Of: welk gedrag en welk resultaat wil je in de praktijk zien? Het is dan ook logisch dat je bij het ontwerp van een training ook nadenkt hoe je het resultaat van de training kunt meten.

En dat is soms best lastig. Mijn advies is: doe dat niet alleen. Betrek de opdrachtgever bij het ontwerp en bepaal samen hoe je het resultaat gaat meten.

4. Evaluatieniveaus van Kirkpatrick

Donald Kirkpatrick maakt onderscheid tussen verschillende niveaus voor de evaluatie van trainingen.

Niveau 1: reactieniveau. Op dit niveau gaat het over de tevredenheid van de cursisten. Hoe hebben de cursisten de training ervaren? Je kunt dit niveau evalueren door de bekende evaluatieformulieren waarop je de training een cijfer moet geven. Uit onderzoek (Sitzmann et al. (2008)) blijkt dat tevredenheid nauwelijks verband houdt met leerresultaat. Het is natuurlijk fijn als jouw deelnemers tevreden zijn, maar daarmee beoordelen ze vooral de relatie met jou en met de andere deelnemers.

Niveau 2: leerniveau: Op dit niveau gaat het over het leerresultaat. Welke kennis en vaardigheden kunnen de cursisten aan het eind van de training reproduceren? Het leerniveau kun je evalueren door aan het eind van de training een kennis- of vaardigheidstoets af te nemen. Maar ook het evaluatieformulier kun je hiervoor gebruiken. Je vraagt dan op het formulier bijvoorbeeld naar de belangrijkste leerervaringen van de cursisten. De beste manier om het leerniveau te evalueren vind ik het gebruik van ‘toepassingsopdrachten’. In de training maak je gebruik van opdrachten waarin de deelnemers kennis en vaardigheden toepassen. Je kunt dan meteen zien of ze het resultaat bereikt hebben dat je voor ogen had, en je maakt de kans groter dat ze na de training ook gaan toepassen wat ze geleerd hebben. In de Train-de-trainercursus leer je dit soort werkvormen ontwerpen.

Niveau 3: gedragsniveau: Op dit niveau gaat het over gedragsverandering. Tot welke gedragsverandering heeft de training geleid? Dit is een stuk lastiger te meten. Meestal kun je dit alleen in de praktijk meten, en niet in de training zelf.

Niveau 4: resultaatniveau: Op dit niveau gaat het over de gevolgen van de gedragsverandering. Tot welke resultaten heeft het veranderde gedrag geleid? Heeft de training timemanagement bijvoorbeeld tot minder ziekteverzuim geleid?

Voor de duidelijkheid nog eens alle niveaus voor de evaluatie van trainingen op een rij, toegepast op een training verkooptechnieken.

1. Wat vonden de cursisten van de training verkooptechnieken en van de trainer?
2. Welke technieken kennen ze, en kunnen ze toepassen?
3. Passen ze de verkooptechnieken in de praktijk correct toe?
4. Leiden de geleerde verkooptechnieken tot een grotere omzet?

5. Zijn evaluatieformulieren wel nuttig?

Sommige trainers doen minachtend over het evaluatieformulier. Het zegt volgens hen niets over het bereikte resultaat. Dat is niet helemaal terecht! De evaluatieniveaus van Kirkpatrick kun je beschouwen als een piramide waarvan iedere laag steunt op de vorige laag.

De tevredenheid van een cursist is dus een voorwaarde voor een resultaat op een hoger niveau. En het leerresultaat (niveau 2) is een voorwaarde om het gewenste gedrag buiten een training toe te kunnen passen. En het gedrag buiten de training (niveau 3) is een voorwaarde om het effect van dat gedrag te kunnen meten.

Een goed resultaat op niveau 1, het reactieniveau, garandeert uiteraard geen leerrendement (niveau 2) of gedragsverandering (niveau 3). Het kan best dat iemand heel tevreden is en toch niets geleerd heeft. Wat dat betreft hebben de critici van evaluatieformulieren gelijk. Maar als iemand ontevreden is, dan is het vrijwel zeker dat hij of zij niets geleerd heeft.

Wanneer je dus een training alleen evalueert op niveau 4, en het resultaat blijkt tegen te vallen, weet je niet waar dat aan ligt als je niet op de onderliggende niveaus geëvalueerd hebt.

Mijn advies aan trainers is dus om op zoveel mogelijk niveaus te evalueren, te beginnen bij niveau 1! Uiteraard is het daarbij van belang dat je een evaluatievorm kiest waarmee je wel zinnige feedback krijgt. Dit is een standaard-evaluatieformulier dat ik soms gebruik, aangepast aan de training die ik geef.

6. Evalueren = leren

Cursisten leren ook van de evaluatie van trainingen. Wanneer je evalueert op niveau 2, vraag je de cursisten de leerstof of vaardigheden te reproduceren. Dat reproduceren is een belangrijke activiteit voor het leerrendement. Herhaling is namelijk één van de principes waardoor onze hersenen beter leren.

De evaluatie is dus niet iets wat je in de laatste vijf minuten afraffelt. Het mag best een stevig onderdeel van een training zijn. En evalueren kan op zoveel manieren dat je echt niet bang hoeft te zijn dat het saai wordt.

Het effect van een evaluatie kan nog verder gaan. In de evaluatie kun je de cursisten ook verleiden hun intenties uit te spreken. “Welke vaardigheden zul je de komende week zeker gaan toepassen?” Deze vraag bevat niet alleen een herhaling van de leerstof, maar laat de cursist ook een voornemen uitspreken. Uit onderzoek blijkt dat voornemens die hardop worden uitgesproken (zeker als er collega’s bij zijn) eerder worden uitgevoerd.

In dit evaluatieformulier dat ik vaak gebruik, zie je dat het formulier meteen ook nuttig is voor de deelnemer zelf.

7. Tips voor een mondelinge evaluatie

Een mondelinge evaluatie van trainingen kun je gebruiken om op niveau 1 of 2 te evalueren. Je vraagt bijvoorbeeld naar de tevredenheid, of je vraagt naar wat de cursisten geleerd hebben. Vanuit de praktijk heb ik drie belangrijke tips voor je.

1. Stel open vragen, en zo neutraal mogelijk. “Heb je hier iets aan gehad.” is een vraag waar je weinig zinvolle antwoorden op krijgt. Nuttiger is het om te vragen: “Welk moment in de training was voor jou inzichtgevend?” of “Welke kennis ga je zeker gebruiken?”

2. Als je kennis evalueert, stel dan vragen waarmee deze kennis benoemd moet worden. Je zag dat bij het vorige punt al naar voren komen. Je stelt vragen waardoor de cursisten een antwoord uit de leerstof noemen. Bijvoorbeeld wat ze het meest interessant of nuttig vinden. Op die manier zorg je ervoor dat ze, na jouw vraag, actief de geleerde kennis en vaardigheden gaan scannen, en daarmee dus ook herhalen en benoemen.

3. Reageer neutraal. Trainers zijn net mensen, en zijn over het algemeen blijer met een enthousiaste – dan met een kritische cursist. Wat ik nogal eens zie gebeuren is dat een trainer instemmend en dankbaar de lof en dank van de eerste drie cursisten in ontvangst neemt, en vervolgens niet weet hoe hij moet reageren op de kritiek van nummer vier. Je kunt dit voorkomen door op alle feedback met een eenvoudig ‘dankjewel’ te reageren, en af en toe naar verduidelijking te vragen.

8. Evaluatie werkvormen

Het aantal werkvormen voor de evaluatie van trainingen is eindeloos. Zoals iedere werkvorm, kun je evaluatiewerkvormen ook zelf ontwikkelen. Kijk voor tips maar eens op deze pagina.

De volgende werkvormen zijn geschikt om te evalueren op niveau 1 en 2 van Kirkpatrick.

De evaluatie-thermometer. Dit is een werkvorm die cursisten de gelegenheid biedt om te reflecteren op hun eigen vooruitgang tijdens de training. Klik hier om de werkvorm te bekijken.

Het reflectieverslag. Dit bekende ‘verwerkingsinstrument’ kun je ook voor evaluatie gebruiken door de cursisten de opdracht te geven in hun reflectie ook bepaalde leerstof te betrekken. In het reflectieverslag kun je vervolgens zien of jouw kennisdoel bereikt is.

9. Tips voor evaluatieformulieren

Een deelnemer komt om te leren, niet om allerlei aspecten van een training te beoordelen. Evaluatieformulieren, zeker als ze als irrelevant en lang ervaren worden, halen de aandacht van de deelnemer weg bij de inhoud van de training. Vraag je dus altijd af waarom je eigenlijk wilt evalueren, en hoe je dat kunt doen zonder dat het door deelnemers als storend wordt ervaren.

De kwaliteit van een training meet je niet met alleen een formulier. Deze opmerking is vooral voor opleidingsinstituten die op afstand de kwaliteit van hun docenten of trainers willen beoordelen met een evaluatieformulier. Het gemiddelde van alle evaluaties zegt misschien wel iets over de kwaliteit van een docent, maar zeker niet alles.

Houd het formulier zo kort mogelijk, zeker bij workshops of ééndaagse trainingen. Mijn ervaring is dat deelnemers bij meerdaagse trainingen wel iets meer energie in het evaluatieformulier willen stoppen.

Stel alleen vragen waarvan je weet dat je iets met het antwoord gaat doen. Het is heel gemakkelijk om veel vragen te bedenken. Misschien kun je zelfs heel slimme vragen bedenken. Zo zag ik laatst een evaluatieformulier waarin alleen al zes bijzonder slimme vragen werden gesteld over de kwaliteit van de uitgereikte hand-outs. Hoe slim jouw vragen ook zijn, het enige dat volgens mij telt is of je ook iets met de antwoorden gaat doen. Zo niet: delete!

Geef deelnemers de kans te vertellen wat zij belangrijk vonden. Veel evaluatieformulieren zijn een checklist met gesloten vragen van zaken die de trainer of het trainingsbureau belangrijk vindt. Daarmee stuur je de mening van een deelnemer al behoorlijk. Open vragen kunnen verrassende feedback opleveren, waar je echt wat mee kunt. Daarbij kunnen deelnemers zelf kiezen of ze uitgebreide antwoorden geven, of niets invullen. Dat laatste is ook goed, want soms heeft een deelnemer gewoon geen mening over het gevraagde aspect!

Mijn favoriete vragen, je ziet ze terug in dit evaluatieformulier:

1. Wat sprak jou het meest aan in deze training? / Wat ga je daarmee doen? / Hoe ga je dat concreet aanpakken? (Eigenlijk een plan waarmee inzichten vertaald worden naar acties.)
2. Een omschrijving van het leerdoel van de training, met daarachter de meerkeuzevraag in welke mate dit leerdoel bereikt is, met de mogelijkheid een toelichting te geven. (Eventueel kun je dit meerdere keren doen, voor de verschillende subdoelen.)
3. Welke complimenten wil je geven voor de leerstof, de organisatie of de trainer? Idem: welke tips…?
4. In welke mate kwam deze training overeen met de informatie die je vooraf gekregen hebt? Gesloten vraag, met toelichtingsmogelijkheid. (Dit geeft je de mogelijkheid de afstemming vooraf in de toekomst te verbeteren.)