1. Breng een heldere structuur aan in je manier van evalueren die je iedere keer op dezelfde manier toepast. Alleen dan kun je resultaten door de tijd heen vergelijken en kun je ze dus beter beoordelen. Ook als je alleen evalueert door te observeren, kun je een structuur aanbrengen. Vaak kijk je tijdens een activiteit rond en weet je of iets aanslaat of niet. Waar zie je dat aan? Waarschijnlijk let je op een aantal dingen, bijvoorbeeld of leerlingen geconcentreerd zijn, of ze vragen stellen, of … Schrijf eens op waar je op let zodat je een puntenlijstje krijgt wat je iedere keer kunt aflopen. Ook bij een informele gesprekken na een activiteit kun je vooraf helder opschrijven wat je elke keer zult vragen, zodat je gestructureerd steeds dezelfde informatie verzameld.
  2. Betrek je collega's bij je evaluatie en vraag of zij op dezelfde punten willen letten. Daarmee kun je beter je bevindingen bespreken en als jij eens een keer niet aanwezig bent kunnen je collega's je evaluatie van je overnemen.
  3. Leg je bevindingen vast ook als je alleen evalueert door achteraf na te praten. Schrijf dan op wat er uit kwam zodat je ook nu weer je bevindingen kunt vergelijken en bewaren. Probeer hierbij weer een heldere structuur aan te houden.
  4. Als je evalueert door achteraf een aantal mensen te spreken, wees je er dan bewust van wie je spreekt. Zorg dat je niet alleen de enthousiastelingen of juist de herrieschoppers eruit pikt. En als je wilt weten waarom een school voor jouw aanbod heeft gekozen, kan het zijn dat het geen nut heeft met de docentbegeleiders die mee zijn te praten. Soms kiest de cultuurcoördinator van een school het aanbod, maar gaat hij/zij niet mee en is bij de voorstelling aanwezig die toch al niet naar toneel wilde en het vooral vervelend vindt dat zijn lesuren hierdoor zijn vervallen. Hij zal je niet kunnen vertellen waarom juist jouw aanbod is gekozen.
  5. Misschien wel het belangrijkste aandachtspunt van allemaal, vraag dat wat je echt wilt weten. En daarbij hoort ook, vraag dus niet wat je eigenlijk niet nodig hebt of wilt weten of waar je toch niets mee gaat doen. Je hoeft helemaal niet alles te bevragen in een evaluatie, bespaar jezelf en de ander tijd door alleen dat te evalueren waar je nu echt mee aan de slag wilt.
  6. Stap af van containerbegrippen, maar formuleer zo exact mogelijk.

Eén van onze meest gelezen blogs gaat over de vragen die je moet stellen bij een procesevaluatie. Zo’n evaluatie is gericht op de manier waarop je werkt en samen (hebt) gewerkt. Maar bij de start van het project heb je ook vragen en tussentijds en/of na afloop van een project wil je de effecten inzichtelijk maken: Wat is de beginsituatie? Welke aannames doen we en kloppen deze wel? Is het doel bereikt? In hoeverre is de doelgroep bereikt? Wat zijn de succesfactoren van het project? En wat zijn verbeterpunten? Bij een projectevaluatie houdt je het resultaat tegen het licht. Met deze informatie kun je het project en/of toekomstige projecten verbeteren. Vragen die je kunt stellen tijdens de verschillende fases van het project:

Projectevaluatie fase 1: Bij de start van het project

 Projectevaluatie fase 2: Tussentijds

 Projectevaluatie fase 3: Na afloop van het project

Beantwoord deze vragen binnen het projectteam, maar betrek ook andere partijen, zoals de doelgroep, samenwerkingspartners en andere stakeholders.

English flag Click on the flag to read this article in English

De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.

Ex ante evaluatie

Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.

Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.

Ex durante evaluatie

Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.

Ex post evaluatie

Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen.  Een goed instrument voor ex post evaluatie is een effectmeting.

Het is zowel voor de deelnemers als voor de trainer achteraf fijn om te weten of het doel van een workshop is bereikt. Voor de deelnemers is het een terugblik naar wat zij geleerd hebben tijdens de workshop. Voor de trainer is het een moment van feedback. Door te evalueren komen succesfactoren en verbeterpunten boven tafel die de inhoud van de workshop kunnen verbeteren. Ik heb al veel evaluatieformulieren langs zien komen waarvan ik me afvraag wat er precies mee wordt gedaan, terwijl deelnemers de moeite nemen om ze in te vullen. Vaak zijn ze lang en kennen veel standaardvragen en algemene rapportcijfers.

Maar, evalueren kan ook op andere manieren, om de cursus leuk en luchtig af te sluiten. Omdat je bij deze vormen van evaluatie maar enkele vragen hebt, moet je goed nadenken over wat je wilt weten. Je hebt na afloop dan wel de informatie die je nodig hebt. Praktische informatie (was er voldoende catering? waren de toiletten schoon?) kun je ook achterhalen door zelf goed te kijken.

Een paar mogelijkheden om je cursus te evalueren zijn:

  1. Ansichtkaart

Na afloop van de workshop krijgt iedere deelnemer een ansichtkaart waarop hij/zij zijn/haar leerpunten schrijft. Ook vult iedereen zijn/haar naam op de ansichtkaart. De trainer neemt alle kaarten weer terug in en zorgt ervoor dat de deelnemers de kaart een paar weken na de workshop naar hen toegestuurd wordt. Op deze manier krijgen de deelnemers na een tijdje een reminder over wat zij geleerd hebben én kan de trainer nagaan of de deelnemers geleerd hebben wat hij/zij tijdens de training graag mee wilde geven.

  1. Sneeuwballen evaluatie

De deelnemers schrijven op een A4’tje wat ze vandaag geleerd hebben. Ze maken hiervan een prop. Als de trainer het zegt mogen ze deze door de ruimte gooien. Dan pakt elke deelnemer een prop, vouwt deze open en schrijft of ze de doelen van vandaag behaald hebben. Er worden weer ballen van gemaakt en opnieuw als de docent het zegt door de klas gegooid. Dan pakt elke deelnemer weer een sneeuwbal, vouwt deze open en schrijft een tip op voor de inhoud van de les van vandaag. Er worden weer ballen van gemaakt en deze worden op het teken van de docent opnieuw door de klas gegooid.

Dan pakt elke deelnemer weer een sneeuwbal, vouwt deze open en schrijft een tip op voor de docent. Er worden weer ballen van gemaakt en nu worden alle sneeuwballen naar de docent gegooid.

Door deze werkvorm gaan deelnemers nog even bewust nadenken wat ze nu gedaan hebben, wat ze geleerd hebben en hoe ze dit kunnen toepassen. Een ander voordeel van deze vorm van evalueren is dat het anoniem is, waardoor deelnemers de vragen op een eerlijke manier beantwoorden

  1. De evaluatiethermometer

De evaluatiethermometer is een werkvorm om deelnemers uit te dagen hun vooruitgang tijdens de training concreet te beschrijven. Je vraagt de deelnemers hoe competent zij zich voelen t.a.v. het onderwerp van de training. Bijvoorbeeld: Welk cijfer geef jij jezelf nu als het gaat om het voeren van functioneringsgesprekken? De cursisten zetten een streepje in de thermometer, of nemen langs de thermometer op de wand een positie in. Deze evaluatiethermometer is het meest effectief als je ook aan het begin van de training de temperatuur opneemt. Dan valt er iets te vergelijken. De kern van de werkvorm zit in het gesprek dat volgt. De trainer daagt de cursisten uit om zo concreet mogelijk te verwoorden wat er aan het einde van de training anders is dan aan het begin. Doordat het een werkvorm is waarbij de deelnemers aangeven wat zij wél geleerd hebben en niet wat ze gemist hebben, sluit je de training altijd op een positieve manier af.

  1. Stemmen

Door te stemmen krijg je snel een goed beeld over hoe de workshop in het algemeen is ontvangen en of cursisten ervaren dat hun doel is bereikt. Aan de hand van een paar stellingen laat je de groep stemmen met een groene (mee eens) en rode kaart (niet mee eens). Vraag een paar cursisten hun stemming toe te lichten. Doordat deze werkvorm niet anoniem is, maar juist heel direct kan het zijn dat deelnemers wat terughoudender de vragen beantwoorden.

 Meer weten? Lees één van de volgende blogs:

Bij sommige organisaties is evalueren heel gewoon, anderen doen er niet aan. Dat kan om verschillende redenen zijn, zoals het spannend vinden om kritiek te krijgen, het ingewikkeld vinden of het te veel werk/gedoe te vinden. Wat zijn dan zes slimme stappen om het evalueren van projecten in te voeren?

  1. Overtuig 
    Overtuig je directe collega’s van de meerwaarde van evalueren: leren van je ervaringen. In mijn blog Evalueren om je project te verbeteren [link] staan argumenten die je kunt gebruiken om je collega’s te overtuigen.
    Vraag hen waarom ze het niet (willen) doen en probeer deze drempels weg te nemen. Als ze het te ingewikkeld vinden, begin je met een laagdrempelige interne procesevaluatie (zie stap 3). Als ze bang zijn kritiek te krijgen, let je er op dat de evaluatie gericht is op leren en niet op fouten analyseren en schuldigen aanwijzen (zie stap 4).
  2. Begin
    Maak gebruik van de eerste volgende gelegenheid die zich voor doet en evalueer. Iets wordt een gewoonte als je er mee begint en het blijft doen.
  3. Houd het in het begin eenvoudig
    Als je collega’s nog moeten wennen aan evalueren, houd het dan eenvoudig. Dat kan door iedereen in het projectteam een top (wat ging goed) en een tip (wat kon beter) te laten benoemen. Later kun je je evaluaties structureren, bijvoorbeeld door gebruik te maken van de vragen in mijn blog: Welke vragen stel je bij een procesevaluatie? [link]. Bedenk je bij zo’n procesevaluatie wie er betrokken waren bij het project en wie je dus wilt betrekken bij de evaluatie. Op een gegeven moment wil je ook inzicht in het effect van je project om te leren hoe je meer effect kunt halen. Maar laat eerst iedereen wennen aan evalueren en leren van het project.
  4. Houd het positief en opbouwend
    Een evaluatie is bedoeld om te leren van je ervaringen. Richt je daar dus ook op. Kijk naar wat er goed ging (mensen leren meer van successen dan van fouten) en bedenk bij dingen die niet goed gingen vooral hoe het de volgende keer beter kan. Blijf niet hangen in foutanalyses en beschuldigingen. Daar wordt niemand vrolijk van en, belangrijker, daar leert niemand van.
  5. Maak iemand verantwoordelijk
    Evalueren gebeurt niet vanzelf. Iemand moet het organiseren, al is het maar een gesprek. De evaluatie kan een vast onderdeel van een project zijn en ligt het dus bij de projectleider. Maar ik kan me voorstellen dat er in het begin iemand de projectleiders helpt bij het evalueren, zodat het gemakkelijker gaat
  6. Onderneem actie n.a.v. de evaluatie
    Laat zien waarom jullie geëvalueerd hebben en dat het nut heeft. Ga aan de slag met de genoemde verbeterpunten. Voer de gemakkelijke punten meteen door in lopende projecten, zodat je meteen profijt hebt van je evaluatie.
    Als mensen zien dat je wat doet met hun input, zullen ze de volgende keer weer mee willen denken. En als ze zien dat het werkt, wordt evalueren een gewoonte.

Een zelfreflectie of evaluatie betekent onder andere dat je jezelf een spiegel voorhoudt om zo stil te staan bij hoe je werkt. Ik heb het al vaker gehad over waarom je evalueert. Een evaluatie brengt in kaart wat de resultaten en/of effecten van je project of proces zijn. Er worden succesfactoren en verbeterpunten genoemd. Waardoor je efficiënt en effectief actie kunt ondernemen. In dit blog ga ik in op wat een zelfreflectie nu eigenlijk betekent.

Zelfreflectie betekent dat je jezelf een spiegel voorhoudt. Je staat stil bij hoe je werkt door naar jezelf te kijken over een bepaalde periode. Je denkt daarbij na over de keuzes die je hebt gemaakt binnen je werk. Waarom heb ik het toen zo aangepakt? En waarom ging dit goed? Of juist minder goed? Ook sta je stil bij de vaardigheden je inzet. Waar ben ik goed in en wat kan er juist beter? Je stelt jezelf daarbij ook de vraag hoe je je daarbij voelde. Werd ik er blij van of juist niet? Vond ik het spannend? Zelfreflectie is een moment om kritisch naar jezelf te kijken om jezelf te verbeteren en te ontwikkeling.

Iedereen kan aan zelfreflectie doen en reflecteren kan op verschillende manieren. Op de werkvloer wordt geëvalueerd door middel van het maken van bijvoorbeeld persoonlijke ontwikkelplannen en het voeren van functioneringsgesprekken.

Op school wordt ook gereflecteerd. Leerlingen kunnen samen met de leerkracht evalueren. Dit kan zijn door middel van gesprekken, zelfreflectieformulieren of het bijhouden van een portfolio. Ook kan de leerkracht de leerling observeren. Als je meer wilt weten over evalueren in de klas, bekijk dan ons project voor Kunstbalie. Voor de cultuurloper zijn we een volginstrument aan het ontwerpen om de culturele ontwikkeling van de leerling te volgen/evalueren.  Wil je hier meer over weten? Lees dan op deze pagina meer over dit project.

Een evaluatie kan je goede handvatten geven om lopende of toekomstige projecten te verbeteren. Evalueren geeft namelijk informatie over jezelf, je organisatie én je project. De evaluatie brengt helder in kaart wat de resultaten van je project zijn. Daarbij kunnen de succesfactoren en verbeterpunten benoemd worden. Je kunt een lopend traject dan bijsturen en weet bij toekomstige projecten waar je aandachtspunten liggen.

Maar, om goed te kunnen evalueren moet je wel weten wat het doel is van je project. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten. Een doel is namelijk een gewenste situatie die je wilt bereiken. Een evaluatie laat zien hoe ver je bent. Zonder het formuleren van een doel is een evaluatie dus eigenlijk nietszeggend.

Zorg ervoor dat je doelen niet vaag en vrijblijvend geformuleerd worden, maar dat ze onder andere specifiek en meetbaar zijn. Methoden die je hierbij helpen zijn bijvoorbeeld SMART, PRISMA of RUMBA. Een goede formulering van je doelen maakt het evalueren makkelijker.

Evalueren zonder vooraf geformuleerde doelen heeft dus weinig zin. Evalueren op basis van vooraf gestelde doelen heeft daarentegen heel veel zin! Je komt dan te weten of je richting je doel aan het bewegen bent en kunt zo nodig bijsturen.

Onlangs had ik een evaluatie met een opdrachtnemer welke anders liep dan ik gewend was. De persoon in kwestie had zich goed voorbereid en stak van wal. Ze heeft haar verhaal vertelt: wat volgens haar het doel van de evaluatie was, wat de mogelijkheden waren en wat er was bereikt. Wat ik ook probeerde, ze was niet van haar stuk te brengen. Na een half uur was haar monoloog afgerond en kreeg ik ruimte om te vertellen wat ik wilde met de evaluatie.

Het leermoment van deze evaluatie kwam uit een andere hoek dan verwacht. Ik heb namelijk weinig geleerd over het project dat we samen hebben gedaan of over onze manier van samenwerken. Wil je iets leren als persoon of als organisatie van evalueren, let dan op de volgende punten:

 Hulp nodig bij een evaluatie? Lees hier hoe ik hierbij kan helpen

In gesprekken met medewerkers van musea merk ik dat subsidiërende lokale overheden voornamelijk kijken naar bezoekersaantallen. Want dat is gemakkelijk meetbaar. Maar wat is het doel van deze gemeenten om het museum te subsidiëren? Steunt de gemeente het doel van het museum (mensen iets leren over of interesseren voor een bepaald onderwerp)? Wil de gemeente dat het museum bijdraagt aan de identiteit van de gemeente? Of wil de gemeente zo veel mogelijk bezoekers?

Door het doel dat je als gemeente hebt met een museum (of een andere culturele instelling) samen scherper te formuleren, kun je samen kijken wat er dan wel en wat niet valt onder de activiteiten die ontwikkeld moeten worden om dit doel te bereiken. Twee voorbeelden om te verduidelijken wat ik bedoel.

Eerste voorbeeld: een museum is onderdeel van de identiteit van een gemeente. Op het gebied van binnenschoolse cultuureducatie kan dit betekenen dat het museum samen met de school kijkt naar de geschiedenis van de gemeente of met de leerlingen op zoek gaat naar wat de burgers bindt in deze gemeente. Een museum kan in dit geval ook een bijdrage leveren aan themajaren en zich buiten de muren van het museum profileren.
Tweede voorbeeld: een museum wil mensen binnen de gemeente en daarbuiten interesseren voor een bepaald onderwerp, kunststroming of historische periode. Door niet afgerekend te worden op het aantal bezoekers aan de deur, kunnen  ze ook naar de bezoekers toegaan door bijvoorbeeld met een mobiele tentoonstelling te staan op een drukke plaats, zoals het station, een winkelstraat of een ziekenhuis. Mensen die normaliter niet naar het museum komen, maken nu wel op een laagdrempelige manier kennis met het onderwerp,  de kunststroming, een kunstenaar of een historische periode en het museum. Door het laagdrempelig en kleinschalig aanbieden van cultuur zullen mensen aangesproken worden die normaliter het museum niet zouden bezoeken. Zo worden nieuwe publieksgroepen iets geleerd over, geïnteresseerd voor een bepaald onderwerp. Wat ze moeilijker lukt als ze naar het museum gelokt moeten worden.

Ik begrijp dat het lastiger te meten is of een museum bijdraagt aan deze doelen, dan bezoekers te tellen. Maar het geeft het museum meer mogelijkheden om naar potentiele bezoekers toe te gaan door minder gebonden te zijn aan hun gebouw. Door elders kennis te maken met het museum gaan mensen het meer waarderen, komt er meer draagvlak en zullen er uiteindelijk meer bezoekers komen omdat niet alleen de bekendheid is toegenomen, maar ook de drempels om het museum te bezoeken verlaagd zijn.

Ps. En ook van deze doelen kan gemeten worden of ze gehaald worden.

Na afloop van een project kun je onder andere een procesevaluatie doen om het proces te verbeteren. Hier kun je van profiteren bij elk ander project, omdat een procesevaluatie gericht is op de manier waarop je werkt en samenwerkt. Als je dat verbetert, verbeter je de procedures in je organisaties, je werkzaamheden en dus ook je organisatie. Alle volgende projecten kunnen hier profijt van hebben. In mijn blog evalueren om je project te verbeteren, lees je meer over waarom je moet evalueren. Tijdens verschillende fasen van de procesevaluatie kun je jezelf een aantal evaluatievragen stellen.

Procesevaluatie: de Start

Procesevaluatie: het Verloop

Procesevaluatie: het Resultaat

Beantwoord deze evaluatievragen binnen het projectteam en zo nodig met externe partijen. Concentreer je niet op wat er niet goed ging, maar op wat er wel goed ging. Mensen leren namelijk meer van successen dan van fouten.

Wil je meer weten over zelfreflectie? Lees dan ook deze blog. 

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone