In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:

Advies monevabeleid voor Cultuureducatie met Kwaliteit

Voor de nieuwe periode (2017-2020) wilde het Fonds voor Cultuurparticipatie graag een afgestemd monitor- en evaluatie-instrument voor de vier regelingen binnen het programma Cultuureducatie met Kwaliteit. Het fonds heeft ons gevraagd om een nieuwe moneva te ontwerpen, dan wel de bestaande moneva aan te passen. Het ging om de monitoring van vier regelingen, namelijk:

Matchingsregeling gemeenten en provincies
Impuls Muziekonderwijs
Professionalisering Cultuuronderwijs PO
Cultuureducatie in het VMBO Om te komen tot een advies voor de moneva in de periode 2017-2020 werden de huidige moneva-instrumenten bestudeerd om te kijken wat er is gedaan en hoe dit is aangepakt. Dit deden we aan de hand van een analysekader. Daarnaast zijn bijeenkomsten met het betrokken team bij het fonds georganiseerd om te kijken wat het team heeft gedaan met de huidige moneva en hoe zij deze heeft ervaren. Met deze informatie én met de informatie uit het onderzoek naar de individuele moneva van de penvoerders stelden we een moneva samen voor elke regeling.  Het doel van de regeling Cultuureducatie met Kwaliteit is om de kwaliteit van cultuureducatie in het primair onderwijs te verbeteren zodat het een vaste plek krijgt in het curriculum van de scholen. Dit doet het fonds onder andere door 54 meerjarige programma’s, verspreid over het hele land te ondersteunen waarbij scholen en culturele instellingen samen werken aan Cultuureducatie met Kwaliteit.

Lees meer:

Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.

Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.

Met evalueren wordt het resultaat tegen het licht gehouden. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij worden de succesfactoren en de verbeterpunten benoemd. Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.

Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.

Wil jij ook inzichti in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!

Als jongeren meedoen aan je sport programma of culturele activiteit, wil je achteraf weten wat ze ervan vonden. Met deze informatie kun je het project bijsturen en verbeteren. Je hebt dan een onderzoeksmethode nodig waar jongeren aan mee willen werken. Er zijn dan een aantal elementen die belangrijk zijn:

Ik noem er een paar onderzoeksmethoden die aan deze voorwaarden voldoen:

Scheurkaartjes

Met scheurkaartjes kun je in een korte tijd van veel jongeren weinig informatie verzamelen. Je geeft de jongeren na het project of activiteit een papiertje met een vraag/stelling erop. Door een scheurtje in het papiertje te maken geven zij aan het eens te zijn met de stelling of geven ze een cijfer op een schaal. Na de activiteit leveren ze het kaartje in bij de uitgang. Het kost voor de jongeren weinig tijd, het is gemakkelijk en zij hoeven niet speciaal ergens naartoe te gaan. Het is een methode om eerste reacties te pijlen. Je kunt namelijk maar een enkele vraag stellen. Meer informatie over de voor- en nadelen van scheurkaartjes vindt je in mijn blog over deze onderzoeksmethode.

Digitale vragenlijst (ter plekke) met enquêteur

Een andere geschikte onderzoeksmethode voor jongeren is een digitale vragenlijst die ter plekke afgenomen wordt, waarbij een enquêteur de vragen stelt en de antwoorden invult (bijvoorbeeld met een iPad). Deze methode kost meer tijd dan scheurkaartjes, maar het geeft wel de mogelijkheid om veel informatie te verzamelen. Het is voor de jongeren nog steeds gemakkelijk, zij hoeven zelf niets in te vullen. Ook bevindt je je op de plek waar de jongeren zijn. Door de jongeren na afloop een cadeautje te geven als bedankje vergroot je de kans dat ze meewerken.

Observeren

Een manier van onderzoeken waar je de jongeren nauwelijks belast is observeren. Het kost de jongeren geen tijd, je observeert werkelijk gedrag en je bent niet afhankelijk van respons. Door te observeren kun je veel informatie verzamelen. Je kunt echter enkel feitelijk gedrag observeren en geen motivaties achterhalen.

Interviews

Door middel van interviews kun je motivaties en diepgaande informatie achterhalen. Het is echter een methode die voor de jongeren veel tijd kost. Aan de andere kant voelen jongeren zich door middel van een interview onderdeel van iets, ze voelen zich serieus genomen. Dit motiveert hen om mee te werken. Ook bij deze onderzoeksmethode is het leuk om een cadeautje te geven als bedankje.

Meer weten over hoe je jongeren kunt bereiken? In een eerdere blog gaf ik al een aantal tips om toe te passen om jongeren te bereiken voor je activiteit.

Wil je op een snelle manier kwantitatieve informatie verzamelen van een grote groep mensen? Dan kun je scheurkaartjes als onderzoeksmethode gebruiken. Het principe van scheurkaartjes werkt als volgt: Je geeft het publiek voor een voorstelling, tentoonstelling of andere activiteit een papiertje met een vraag/stelling erop. Door een scheurtje in het papiertje te maken geven zij aan het eens te zijn met de stelling of geven ze een cijfer op een schaal. Na de voorstelling, tentoonstelling of andere activiteit leveren ze het kaartje in bij de uitgang. Je kunt hierbij denken aan de filmbeoordelingen van IFFR.

Door gebruik te maken van scheurkaartjes kun je gemakkelijk en snel informatie van veel respondenten krijgen, waardoor je uitspraken kan doen over percentages en verhoudingen binnen de gehele onderzoeksgroep.  Je hebt een hoge respons met scheurkaartjes omdat voor respondenten een kleine moeite is om na afloop van een voorstelling of tentoonstelling een kaartje in te scheuren. Daarbij blijven de respondenten ook anoniem.

Het werken met scheurkaartjes als onderzoeksmethode is geschikt als je een eerste reactie van de onderzoeksgroep wilt achterhalen. Je kunt ten slotte maar 1 of 2 vragen stellen. Ben je op zoek naar uitgebreidere informatie? Dan is het slimmer om te kiezen voor een vragenlijst. Wil je juist meer diepgaande informatie en achterliggende motivaties achterhalen? Dan is het houden van interviews wellicht een betere onderzoeksmethode.

Veel mensen hebben geen grip op het begrip onderzoek. Dit maakt evalueren tot een taak die alsmaar wordt uitgesteld en wat meer als een verplichting voelt dan een gelegenheid om van je project of activiteit te leren. Vaak zie ik dat mensen wel degelijk open staan voor onderzoek (en om er zelf mee aan de slag te gaan), maar dat het nog een ver van hun bed show is. Door hen meer te leren over wat onderzoek inhoudt, en hen te laten zien dat het niet altijd zo ingewikkeld is als het lijkt, worden zij er steeds enthousiaster over.

Een voorbeeld is de tweedaagse cursus die ik heb gegeven aan de medewerkers van de afdeling educatie van een (inter)nationaal museum. Afgelopen voorjaar ben ik bij hen langs geweest om hen te leren wat onderzoek inhoudt: Je volgt een aantal logische stappen die je inzicht verschaffen in je doelbereik. De volgende thema’s komen aan bod om een goed onderzoek op te zetten:

Vervolgens zijn zij zelf aan de slag gegaan met hun eigen onderzoeken, waarna ik in het begin van de zomer terug ben gegaan om aan de hand van hun eigen verzamelde data de vervolgstappen samen door te nemen.

Door hen aan de hand van voorbeelden uit de eigen praktijk te leren onderzoeken, zie ik dat ze enthousiaster zijn geworden over evalueren en hebben zij meer begrip gekregen van wat je allemaal kunt met onderzoek. Hierdoor denk ik dat ze vaker en gemakkelijker hun exposities en activiteiten zullen monitoren en evalueren.

Wil je liever samen met je hele team meer leren over onderzoek? Dan behoort een in-company training ook tot de mogelijkheden.

De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.

Ex ante evaluatie

Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.

Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.

Ex durante evaluatie

Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.

Ex post evaluatie

Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen.  Een goed instrument voor ex post evaluatie is een effectmeting.

Het is zowel voor de deelnemers als voor de trainer achteraf fijn om te weten of het doel van een workshop is bereikt. Voor de deelnemers is het een terugblik naar wat zij geleerd hebben tijdens de workshop. Voor de trainer is het een moment van feedback. Door te evalueren komen succesfactoren en verbeterpunten boven tafel die de inhoud van de workshop kunnen verbeteren. Ik heb al veel evaluatieformulieren langs zien komen waarvan ik me afvraag wat er precies mee wordt gedaan, terwijl deelnemers de moeite nemen om ze in te vullen. Vaak zijn ze lang en kennen veel standaardvragen en algemene rapportcijfers.

Maar, evalueren kan ook op andere manieren, om de cursus leuk en luchtig af te sluiten. Omdat je bij deze vormen van evaluatie maar enkele vragen hebt, moet je goed nadenken over wat je wilt weten. Je hebt na afloop dan wel de informatie die je nodig hebt. Praktische informatie (was er voldoende catering? waren de toiletten schoon?) kun je ook achterhalen door zelf goed te kijken.

Een paar mogelijkheden om je cursus te evalueren zijn:

  1. Ansichtkaart

Na afloop van de workshop krijgt iedere deelnemer een ansichtkaart waarop hij/zij zijn/haar leerpunten schrijft. Ook vult iedereen zijn/haar naam op de ansichtkaart. De trainer neemt alle kaarten weer terug in en zorgt ervoor dat de deelnemers de kaart een paar weken na de workshop naar hen toegestuurd wordt. Op deze manier krijgen de deelnemers na een tijdje een reminder over wat zij geleerd hebben én kan de trainer nagaan of de deelnemers geleerd hebben wat hij/zij tijdens de training graag mee wilde geven.

  1. Sneeuwballen evaluatie

De deelnemers schrijven op een A4’tje wat ze vandaag geleerd hebben. Ze maken hiervan een prop. Als de trainer het zegt mogen ze deze door de ruimte gooien. Dan pakt elke deelnemer een prop, vouwt deze open en schrijft of ze de doelen van vandaag behaald hebben. Er worden weer ballen van gemaakt en opnieuw als de docent het zegt door de klas gegooid. Dan pakt elke deelnemer weer een sneeuwbal, vouwt deze open en schrijft een tip op voor de inhoud van de les van vandaag. Er worden weer ballen van gemaakt en deze worden op het teken van de docent opnieuw door de klas gegooid.

Dan pakt elke deelnemer weer een sneeuwbal, vouwt deze open en schrijft een tip op voor de docent. Er worden weer ballen van gemaakt en nu worden alle sneeuwballen naar de docent gegooid.

Door deze werkvorm gaan deelnemers nog even bewust nadenken wat ze nu gedaan hebben, wat ze geleerd hebben en hoe ze dit kunnen toepassen. Een ander voordeel van deze vorm van evalueren is dat het anoniem is, waardoor deelnemers de vragen op een eerlijke manier beantwoorden

  1. De evaluatiethermometer

De evaluatiethermometer is een werkvorm om deelnemers uit te dagen hun vooruitgang tijdens de training concreet te beschrijven. Je vraagt de deelnemers hoe competent zij zich voelen t.a.v. het onderwerp van de training. Bijvoorbeeld: Welk cijfer geef jij jezelf nu als het gaat om het voeren van functioneringsgesprekken? De cursisten zetten een streepje in de thermometer, of nemen langs de thermometer op de wand een positie in. Deze evaluatiethermometer is het meest effectief als je ook aan het begin van de training de temperatuur opneemt. Dan valt er iets te vergelijken. De kern van de werkvorm zit in het gesprek dat volgt. De trainer daagt de cursisten uit om zo concreet mogelijk te verwoorden wat er aan het einde van de training anders is dan aan het begin. Doordat het een werkvorm is waarbij de deelnemers aangeven wat zij wél geleerd hebben en niet wat ze gemist hebben, sluit je de training altijd op een positieve manier af.

  1. Stemmen

Door te stemmen krijg je snel een goed beeld over hoe de workshop in het algemeen is ontvangen en of cursisten ervaren dat hun doel is bereikt. Aan de hand van een paar stellingen laat je de groep stemmen met een groene (mee eens) en rode kaart (niet mee eens). Vraag een paar cursisten hun stemming toe te lichten. Doordat deze werkvorm niet anoniem is, maar juist heel direct kan het zijn dat deelnemers wat terughoudender de vragen beantwoorden.

 Meer weten? Lees één van de volgende blogs:

Evalueren doe je niet om te evalueren. Je evalueert (tijdens en/of na afloop van een project) om iets te leren van je project, programma of activiteit. Vaak zien culturele instellingen het evalueren van hun activiteiten echter als een ding dat moet gebeuren, maar is de toegevoegde waarde ervan niet duidelijk. Evalueren is waardevol voor de interne organisatie, maar ook naar buiten toe (mits de goede vragen gesteld worden in de evaluatie). In dit blog geef ik een aantal redenen waarom evalueren meer is dan een administratieve afvinkoefening. Door te evalueren:

  1. Krijg je inzicht in jezelf en het team. Waar had je misschien dingen anders moet doen? Maar ook: Waarin heb je juist goed werk geleverd?
  2. Verkrijg je inzicht in het project, programma of de activiteit. Je krijgt zicht op hoe het project is ontvangen en daarbij informatie over de succesfactoren, maar ook eventuele verbeterpunten komen boven tafel. Met deze informatie kun je het huidige project verbeteren en weet je waar aandachtspunten liggen voor de toekomst.
  3. Krijg je inzicht in je d0elbereik en dat van de organisatie: heeft het project de gewenste effecten (worden er meer bezoekers geïnspireerd, veranderen de deelnemers echt van houding t.o.v. een bepaald onderwerp, wordt de interesse gewekt?)
  4. Krijg je de juiste informatie in handen om het project te verantwoorden, intern of aan derden. Dit kan een verantwoording zijn aan de interne organisatie met een onderbouwing voor bijvoorbeeld budget. Maar evalueren geeft je ook informatie voor externe verantwoording, zoals aan subsidiegevers. Door middel van een evaluatie kun je laten zien wat je hebt bereikt met het project of de activiteit.
  5. Krijg je inspiratie voor nieuwe projecten. Je komt erachter wat de succesfactoren zijn en hoe je die beter kunt inzetten. Ook kom je er bijvoorbeeld achter dat een bepaalde doelgroep niet hebt bereikt met dit project en kunt voor deze doelgroep een nieuwe activiteit bedenken.
  6. Geeft voeding voor vernieuwing. Door te evalueren krijg je misschien ideeën waar je nog niet eerder aan hebt gedacht.
  7. Worden vervolgacties zichtbaar. Vaak leidt evalueren tot een actie. Dit kan vanalles zijn. Misschien is het nodig om de strategie bij te stellen, nieuwe doelen te formuleren of bij te sturen. Door te evalueren maak je deze vervolgstappen zichtbaar.

Hulp nodig bij evalueren? Ik kan je hierbij helpen!

Bij sommige organisaties is evalueren heel gewoon, anderen doen er niet aan. Dat kan om verschillende redenen zijn, zoals het spannend vinden om kritiek te krijgen, het ingewikkeld vinden of het te veel werk/gedoe te vinden. Wat zijn dan zes slimme stappen om het evalueren van projecten in te voeren?

  1. Overtuig 
    Overtuig je directe collega’s van de meerwaarde van evalueren: leren van je ervaringen. In mijn blog Evalueren om je project te verbeteren [link] staan argumenten die je kunt gebruiken om je collega’s te overtuigen.
    Vraag hen waarom ze het niet (willen) doen en probeer deze drempels weg te nemen. Als ze het te ingewikkeld vinden, begin je met een laagdrempelige interne procesevaluatie (zie stap 3). Als ze bang zijn kritiek te krijgen, let je er op dat de evaluatie gericht is op leren en niet op fouten analyseren en schuldigen aanwijzen (zie stap 4).
  2. Begin
    Maak gebruik van de eerste volgende gelegenheid die zich voor doet en evalueer. Iets wordt een gewoonte als je er mee begint en het blijft doen.
  3. Houd het in het begin eenvoudig
    Als je collega’s nog moeten wennen aan evalueren, houd het dan eenvoudig. Dat kan door iedereen in het projectteam een top (wat ging goed) en een tip (wat kon beter) te laten benoemen. Later kun je je evaluaties structureren, bijvoorbeeld door gebruik te maken van de vragen in mijn blog: Welke vragen stel je bij een procesevaluatie? [link]. Bedenk je bij zo’n procesevaluatie wie er betrokken waren bij het project en wie je dus wilt betrekken bij de evaluatie. Op een gegeven moment wil je ook inzicht in het effect van je project om te leren hoe je meer effect kunt halen. Maar laat eerst iedereen wennen aan evalueren en leren van het project.
  4. Houd het positief en opbouwend
    Een evaluatie is bedoeld om te leren van je ervaringen. Richt je daar dus ook op. Kijk naar wat er goed ging (mensen leren meer van successen dan van fouten) en bedenk bij dingen die niet goed gingen vooral hoe het de volgende keer beter kan. Blijf niet hangen in foutanalyses en beschuldigingen. Daar wordt niemand vrolijk van en, belangrijker, daar leert niemand van.
  5. Maak iemand verantwoordelijk
    Evalueren gebeurt niet vanzelf. Iemand moet het organiseren, al is het maar een gesprek. De evaluatie kan een vast onderdeel van een project zijn en ligt het dus bij de projectleider. Maar ik kan me voorstellen dat er in het begin iemand de projectleiders helpt bij het evalueren, zodat het gemakkelijker gaat
  6. Onderneem actie n.a.v. de evaluatie
    Laat zien waarom jullie geëvalueerd hebben en dat het nut heeft. Ga aan de slag met de genoemde verbeterpunten. Voer de gemakkelijke punten meteen door in lopende projecten, zodat je meteen profijt hebt van je evaluatie.
    Als mensen zien dat je wat doet met hun input, zullen ze de volgende keer weer mee willen denken. En als ze zien dat het werkt, wordt evalueren een gewoonte.
Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone