Bij sommige organisaties is evalueren heel gewoon, anderen doen er niet aan. Dat kan om verschillende redenen zijn, zoals het spannend vinden om kritiek te krijgen, het ingewikkeld vinden of het te veel werk/gedoe te vinden. Wat zijn dan zes slimme stappen om het evalueren van projecten in te voeren?
Van evalueren kun je leren. Wat je leert is afhankelijk van wat je evalueert. Een aantal mogelijke leerpunten zijn:
Een procesevaluatie gericht is op de manier waarop je werkt en samenwerkt. Van een procesevaluatie profiteer je dus bij alle volgende projecten, maar ook bij doorlopende processen.
Wacht dus niet tot het project is afgelopen met nadenken over evalueren. Plan bij voorkeur al bij de opzet van je project een evaluatie. Op welke momenten wil je evalueren? En wat wil je dan weten. Zijn er bepaalde mijlpalen in het project waarop het slim is om te reflecteren op het verloop van het project? Als je hier bij aanvang over nadenkt, wordt het gemakkelijker deze na afloop te beantwoorden.
Over de verschillende fasen van het proces, kun je de volgende vragen stellen.
Beantwoord deze evaluatievragen samen met het projectteam en zo nodig met externe partijen. Concentreer je niet op wat er niet goed ging, maar op wat er wel goed ging. Mensen leren namelijk meer van successen dan van fouten.
Een zelfreflectie of evaluatie betekent onder andere dat je jezelf een spiegel voorhoudt om zo stil te staan bij hoe je werkt. Ik heb het al vaker gehad over waarom je evalueert. Een evaluatie brengt in kaart wat de resultaten en/of effecten van je project of proces zijn. Er worden succesfactoren en verbeterpunten genoemd. Waardoor je efficiënt en effectief actie kunt ondernemen. In dit blog ga ik in op wat een zelfreflectie nu eigenlijk betekent.
Zelfreflectie betekent dat je jezelf een spiegel voorhoudt. Je staat stil bij hoe je werkt door naar jezelf te kijken over een bepaalde periode. Je denkt daarbij na over de keuzes die je hebt gemaakt binnen je werk. Waarom heb ik het toen zo aangepakt? En waarom ging dit goed? Of juist minder goed? Ook sta je stil bij de vaardigheden je inzet. Waar ben ik goed in en wat kan er juist beter? Je stelt jezelf daarbij ook de vraag hoe je je daarbij voelde. Werd ik er blij van of juist niet? Vond ik het spannend? Zelfreflectie is een moment om kritisch naar jezelf te kijken om jezelf te verbeteren en te ontwikkeling.
Iedereen kan aan zelfreflectie doen en reflecteren kan op verschillende manieren. Op de werkvloer wordt geëvalueerd door middel van het maken van bijvoorbeeld persoonlijke ontwikkelplannen en het voeren van functioneringsgesprekken.
Op school wordt ook gereflecteerd. Leerlingen kunnen samen met de leerkracht evalueren. Dit kan zijn door middel van gesprekken, zelfreflectieformulieren of het bijhouden van een portfolio. Ook kan de leerkracht de leerling observeren. Als je meer wilt weten over evalueren in de klas, bekijk dan ons project voor Kunstbalie. Voor de cultuurloper zijn we een volginstrument aan het ontwerpen om de culturele ontwikkeling van de leerling te volgen/evalueren. Wil je hier meer over weten? Lees dan op deze pagina meer over dit project.
Het is zowel voor de deelnemers als voor de trainer achteraf fijn om te weten of het doel van een workshop is bereikt. Voor de deelnemers is het een terugblik naar wat zij geleerd hebben tijdens de workshop. Voor de trainer is het een moment van feedback. Door te evalueren komen succesfactoren en verbeterpunten boven tafel die de inhoud van de workshop kunnen verbeteren. Ik heb al veel evaluatieformulieren langs zien komen waarvan ik me afvraag wat er precies mee wordt gedaan, terwijl deelnemers de moeite nemen om ze in te vullen. Vaak zijn ze lang en kennen veel standaardvragen en algemene rapportcijfers.
Maar, evalueren kan ook op andere manieren, om de cursus leuk en luchtig af te sluiten. Omdat je bij deze vormen van evaluatie maar enkele vragen hebt, moet je goed nadenken over wat je wilt weten. Je hebt na afloop dan wel de informatie die je nodig hebt. Praktische informatie (was er voldoende catering? waren de toiletten schoon?) kun je ook achterhalen door zelf goed te kijken.
Na afloop van de workshop krijgt iedere deelnemer een ansichtkaart waarop hij/zij zijn/haar leerpunten schrijft. Ook vult iedereen zijn/haar naam op de ansichtkaart. De trainer neemt alle kaarten weer terug in en zorgt ervoor dat de deelnemers de kaart een paar weken na de workshop naar hen toegestuurd wordt. Op deze manier krijgen de deelnemers na een tijdje een reminder over wat zij geleerd hebben én kan de trainer nagaan of de deelnemers geleerd hebben wat hij/zij tijdens de training graag mee wilde geven.
De deelnemers schrijven op een A4’tje wat ze vandaag geleerd hebben. Ze maken hiervan een prop. Als de trainer het zegt mogen ze deze door de ruimte gooien. Dan pakt elke deelnemer een prop, vouwt deze open en schrijft of ze de doelen van vandaag behaald hebben. Er worden weer ballen van gemaakt en opnieuw als de docent het zegt door de klas gegooid. Dan pakt elke deelnemer weer een sneeuwbal, vouwt deze open en schrijft een tip op voor de inhoud van de les van vandaag. Er worden weer ballen van gemaakt en deze worden op het teken van de docent opnieuw door de klas gegooid.
Dan pakt elke deelnemer weer een sneeuwbal, vouwt deze open en schrijft een tip op voor de docent. Er worden weer ballen van gemaakt en nu worden alle sneeuwballen naar de docent gegooid.
Door deze werkvorm gaan deelnemers nog even bewust nadenken wat ze nu gedaan hebben, wat ze geleerd hebben en hoe ze dit kunnen toepassen. Een ander voordeel van deze vorm van evalueren is dat het anoniem is, waardoor deelnemers de vragen op een eerlijke manier beantwoorden
De evaluatiethermometer is een werkvorm om deelnemers uit te dagen hun vooruitgang tijdens de training concreet te beschrijven. Je vraagt de deelnemers hoe competent zij zich voelen t.a.v. het onderwerp van de training. Bijvoorbeeld: Welk cijfer geef jij jezelf nu als het gaat om het voeren van functioneringsgesprekken? De cursisten zetten een streepje in de thermometer, of nemen langs de thermometer op de wand een positie in. Deze evaluatiethermometer is het meest effectief als je ook aan het begin van de training de temperatuur opneemt. Dan valt er iets te vergelijken. De kern van de werkvorm zit in het gesprek dat volgt. De trainer daagt de cursisten uit om zo concreet mogelijk te verwoorden wat er aan het einde van de training anders is dan aan het begin. Doordat het een werkvorm is waarbij de deelnemers aangeven wat zij wél geleerd hebben en niet wat ze gemist hebben, sluit je de training altijd op een positieve manier af.
Door te stemmen krijg je snel een goed beeld over hoe de workshop in het algemeen is ontvangen en of cursisten ervaren dat hun doel is bereikt. Aan de hand van een paar stellingen laat je de groep stemmen met een groene (mee eens) en rode kaart (niet mee eens). Vraag een paar cursisten hun stemming toe te lichten. Doordat deze werkvorm niet anoniem is, maar juist heel direct kan het zijn dat deelnemers wat terughoudender de vragen beantwoorden.
Meer weten? Lees één van de volgende blogs:
Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.
Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.
Met evalueren hou je het resultaat tegen het licht. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij benoem je de succesfactoren en de verbeterpunten . Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.
Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.
Wil jij ook inzicht in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!
In gesprekken met medewerkers van musea merk ik dat subsidiërende lokale overheden voornamelijk kijken naar bezoekersaantallen. Want dat is gemakkelijk meetbaar. Maar wat is het doel van deze gemeenten om het museum te subsidiëren? Steunt de gemeente het doel van het museum (mensen iets leren over of interesseren voor een bepaald onderwerp)? Wil de gemeente dat het museum bijdraagt aan de identiteit van de gemeente? Of wil de gemeente zo veel mogelijk bezoekers?
Door het doel dat je als gemeente hebt met een museum (of een andere culturele instelling) samen scherper te formuleren, kun je samen kijken wat er dan wel en wat niet valt onder de activiteiten die ontwikkeld moeten worden om dit doel te bereiken. Twee voorbeelden om te verduidelijken wat ik bedoel.
Eerste voorbeeld: een museum is onderdeel van de identiteit van een gemeente. Op het gebied van binnenschoolse cultuureducatie kan dit betekenen dat het museum samen met de school kijkt naar de geschiedenis van de gemeente of met de leerlingen op zoek gaat naar wat de burgers bindt in deze gemeente. Een museum kan in dit geval ook een bijdrage leveren aan themajaren en zich buiten de muren van het museum profileren.
Tweede voorbeeld: een museum wil mensen binnen de gemeente en daarbuiten interesseren voor een bepaald onderwerp, kunststroming of historische periode. Door niet afgerekend te worden op het aantal bezoekers aan de deur, kunnen ze ook naar de bezoekers toegaan door bijvoorbeeld met een mobiele tentoonstelling te staan op een drukke plaats, zoals het station, een winkelstraat of een ziekenhuis. Mensen die normaliter niet naar het museum komen, maken nu wel op een laagdrempelige manier kennis met het onderwerp, de kunststroming, een kunstenaar of een historische periode en het museum. Door het laagdrempelig en kleinschalig aanbieden van cultuur zullen mensen aangesproken worden die normaliter het museum niet zouden bezoeken. Zo worden nieuwe publieksgroepen iets geleerd over, geïnteresseerd voor een bepaald onderwerp. Wat ze moeilijker lukt als ze naar het museum gelokt moeten worden.
Ik begrijp dat het lastiger te meten is of een museum bijdraagt aan deze doelen, dan bezoekers te tellen. Maar het geeft het museum meer mogelijkheden om naar potentiele bezoekers toe te gaan door minder gebonden te zijn aan hun gebouw. Door elders kennis te maken met het museum gaan mensen het meer waarderen, komt er meer draagvlak en zullen er uiteindelijk meer bezoekers komen omdat niet alleen de bekendheid is toegenomen, maar ook de drempels om het museum te bezoeken verlaagd zijn.
Ps. En ook van deze doelen kan gemeten worden of ze gehaald worden.
Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.
De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?
• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?
• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.
Onze blog over procesevaluatie wordt veel gelezen. In een procesevaluatie draait het om hoe je samenwerkt en hoe het proces verloopt. Maar ook aan het begin van een project heb je belangrijke vragen. En tijdens of na afloop wil je weten wat het project heeft opgeleverd. Denk aan vragen als: Wat was de startsituatie? Welke aannames hadden we? Zijn die uitgekomen? Hebben we ons doel bereikt? En wie hebben we eigenlijk bereikt?
Een projectevaluatie helpt je om het resultaat goed te bekijken. Je ontdekt wat werkte, wat beter kon en wat je meeneemt naar een volgend project. Zo blijf je leren en verbeteren. Met deze checklist ontdek je welke vragen je kunt stellen bij de verschillende fases van een project.
Een goede voorbereiding is het halve werk. Stel daarom aan het begin van je project de juiste vragen. Zo breng je de situatie helder in beeld en voorkom je verrassingen.
• Hoe ziet de doelgroep eruit?
• Wat zijn de behoeften?
• Wat zijn actuele ontwikkelingen waar je op in wilt spelen?
• Wat zijn prioriteiten van stakeholders waar je rekening mee moet houden?
• Wat is de beginsituatie?
• Wat is de gewenste situatie en welke doelen vloeien hieruit voort?
• Wat zijn leerpunten van vorige projecten?
• Welk probleem wil je oplossen met het project?
• Wat is het meest geschikte instrument?
• Wat zijn de sterktes, zwaktes, kansen en bedreigingen? (SWOT)
Tijdens het project is het belangrijk om te checken of je nog op koers ligt. Door tussentijds te evalueren kun je bijsturen waar nodig.
Stel jezelf vragen als:
Na afloop kijk je terug:
Beantwoord deze vragen niet alleen met je projectteam. Vraag ook om input van de doelgroep, partners en andere betrokkenen. Zo krijg je een compleet beeld van het project.
In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:
Organisaties binnen de non-profit sector willen steeds vaker inzicht in hun doelbereik. Dit willen zij enerzijds om te achterhalen of zij met hun activiteiten bereiken wat ze willen bereiken (en zo nodig bij kunnen sturen). Anderzijds wordt vanuit de gemeente en andere subsidieverstrekkers meer gevraagd. Het wordt voor gemeenten namelijk steeds belangrijker om aan te tonen dat subsidies die verstrekt worden, daadwerkelijk bijdragen aan de doelen van de gemeente. Het gaat er dan meer om wat je bereikt en wat je bijdraagt aan het gezamenlijke doel, dan enkel rapporteren over wat je doet met bijbehorende cijfers.
Je wilt dan een monitor- en evaluatie instrument dat inzicht geeft in het bereik van je eigen doelen én de doelen van de gemeente. Door de (gezamenlijke) doelen te formuleren, deze te vertalen naar meetbare indicatoren én de juiste onderzoeksmethoden te kiezen, ontwerp je een meetinstrument, waarmee je data kunt verzamelen over je doelbereik.
Door een monitor- en evaluatie instrument op deze manier in te richten (op basis van de gezamenlijke doelen) verzamel je informatie waar je iets mee kunt. Het geeft zicht aan de bijdrage van jouw activiteiten aan de gezamenlijke doelen. Waarmee je kunt bijsturen indien nodig en verantwoording kunt afleggen aan subsidieverstrekkers en aan het publiek.
