Onlangs had ik een evaluatie met een opdrachtnemer welke anders liep dan ik gewend was. De persoon in kwestie had zich goed voorbereid en stak van wal. Ze heeft haar verhaal vertelt: wat volgens haar het doel van de evaluatie was, wat de mogelijkheden waren en wat er was bereikt. Wat ik ook probeerde, ze was niet van haar stuk te brengen. Na een half uur was haar monoloog afgerond en kreeg ik ruimte om te vertellen wat ik wilde met de evaluatie.
Het leermoment van deze evaluatie kwam uit een andere hoek dan verwacht. Ik heb namelijk weinig geleerd over het project dat we samen hebben gedaan of over onze manier van samenwerken. Wil je iets leren als persoon of als organisatie van evalueren, let dan op de volgende punten:
Hulp nodig bij een evaluatie? Lees hier hoe ik hierbij kan helpen
Als je wilt weten of het werkt wat je doet, moet je dit toetsen. Zonder dit te toetsen blijft het raden. Je kunt een goede schatting making omdat je je project hebt gebaseerd op ervaring, kennis en peilers waarvan bekend is dat het werkt. Maar heb je de juiste mix gevonden? Tien punten waarmee je rekening moet houden bij het toetsen of je project, evenement, beleid, activiteit, programma het gewenste effect heeft.
1. Houd voor ogen wat je doel is van je project, evenement, beleid, activiteit, programma. Discussieer hier met collega’s over. Wil je dat kinderen iets leren? Mensen ander gedrag vertonen? Wil keuzen beïnvloeden? Definieer dit zo exact mogelijk. Dit helpt je bij het formuleren van je onderzoeksvragen.
Bedenk vooraf wat je gaat doen met de resultaten van het onderzoek. Wil je het project bijsturen? Ben je bereid ermee te stoppen als het blijkt niet te werken? Neem dit mee bij het formuleren van je onderzoeksvragen want het geeft aan wat voor soort antwoorden je wilt hebben na afloop.
2. Het doel en dus het gewenst effect staan centraal in je onderzoeksvraag en je onderzoek.
3. Formuleer een hoofdvraag en splits deze uit naar deelvragen. Hoe exacter je onderzoeksvraag is geformuleerd, des te gemakkelijker is het om je deelvragen te formuleren. En des te gemakkelijker wordt het om je onderzoeksinstrumenten te formuleren.
4. Het doel en dus het gewenst effect staan ook centraal bij de keuze van je onderzoekmethoden. Kies een manier van dataverzameling die past bij je doel en het gewenste effect. Als je bijvoorbeeld de houding van leerlingen tussen 10 en 14 wilt beïnvloeden, kun je denken aan een vragenlijst die je breed uitzet in het basis- en voortgezet onderwijs. Als je wilt dat mensen meer gaan bewegen, kun je ze beweegdagboeken bij laten houden.
Let hierbij ook op de doelgroep die je gaat bevragen. Veel ouderen zullen moeilijker benaderbaar zijn op internet.
5. Door vooraf een nulmeting te doen kun je de effecten preciezer in kaart brengen. Je kent je startsituatie. Je kunt je effectmeting op korte termijn en op langere termijn vergelijken met de nulmeting. Door te vergelijken kun je effecten van het project, evenement, beleid, activiteit, programma vast stellen en kijken of je dichter bij je doel komt.
6. Denk na over andere factoren die invloed hebben op je doel. Hoe kun je deze invloeden uit je metingen filteren? Je wilt tenslotte de effecten van jouw project vastleggen en weten of wat het effect daar van is. Is het bijvoorbeeld nodig dat je een ook bij een controlegroep meet?
7. Zorg voor een representatief aantal mensen uit je doelgroep die mee willen werken aan het onderzoek. Dit betekent dat mensen met verschillende achtergrondkenmerken vertegenwoordigd zijn, zoals mannen en vrouwen, verschillende leeftijdsgroepen, etc.
8. Laat je niet afleiden door andere vragen die interessant zijn. Vragenlijsten en gespreksprotocollen worden te lang. Je databestand raakt bevuilt. Mensen haken sneller af en de kans is groot dat hierdoor met een onrepresentatief aantal respondenten achter blijft en een wirwar aan data.
9. Grijp bij de analyse van je gegevens weer terug naar je vooraf geformuleerde onderzoeksvraag en deelvragen.
10. Werk gestructureerd, zodat het onderzoek één geheel blijft en de gevonden antwoorden aansluiten op je onderzoeksvragen.
Met een nulmeting wordt de startpositie bepaald van een project, nieuw beleid, campagne of verandertraject. Op deze manier kun je meten wat de huidige stand van zaken is en deze later combineren met een volgende meting om het effect vast te stellen. Er een aantal redenen om een nulmeting uit te laten voeren. Door een nulmeting te doen, kun je namelijk:
Een nulmeting is dus in veel gevallen goed om te doen wanneer je iets nieuws gaat beginnen. Het geeft je veel informatie die je later kunt gebruiken. Je krijgt door een nulmeting meer inzicht in je project en het bereik van je doelen die je eerder hebt opgesteld.
Ga je een nieuw project of nieuw beleid uitvoeren en wil je daarvan de effecten meten. Wij denken graag met je mee over de mogelijkheden.
Interessante linkjes naar blogs over het meten van effecten:
Evalueren-om-je-project-te-verbeteren
Monitoren en evalueren: Wat is wat?
Kun je zonder nulmeting ook effecten meten
Tien tips voor het meten van effecten
In Rotterdam doen veel basis- en een aantal voortgezet onderwijs scholen mee aan het project Lekker Fit! om leerlingen blijvend een actieve levensstijl bij te brengen. Voor het voortgezet onderwijs heb ik het project samen met een onderzoeksteam geëvalueerd. Bij deze evaluatie is gekeken naar uiteenlopende aspecten, namelijk:
Er is tijdens de evaluatie vooral gelet op verschillen tussen jongens en meisjes.
[elementor-template id="6009"]
Op school worden schoolgruiten (groenten en fruit) uitgedeeld. De dienst Sport & Recreatie van de gemeente Rotterdam financierde dit project om de groenten- en fruitconsumptie van kinderen te stimuleren. Ik heb daarom naar het effect op de groenten- en fruitconsumptie op de lange termijn, gekeken. Met een nul-, effect- en nameting is is vastgesteld dat er blijvend meer groenten en fruit werd geconsumeerd, en niet alleen tijdens het project.
Aangezien de opdrachtgever een beknopte rapportage wilde, zijn de resultaten in een factsheet gepubliceerd.
[elementor-template id="6009"]
Dit geldt persoonlijk, voor groepen, organisaties, projecten en beleid. Toch worden doelstellingen vaak vaag en vrijblijvend geformuleerd als wensen, intenties of goede voornemens. Een doel is echter een gewenste situatie die je wilt bereiken, zelf, met de organisatie, met overheidsbeleid of met een project. In deze blog richt ik mij specifiek op het stellen van projectdoelen, maar veel gaat ook op voor andersoortige doelen.
Waarom moet je projectdoelen stellen?
Waar moet je op letten bij het stellen van projectdoelen?
Begin met het stellen van het hoofddoel. Denk na over de gewenste situatie. Formuleer dit doel Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden. Dan kan het doel sturend zijn voor het project. Ik heb een blog geschreven over SMART.
Vervolgens formuleer je subdoelen, door het hoofddoel op te delen in onderdelen die gedaan moeten worden. Elk onderdeel vormt één of meerdere subdoelen. Een subdoel kun je verder uitsplitsen in werkdoelen, mocht dit nodig zijn.
Meer informatie over het stellen van doelen voor een effectmeting
