Je hebt een plan, een doel, en je bent enthousiast gestart. Maar ergens sluimert de vraag: werkt het eigenlijk wel? Bereiken we wat we willen bereiken? Effectmeting geeft je daar het antwoord op. Niet als controle-instrument, maar als krachtige motor voor groei, verbetering en geloofwaardigheid.
Effectmeting is geen eindstation, maar een kompas onderweg. Door tijdens je project te meten wat er gebeurt, zie je of je nog op koers ligt. Je voorkomt dat je te lang blijft investeren in een aanpak die maar half werkt. Of dat je pas na afloop merkt dat je je doel net niet haalde. Meten = bijsturen. En dat maakt je project wendbaar en veerkrachtig.
Effectmeting maakt zichtbaar wat anders onzichtbaar blijft. Het helpt je om veranderingen in gedrag, betrokkenheid of samenwerking niet alleen te signaleren, maar ook overtuigend te onderbouwen. Dat is niet alleen van waarde voor jezelf, maar ook richting financiers en samenwerkingspartners: je laat zien wat jouw project concreet oplevert en je legt verantwoording af over de ingezette middelen.
Effectmeting laat zien wat werkt en waarom. Die inzichten helpen je om onderbouwde keuzes te maken: welke werkwijze zet je voort? Wat heeft minder effect dan gedacht? Waar ligt ruimte voor verbetering? Het voorkomt dat je telkens opnieuw het wiel uitvindt en maakt je effectiever bij een volgend project.
Effectmeting is een waardevol onderdeel van organisatieontwikkeling. Door bewust te meten leer je niet alleen wat goed werkt, maar ook wat beter kan. Die kennis versterkt je huidige aanpak én vormt een fundament voor toekomstige projecten. Het helpt je om scherper te zien waar je al effect bereikt, maar ook waar nog ruimte ligt. Zo maak je strategische keuzes over wat je voortzet, aanpast of opnieuw vormgeeft. Op die manier bouw je stap voor stap aan een lerende organisatie die wendbaar is en gericht blijft op duurzame impact.
Kortom: effectmeting is geen verplicht nummer, maar een kans. Een kans om te groeien, te leren en te laten zien waar je voor staat. Niet pas achteraf, maar juist onderweg. Want weten wat werkt, maakt alles wat je doet krachtiger.
Je bent enthousiast gestart met een project, programma of activiteit. Alles loopt, de eerste reacties zijn positief, en je denkt: wat levert dit eigenlijk op? Maar dan komt het besef: er is geen nulmeting gedaan. Kun je dan nog wel iets zeggen over de effecten?
Ja, dat kan. En toch is het slim om bij een volgend project wél vooraf te meten. In deze blog neem ik je mee in de wereld van effectmetingen. Wat is het precies? Hoe pak je het aan als je geen nulmeting hebt? En waarom is zo’n nulmeting dan eigenlijk zo waardevol?
Een effectmeting laat zien wat het directe resultaat is van jouw project of programma. Denk aan veranderingen in kennis, houding, gedrag of samenwerking. Effecten zie je op korte termijn: wat is er anders nádat mensen hebben meegedaan?
Effectmeting is iets anders dan impactmeting. Impact gaat over de langere termijn en raakt aan het grotere doel: wat verandert er op het niveau van onze missie? Effect gaat dus over de directe gevolgen van jouw activiteit zelf. En die kun je ook meten zonder nulmeting.
Een nulmeting maakt vergelijken makkelijk: je weet waar je begon, dus je ziet beter wat er veranderd is. Maar ook zonder beginmeting kun je achteraf veel leren. Hoe dan?
Hoe meer mensen je spreekt, hoe betrouwbaarder je beeld wordt. En met een goed uitgewerkte eenmeting kom je vaak een heel eind.
Een nulmeting geeft je veel:
Bovendien dwingt een nulmeting je tot heldere doelen: wat wil je bereiken, voor wie, en hoe weet je of dat lukt? Dat maakt het evalueren achteraf makkelijker.
Of je nu aan het begin staat of al halverwege bent: het is nooit te laat om inzicht te krijgen in effecten. En onderzoek doen is eigenlijk best leuk. Je wordt er wijzer van, ontdekt nieuwe dingen en je ziet wat jouw werk teweegbrengt.
Dus: ben je al begonnen en mis je een nulmeting? Ga dan slim aan de slag met een eenmeting. En start je straks een nieuw project? Denk dan alvast na over een nulmeting. Zo weet je straks precies wat je hebt bereikt.
Ben je benieuwd hoe je met een slimme eenmeting toch waardevolle inzichten kunt verzamelen? Of wil je bij je volgende project wél starten met een nulmeting? Neem contact met me op – ik denk graag met je mee!
Organisaties vragen zich gedurende evaluaties vaak de vraag 'doen we de dingen goed?'. Een goede vraag, die je wilt beantwoorden om je projecten te verbeteren. Maar als je je doelen wilt bereiken, is de vraag 'doen we de goede dingen?' belangrijker. Een vraag die helaas veel minder vaak wordt gesteld. Je wilt graag weten of de ontwikkelde activiteiten bijdragen aan de beoogde doelstelling en dus het beoogde effect hebben.
Om deze vraag te beantwoorden, kun je effecten van je projecten gaan meten (Tien tips voor het meten van effecten), maar je kunt ook kritisch kijken naar waarom activiteiten worden uitgevoerd.
Veel instellingen hebben een visie en missie. Waarschijnlijk de instelling waar u werkt ook. Deze worden vervolgens vertaald in doelstellingen (en subdoelstellingen), die vervolgens omgezet zijn in activiteiten. Hier komen vaak een aantal aannames om de hoek. Een voorbeeld: Een gemeente die burgers wil stimuleren een gezond leven te leiden, kan besluiten sport te subsidiëren (de activiteit). Immers (verantwoord) bewegen is gezond. Door vervolgens alle sportverenigingen te subsidiëren, wordt de aanname gemaakt dat elke sport leidt tot meer bewegen is dus gezond is. Er zijn echter ook sporten, zoals denksport (bridge, schaken) en vaardigheidssporten (handboogschieten en darts) die niet leiden tot meer bewegen. Dit neemt niet weg dat ze andere positieve effecten hebben.
Als je wilt weten of je de goede dingen doet, kijk dan kritsisch naar de verbindingen tussen je missie, doelstellingen en je activiteiten. Zijn deze logisch met elkaar verbonden? Welke aannames zijn er gemaakt? Kun je werken met deze aannames?
Voor OTIB (het Opleidings- en Ontwikkelingsfonds voor het Technisch InstallatieBedrijf) heb ik de verbanden tussen missie, doelstellingen en meetpunten doorgelicht. Meer informatie over dit project vindt je bij 'wordt het doel bereikt als de meetpunten worden behaald?'. Wil je meer weten over het opstellen van meetpunten, kerncijfers of wil je deze verbanden binnen je organisatie onder het licht houden, kun je contact opnemen met mij via de mail (info@claudiadegraauw.nl) of telefoon (06 42 88 77 29).
Monitoring en evaluatie wordt steeds vaker verplicht gesteld bij subsidieaanvragen. Dit wordt onder andere gedaan omdat monitoren en evalueren de aanvragers helpen zicht te houden op hun project en het bereiken van hun doel.
Door een project te monitoren krijgt een projectleider inzicht in zijn project en weet tijdig wanneer en waar er bijgestuurd moet worden. Door stelselmatig, dus regelmatig, voor het project belangrijke feiten op een rijtje te zetten, houdt de projectleider grip op het project en is de kans groter dat het projectdoel gehaald wordt.
Dit kan zo uitgebreid en dus ook zo praktisch als nodig. Wetenschappelijke onderzoeken zijn hiervoor niet nodig. Ook vergelijkingen met andere soortgelijke projecten niet. (Het gaat ten slotte om het bereiken van jouw projectdoel en niet meer of iets anders te bereiken dan je collega-projectaanvragers). Wel is een duidelijk beeld over het te behalen doel nodig, welke subdoelen hier aan bijdragen en wat hiervoor gedaan moet worden. Dit leidt tot het meetbaar maken van je doel.
Om je doel meetbaar te maken en dus een instrumentarium te krijgen dat je in kunt zetten om te monitoren moet je allereerst je doel duidelijk stellen. Hoe specifieker je dit doet, des te gemakkelijker wordt het dit meetbaar te maken. Splits je doel hiervoor op in subdoelen. En blijf doorvragen (wat, hoe, wanneer, hoeveel, waar). Vertaal container begrippen in concrete doelen en probeer hierbij niet te verzanden in overtreffende woorden (beter, meer), maar maak het specifiek. Stel je doel en subdoelen zo SMART mogelijk op.
Als je je subdoelen hebt vastgesteld en je hebt hierbij in detail doorgevraagd, heb je enerzijds input voor je projectplan en anderzijds een aantal ijkpunten waarop je wilt monitoren. Per ijkpunt moet gekeken worden hoe je je dat gaat meten. Er zijn verschillende manieren van meten: gestructureerde gesprekken, vragenlijsten, documentstudie van aanwezig materiaal zijn enkele voorbeelden. Kun je het zelf doen, zoals het aantal scholen dat mee werkt of heb je hulp nodig. Omdat de subdoelen verschillen per project, is het lastig daar iets algemeens over te zeggen. Mocht je hier behoefte aan hebben, kijk ik graag een keer mee naar het projectplan, de doelen en subdoelen om samen te komen tot manieren waarop iets gemeten kan worden. Kijk ook naar mijn blog: tien tips voor het meten van effecten en enkele cases toegelicht in mijn blog over het meetbaar maken van effecten van projecten of programma.
De eerste meting is bij aanvang. Je wilt ten slotte de beginsituatie weten.
Vervolgens ga je naar behoeve gedurende het project meten. Dit kan halfjaarlijks of jaarlijks. De ijkpunten die je hebt gebruikt bij de eerste meting, ga je gedurende het project regelmatig vaststellen. Indien nodig kun je een informatiesysteem ontwerpen waarin de benodigde informatie op gezette tijden aangeleverd wordt. Je kunt hierbij denken aan halfjaarlijks terugkerende gesprekken met een vast structuur met betrokken partijen of aan het jaarlijks bestuderen van het beleidsplan van de school via een vast stramien.
Zorg er voor dat je telkens weer dezelfde soort informatie krijgt waardoor ontwikkeling zichtbaar is, maar ook die informatie waarop je kunt sturen.
[1] Enkele voorbeelden van vragen: Wat verstaan wij onder een doorgaande leerlijn? Hoe moet deze eruit zien? Wat is een relatie tussen school en culturele instelling (elkaars telefoonnummer hebben, op de hoogte zijn van het aanbod, regelmatig overleggen hoe het cultureel aanbod ingepast kan worden in het curriculum). Over hoeveel scholen gaat het? Wat is het deskundigheidsniveau van leerkrachten nu en wat zou het moeten zijn. Wat definieert het deskundigheidsniveau (inhoudelijke kennis, vaardigheid om cultuur te relateren aan andere lesstof).
Meer informatie over Monitoring
Een goed geformuleerd doel is de sleutel tot succes. Maar hoe zorg je ervoor dat je doel niet alleen ambitieus is, maar ook haalbaar en duidelijk? Er zijn verschillende richtlijnen om je hierbij te helpen, waaronder RUMBA en PRISMA, maar de SMART-methode is het bekendst. Door je doelen Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden te maken, vergroot je de kans dat je ze ook echt bereikt. Hieronder lees je wat elk onderdeel inhoudt.
Een doel moet helder zijn. Niet vaag of algemeen, maar concreet en precies. In plaats van te zeggen: “We willen meer jongeren interesseren voor techniek”, kun je beter zeggen: “In 2025 willen we 100 jongeren uit regio X inschrijven voor een technische opleiding.”
Een specifiek doel geeft antwoord op vragen als: Wat wil je bereiken? Wie zijn erbij betrokken? Waar ga je het doen? Waar gebeurt het? Welke delen van de doelstelling zijn essentieel? En waarom is dit belangrijk? Hoe concreter je bent, hoe makkelijker het wordt om gericht actie te ondernemen.
Een doel is pas bruikbaar als je kunt meten of je het op een bepaald moment gehaald hebt. Daarom moet er een systeem of methode beschikbaar zijn, of worden ontwikkeld, om dit te kunnen bepalen.
Een goede manier om te starten is met een nulmeting: je brengt de beginsituatie in kaart. Zo weet je waar je naartoe werkt én wanneer je tevreden kunt zijn.
Een doel werkt alleen als de mensen die ermee aan de slag moeten, er ook achter staan. Het moet dus acceptabel zijn voor iedereen die betrokken is.
Je kunt het draagvlak vergroten door mensen actief te betrekken bij het kiezen en formuleren van het doel. Als betrokkenen zich gehoord voelen en mee mogen denken, is de kans groter dat ze zich ervoor inzetten. Zeker bij doelen op korte termijn is het slim om deze zo laag mogelijk in de organisatie te bepalen.
Een doel moet uitdagend zijn, maar wel haalbaar. Vraag jezelf af: hebben we genoeg tijd, middelen en kennis om dit te bereiken? Kunnen we dit echt beïnvloeden?
Als een doel te groot of te moeilijk lijkt, kun je het opdelen in kleinere stappen. Zo blijft het overzichtelijk en blijft de motivatie hoog. Elk behaald tussenresultaat geeft weer nieuwe energie.
Tot slot moet een doel altijd een begin- en einddatum hebben. Zonder tijdslijn blijft een doel vaak liggen. Een SMART-doel zegt dus niet alleen wat je wilt bereiken, maar ook wanneer.
Als ondernemer zit je vaak boordevol ideeën met interessante producten en diensten om problemen van je doelgroep op te lossen of om ze meer te bieden waar ze dol op zijn. Je idee is geweldig, dus zullen er klanten zijn die het willen kopen. Toch? Je kent je doelgroep dus je weet wat ze willen. Toch? Veel ideeën worden doorgevoerd gebaseerd op aannames dat er vraag is naar het product dat jij aan gaat bieden. Vervolgens blijf je worstelen om het goed in de markt te zetten en blijven de verkopen tegen vallen.
Om er zeker van te zijn dat je idee aansluit op de wensen en behoeften van je potentiële klanten en dat je weet hoe ze te bereiken, is het belangrijk om van te voren een marktonderzoek uit te voeren.
De voordelen van een marktonderzoek
Een nadeel? Een marktonderzoek kost tijd en geld, zonder dat je al een product aan het ontwikkelen bent. Maar dat weegt nauwelijks op tegen de informatie die je uit een marktonderzoek kan halen.
Wij raden je dus altijd aan om een marktonderzoek uit te voeren wanneer je een nieuw product op de markt brengt. Dat kan je zo groot en zo klein maken als je wilt.
Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.
Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.
Met evalueren hou je het resultaat tegen het licht. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij benoem je de succesfactoren en de verbeterpunten . Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.
Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.
Wil jij ook inzicht in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!
Een goed onderzoek is meer dan een vragenlijst invullen of een paar mensen interviewen. Het steunt op zes pijlers: validiteit, betrouwbaarheid, representativiteit, onafhankelijkheid, objectiviteit en herhaalbaarheid. In deze blog leggen we uit hoe je deze zes punten toepast in de praktijk. Voldoet je onderzoek aan deze eisen, kun je erop vertrouwen dat je resultaten kloppen. Je maakt dan keuzes op basis van feiten, niet op gevoel. En anderen kunnen jouw werk controleren of herhalen. Dat maakt je onderzoek niet alleen sterker, maar ook waardevoller.
Validiteit betekent dat je onderzoek precies meet wat je wilt meten. Stel je maakt een vragenlijst. Dan is het belangrijk dat de vragen duidelijk zijn en dat iedereen ze op dezelfde manier begrijpt. Als mensen de vragen anders interpreteren, krijg je geen goede antwoorden. Daarom is het slim om je vragen eerst te testen bij een kleine groep. Zo ontdek je of alles duidelijk is en of de vragen echt passen bij je onderzoeksvraag. Met name als je abstractere begrippen wilt meten, zoals houding of ontwikkeling, is uitgebreid testen nodig om een valide vragenlijst te krijgen.
Een betrouwbaar onderzoek geeft bij herhaling dezelfde resultaten. Dat betekent dat je meetinstrument goed werkt en dat je genoeg mensen hebt ondervraagd. Hoeveel mensen dat zijn, hangt af van de grootte van je doelgroep. Bij een grote groep heb je meer respondenten nodig dan bij een kleine. Gelukkig zijn er handige hulpmiddelen, zoals een steekproefcalculator, die je helpen bepalen hoeveel mensen je moet benaderen.
Bij kwalitatief onderzoek draait betrouwbaarheid om het spreken van de juiste mensen. Kies bewust gesprekspartners met verschillende perspectieven, zodat je het vraagstuk van meerdere kanten belicht. Bij literatuurstudie is het belangrijk dat je in de volledige breedte kijkt naar de literatuur. Kijk naar verschillende standpunten en theorieën. Dus niet alleen theorieën die jouw standpunt onderbouwen, maar kijk ook naar criticasters.
Je wilt dat je resultaten gelden voor de hele doelgroep, niet alleen voor de mensen die toevallig hebben meegedaan. Daarom moet je steekproef een goede afspiegeling zijn van de groep die je onderzoekt. Onderzoek je bijvoorbeeld jongeren tussen 15 en 18 jaar? Dan is het belangrijk dat je deelnemers verschillen in achtergrond, schooltype en woonplaats. Alleen zo kun je betrouwbare conclusies trekken.
Bij een populatie van 10.000 mensen heb je ongeveer 400 respondenten nodig voor representatieve resultaten. Omdat niet iedereen meedoet, moet je meer mensen benaderen. Het responspercentage, het percentage mensen dat daadwerkelijk meedoet aan je onderzoek, hangt af van het onderwerp, de toegankelijkheid van het onderzoek en eventuele beloningen. Zelf reken ik vaak met 30%, dankzij aantrekkelijke onderwerpen, een laagdrempelige aanpak en een leuke beloning voor deelnemers is dit haalbaar.
Een onderzoek moet onafhankelijk zijn. Dat betekent dat jij als onderzoeker geen belang hebt bij de uitkomst. Dit is vooral belangrijk als je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat het lijkt alsof je alleen maar positieve resultaten laat zien. Een onafhankelijk onderzoek geeft een eerlijk beeld, ook als de uitkomsten minder gunstig zijn.
Objectief zijn betekent dat je je eigen mening buiten het onderzoek houdt. Je stelt neutrale vragen en laat je mening niet merken tijdens interviews. Ook bij het analyseren van de resultaten blijf je zo feitelijk mogelijk. Het helpt om van tevoren een duidelijk plan te maken en je daaraan te houden. Laat ook anderen meekijken naar je conclusies. Zo voorkom je dat je onbewust sturing geeft aan het onderzoek.
Zo werk je zo objectief mogelijk:
Tot slot is het belangrijk dat je onderzoek herhaalbaar is. Dat betekent dat een andere onderzoeker, op een ander moment, met andere mensen, tot dezelfde resultaten moet komen. Dit lukt alleen als je precies beschrijft hoe je het onderzoek hebt uitgevoerd. Denk aan de methode die je hebt gebruikt, de manier waarop je data hebt verzameld en hoe je de vragen hebt opgesteld. Deze informatie zet je in het hoofdstuk ‘Onderzoeksmethodiek’ van je rapport.
De onderzoekspopulatie bestaat uit de personen of organisaties die je in je onderzoek wilt betrekken. Omdat je meestal niet iedereen in de populatie kunt ondervragen, trek je een steekproef. In een representatieve steekproef zitten voldoende respondenten (let op uitval: niet iedereen in de steekproef zal meewerken aan je onderzoek) en hierin zitten alle deelgroepen vertegenwoordigd (mannen-vrouwen, jong-oud, ...).
Bij een aselecte steekproef heeft iedereen uit de onderzoekspopulatie een even grote kans om in de steekproef terecht te komen. Hiervoor zijn een aantal methoden mogelijk:
Bij een selecte steekproef maakt niet iedereen kans om in de steekproef terecht te komen. De resultaten gelden enkel voor de onderzochte groep. Er zijn een aantal selecte steekproeven mogelijk:
Bij een kwantitatief onderzoek wil je tijdens en na je veldwerk je respons controleren of eventuele subgroepen evenredig vertegenwoordigd zijn. Door vooraf te kiezen voor de juiste steekproefvorm kun je grote afwijkingen voorkomen, maar de daadwerkelijke respons kan anders zijn dan je steekproef. Controleer bijvoorbeeld op de verhouding mannen en vrouwen of op verschillende leeftijdsgroepen, maar ook andere kenmerken die voor jouw onderzoekspopulatie van belang kunnen zijn. Ter vergelijking kun je gebruik maken van algemene cijfers van het CBS Voorwaarde is natuurlijk wel dat je naar deze kenmerken hebt gevraagd. Denk hier dus over na bij het opstellen van je vragenlijst.
In eerdere blogs hebben we uitgelegd waarom een mto interessant is voor de creatieve sector, maar ook hoe je je bedrijf kunt verbeteren met een MTO. In deze blog geven we je 5 redenen om een MTO te willen doen in je organisatie.
Lees hier hoe wij als onderzoeksbureau kunnen helpen met een MTO binnen jouw organisatie.
Ben je cursist? Log hier in op de Academie voor Onderzoek
