Van evalueren kun je leren. Wat je leert is afhankelijk van wat je evalueert. Een aantal mogelijke leerpunten zijn:
Een procesevaluatie gericht is op de manier waarop je werkt en samenwerkt. Van een procesevaluatie profiteer je dus bij alle volgende projecten, maar ook bij doorlopende processen.
Wacht dus niet tot het project is afgelopen met nadenken over evalueren. Plan bij voorkeur al bij de opzet van je project een evaluatie. Op welke momenten wil je evalueren? En wat wil je dan weten. Zijn er bepaalde mijlpalen in het project waarop het slim is om te reflecteren op het verloop van het project? Als je hier bij aanvang over nadenkt, wordt het gemakkelijker deze na afloop te beantwoorden.
Over de verschillende fasen van het proces, kun je de volgende vragen stellen.
Beantwoord deze evaluatievragen samen met het projectteam en zo nodig met externe partijen. Concentreer je niet op wat er niet goed ging, maar op wat er wel goed ging. Mensen leren namelijk meer van successen dan van fouten.
Organisaties vragen zich gedurende evaluaties vaak de vraag 'doen we de dingen goed?'. Een goede vraag, die je wilt beantwoorden om je projecten te verbeteren. Maar als je je doelen wilt bereiken, is de vraag 'doen we de goede dingen?' belangrijker. Een vraag die helaas veel minder vaak wordt gesteld. Je wilt graag weten of de ontwikkelde activiteiten bijdragen aan de beoogde doelstelling en dus het beoogde effect hebben.
Om deze vraag te beantwoorden, kun je effecten van je projecten gaan meten (Tien tips voor het meten van effecten), maar je kunt ook kritisch kijken naar waarom activiteiten worden uitgevoerd.
Veel instellingen hebben een visie en missie. Waarschijnlijk de instelling waar u werkt ook. Deze worden vervolgens vertaald in doelstellingen (en subdoelstellingen), die vervolgens omgezet zijn in activiteiten. Hier komen vaak een aantal aannames om de hoek. Een voorbeeld: Een gemeente die burgers wil stimuleren een gezond leven te leiden, kan besluiten sport te subsidiëren (de activiteit). Immers (verantwoord) bewegen is gezond. Door vervolgens alle sportverenigingen te subsidiëren, wordt de aanname gemaakt dat elke sport leidt tot meer bewegen is dus gezond is. Er zijn echter ook sporten, zoals denksport (bridge, schaken) en vaardigheidssporten (handboogschieten en darts) die niet leiden tot meer bewegen. Dit neemt niet weg dat ze andere positieve effecten hebben.
Als je wilt weten of je de goede dingen doet, kijk dan kritsisch naar de verbindingen tussen je missie, doelstellingen en je activiteiten. Zijn deze logisch met elkaar verbonden? Welke aannames zijn er gemaakt? Kun je werken met deze aannames?
Voor OTIB (het Opleidings- en Ontwikkelingsfonds voor het Technisch InstallatieBedrijf) heb ik de verbanden tussen missie, doelstellingen en meetpunten doorgelicht. Meer informatie over dit project vindt je bij 'wordt het doel bereikt als de meetpunten worden behaald?'. Wil je meer weten over het opstellen van meetpunten, kerncijfers of wil je deze verbanden binnen je organisatie onder het licht houden, kun je contact opnemen met mij via de mail (info@claudiadegraauw.nl) of telefoon (06 42 88 77 29).
Voor het meten van effecten van projecten zijn zowel interne redenen als externe redenen te noemen. Voor projecteigenaren is het interessant om effecten te meten, maar ook voor financierende partijen. In deze blog zal ik het belang van het meten van effecten uiteenzetten.
1. Legitimiteit van een project aantonen
Het is steeds belangrijker om aan te tonen waarom jouw project belangrijk is. Eén van de manieren om jouw project van andere projecten te onderscheiden, is aantonen dat jouw project werkt. Dat je effect hebt met de dingen die worden gedaan.
Enkele voorbeelden van effecten die je kunt meten: Leerlingen gaan nadenken over een technische studie en beroep. Ze krijgen een andere houding tav wetenschap en techniek. Ze krijgen een vragende houding. Kinderen gaan meer bewegen. Leerlingen kunnen zich beter uitdrukken. Er is kennis opgedaan op een bepaald gebied, zoals kunst of techniek.
2. Verantwoording van een project
Door effecten te meten kun je aan je subsidiegevers en andere financiers verantwoorden dat hun financiële bijdrage heeft gezorgd voor het bereik van het projectdoel en zo ook hun doel.
3. Ter verbetering van het project
Bij het meten van effecten kan tevens gekeken worden welke elementen zorgen voor deze effecten. Deze elementen kunnen versterkt worden. Van niet-werkzame elementen kan gekeken worden of ze aangepast dan wel geëlimineerd kunnen worden.
4. Besluitvorming voeden
Door de effecten van projecten vast te stellen, kan een organisatie kijken welke projecten uitgevoerd blijven worden, omdat ze bijdragen aan de doelstelling en welke niet. Door regelmatig effecten te meten, krijgt een organisatie inzicht in wat werkt en wat niet. Het meten van effecten voedt een lerende organisatie.
Meer weten? Lees dan ook mijn blog 'Tien tips voor het meten van effecten'
Voor organisaties binnen dezelfde branche met vergelijkbare activiteiten (bijvoorbeeld musea of toneelgezelschappen) is het interessant om de kwaliteit van deze activiteiten met elkaar te vergelijken door middel van een benchmark. Hierdoor kun je van elkaar leren: Wat lukt de één wel en de ander niet? Daarnaast bepaal je gezamenlijk wat de criteria voor kwaliteit van jullie activiteiten bepaald; bijvoorbeeld een verandering in houding, bijdrage aan de creativiteit. Hiermee breng je een eenduidig en duidelijk geluid naar buiten over de kwaliteit die je biedt naar subsidiegevers en je publiek.
Een benchmark is een vergelijkend onderzoek waarbij de prestaties van organisaties, producten, diensten of programma’s op identieke wijze worden onderzocht en met elkaar worden vergeleken. Hoe de benchmark precies wordt ingericht is afhankelijk van de kwaliteitscriteria die gemeten worden. Als dit is vastgesteld worden alle organisaties, diensten, producten, activiteiten, programma’s op dezelfde manier gemeten en langs dezelfde meetlat gelegd.
Als de vergelijking anoniem is, worden de verschillende organisaties, diensten, producten, activiteiten vergeleken met het gemiddelde. Als de vergelijking niet anoniem is, worden de organisaties naast elkaar gezet. Dan wordt duidelijk wie welke sterke punten heeft. Over deze sterke punten kunnen de verschillende organisaties dan van elkaar leren. Met een benchmark leer je dus welke kwaliteit jij biedt en wat vergelijkbare organisaties bieden. Dit helpt je ook om je beter te positioneren. Afhankelijk van hoe de benchmark is ingestoken, kun je zo leren wat jouw publiek bij jou komt halen. En hier vervolgens beter op inspelen.
Als je de benchmark zelf inricht met je collega-organisaties, bepalen jullie als sector wat de criteria voor kwaliteit is voor jullie producten. Is kwaliteit bepaald door het aantal bezoekers, het aantal uitvoeringen of door wat je bewerkstelligt bij je publiek? Door dit op te nemen in de benchmark beoordeel je je diensten en activiteiten op kwaliteitscriteria die jullie als sector belangrijk vinden.
Dit geeft je een interessant instrument in handen naar je subsidiegever en andere financiers. Zij stellen steeds vaker vragen over de kwaliteit die je biedt en de mate waarin je hierin je doel bereikt. Met zo’n benchmark heb je een instrument in handen waarmee je de kwaliteit die jouw organisatie biedt, kunt aantonen. Ook ten opzichte van andere organisaties. Wat jouw sterke punten zijn. En in hoeverre jij jouw doelen bereikt.
Wil je de potentie van je project of organisatie vergroten? Maak dan een SWOT analyse waarbij je een overzicht maakt van de kansen, bedreigingen, sterktes en zwaktes van jouw project of organisatie. Aan de hand van deze punten kun je je project of organisatie versterken.
Een SWOT analyse (ook wel sterkte-zwakteanalyse genoemd) is van oorsprong een bedrijfskundig instrument dat je gebruikt om intern de sterktes en zwaktes en extern de kansen en bedreigingen van een organisatie of project in kaart te brengen. Binnen de bedrijfskunde wordt een SWOT analyse vaak gemaakt als onderdeel van een ondernemersplan of om de markpositie van een bedrijf te bepalen. Op basis van de uitkomsten van de analyse kun je als bedrijf vervolgens een passende strategie bepalen.
Je kunt het instrument daarnaast ook gebruiken om kritisch naar je project te kijken door de huidige stand van zaken binnen een project inzichtelijk te maken. Ga je op dezelfde koers verder of is het beter om eerst wijzigingen door te voeren?
Bij het opstellen van een sterkte-zwakteanalyse, doorloop je een aantal stappen waardoor je inzicht krijgt in de potentie van een project of organisatie. Deze stappen zijn:
Breng zowel de sterke als zwakke punten van je organisatie of project in kaart. Hierbij kijk je naar de interne elementen. Vragen die je bijvoorbeeld kan stellen zijn:
Maak een overzicht van de ontwikkelingen, gebeurtenissen en invloeden waar je project of organisatie mee te maken kan krijgen. Dit zijn de externe elementen. Vragen die je hierbij kunnen helpen zijn:
Als je zowel de externe als interne elementen in kaart hebt gebracht, ga je ze tegenover elkaar zetten in een confrontatiematrix (zie onderstaande afbeelding). De sterktes en zwaktes zet je in de bovenste rij en de kansen en bedreigingen in de onderste rij. Wanneer je dit gedaan hebt maak je een overzicht van de meest belangrijke kwesties.
Ten slotte ga je de belangrijke kwesties omzetten in een strategie voor je project of organisatie. Zorg ervoor dat je gestelde doelen realistisch en haalbaar zijn zodat je er gelijk mee aan de slag kan.
Wil je meer weten over het evalueren van je project? Lees dan ook de blog: evalueren om je project te verbeteren.
Veel praktijkonderzoeken stoppen te vroeg. Onderzoeksvragen worden geformuleerd, data worden verzameld en conclusies worden getrokken. Maar dan houdt het helaas op. Met alleen de conclusies ben je er nog niet. Om aan de slag te kunnen met een onderzoek heb je actiepunten nodig. Onderzoek doe je namelijk niet voor de lol, maar omdat je iets wilt DOEN met de informatie die je hebt verzameld.
Je actiepunten sluiten aan op wat je wilde doen met de uitkomsten van je onderzoek. Als je oorspronkelijk doel was je programma beter aan te laten sluiten bij je doelgroep, dan hebben je actiepunten betrekking op het aanpassen van het programma, het veranderen van je communicatiemiddelen of het uitbreiden van een succesvol concept.
Hoe doe je dat?
Tijdens het onderzoek leer je snel veel over het onderwerp. Je krijgt grip om details, de pluspunten en de verbeterpunten. Het is dan gemakkelijk om oplossingen te bedenken en actiepunten te formuleren. Daarbij wordt je vaak geholpen tijdens het onderzoek, omdat uit je data ook oplossingen naar voren komen. Respondenten reiken je tijdens interviews mogelijke oplossingen aan. Ook in een vragenlijst kun je hier naar vragen.
Bedenk dus tijdens je onderzoek al dat je op het einde actiepunten gaat formuleren. Als je bij de dataverzameling en de analyse al aandacht hebt voor oplossingen en actiepunten, is het gemakkelijk deze stap ook te zetten. Bij het schrijven van je conclusies kun je er gemakkelijk actiepunten achter zetten. Zorg ervoor dat dit steeds een doorgaande lijn is: vraag → oplossing(en) → mogelijke actiepunten.
Mijn onderzoeken sluit ik af met conclusies en actiepunten. Dat doe ik door tijdens mijn onderzoek steeds overzicht te houden op alle vragen en drempels, oplossingen en argumenten en aansluitend mogelijke actiepunten. Graag kijk ik samen met de opdrachtgevende organisatie wat vervolgens praktisch mogelijk is. Het verschilt namelijk per organisatie wat kan en wat bij hen past.
Doen we de dingen goed? OF doen we de goede dingen? Twee vragen die sterk op elkaar lijken, maar die wel degelijk twee verschillende betekenissen hebben. Organisaties die evalueren stellen vaak de eerste vraag: Doen we de dingen goed? Er wordt dan kritisch gekeken naar de huidige activiteiten om ze in de toekomst te verbeteren. Dit is zinvol als je een kwaliteitsslag wil maken in je project. Maar wil je weten of je je doelen daadwerkelijk bereikt? Dan moet je de tweede vraag stellen: Doen we de goede dingen? Je wilt dan weten of de projecten en activiteiten bijdragen aan de geformuleerde doelen, niet of het losstaande project goed wordt uitgevoerd.
Om erachter te komen of je de goede dingen doet is het in de eerste plaats belangrijk om de doelen helder voor ogen te hebben. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten.
Vervolgens vertaal je deze doelen naar meetbare indicatoren (vergeet daarbij niet dat alles meetbaar is). Je kijkt vervolgens welke activiteit in welke mate bijdraagt aan je doelbereik. Zo krijg je inzicht in of je de goede dingen doet. Als je daarnaast verkent welke opties er nog meer zijn om je doelen te bereiken, krijg je inzicht in alternatieven en kun je kritisch kijken naar de mix van activiteiten die er zijn om je doel te bereiken.
Jongeren vormen een belangrijke doelgroep voor veel organisaties en projecten. Of het nu gaat om sportactiviteiten, culturele programma's of sociale initiatieven, het is van essentieel belang om te begrijpen hoe jongeren denken en voelen over deze activiteiten. Hierbij spelen geschikte onderzoeksmethoden een sleutelrol. In deze blog beschrijven we enkele effectieve methoden om waardevolle inzichten van jongeren te verkrijgen.
Om effectief met jongeren te communiceren, is het van belang om hun wereld te begrijpen. Jongeren bevinden zich in een unieke fase van hun leven, waarin ze nog volop in ontwikkeling zijn. Deze fase brengt ook uitdagingen met zich mee. Denk hierbij aan: minder concentratie, minder probleemoplossend vermogen, lagere overdrachtssnelheid van informatie én hormonen die bijdragen aan heftigere emoties en minder empathisch vermogen.
Om jongeren effectief te bereiken, is het essentieel om op de hoogte te zijn van de trends die hun gedrag en interesses beïnvloeden. De belangrijkste trends zijn onder andere:
Jongeren zijn goed te bereiken, mits je ze leert kennen en begrijpen. Neem ze serieus en betrek ze.
Bij het uitvoeren van onderzoek onder jongeren is het belangrijk om methoden te kiezen die aansluiten bij hun behoeften en voorkeuren. De volgende elementen zijn daarbij belangrijk:
Enkele onderzoeksmethoden die aan deze voorwaarden voldoen zijn:
Een manier van onderzoeken waar je de jongeren nauwelijks mee belast is observeren. Het kost hen geen tijd, jij observeert werkelijk gedrag en je bent niet afhankelijk van respons. Door te observeren kun je veel informatie verzamelen. Je kunt echter alleen feitelijk gedrag observeren en geen motivaties achterhalen.
Een snelle en makkelijke manier om informatie te verzamelen. Door de jongeren na de activiteit een papiertje te geven met daarop een stelling, hoeven ze alleen nog maar via een scheurtje in het papiertje of door een cijfer te geven laten weten of ze het met de stelling eens zijn. Jongeren kunnen eenvoudig hun mening geven zonder veel tijd of moeite te investeren.
Een andere geschikte onderzoeksmethode voor jongeren is een digitale enquête. Deze wordt ter plekke door een enquêteur afgenomen. Deze stelt de vragen en vult de antwoorden in. Deze methode kost meer tijd, maar op deze manier kan men veel informatie verzamelen met minimale inspanning van de jongeren zelf.
Door de jongeren na afloop een cadeautje te geven als bedankje vergroot je de kans dat ze meewerken.
Hoewel tijdrovend, bieden interviews de mogelijkheid om diepgaande informatie en motivaties van jongeren te achterhalen. Dit kost de jongeren echter veel tijd. Aan de andere kant voelen zij zich gehoord en serieus genomen en zal dit hen motiveren om mee te werken. Ook bij deze onderzoeksmethode is het leuk om ze een cadeautje te geven als bedankje.
Het is altijd belangrijk, om bij het kiezen van een onderzoeksmethode met de eerdergenoemde trends onder jongeren en hun voorkeuren rekening te houden.
Het begrijpen en betrekken van jongeren is essentieel voor het succes van projecten en programma's gericht op deze doelgroep. Door gebruik te maken van effectieve communicatiestrategieën en geschikte onderzoeksmethoden kunnen organisaties waardevolle inzichten verkrijgen van jongeren.
Het stellen van doelen leidt tot succes. Maar waarom is dat zo? Doelen:
Zet de SFP (Self Fulfilling Prophecy) in werking. Wanneer je het einddoel zo helder mogelijk visualiseert dan pikt je brein dat op en gaat het herkennen als de waarheid.
Meer informatie over het formuleren van doelen: lees mijn blogs over PIARDRSM, SMART, RUMBA en PRISMA.
Ik heb dit onder andere gedaan bij de gemeente Middelburg.
Je start een project om iets te bereiken. Dan wil je na afloop weten of het is gelukt. Sterker: Gedurende het proces wil je weten of je richting je doel aan het bewegen bent en of je bij moet sturen.
Maar er zijn meer redenen waarom je de effecten van je project wilt meten. De effecten van het project geven je inzicht in je succes- en verbeterpunten en in je doelbereik.
De belangrijkste les die je van het inzicht in de effecten van een project kunt leren is of je het doel bereikt hebt. Heeft je project er daadwerkelijk voor gezorgd dat bijvoorbeeld je dichter bij het bereiken van de beleidsdoelen bent of dat leerlingen echt iets leren van het onderwijsproject? Als je op deze manier naar je resultaten kijkt, dan ben je aan het evalueren. Je houdt de resultaten tegen het licht en bekijkt of de doelen zijn bereikt. Heeft het project het beoogde effect geleverd?
Het inzicht in de effecten van je project geeft je essentiële informatie voor het nemen van beslissingen. Zo krijg je ten eerste inzicht in succesfactoren. Dit kunnen factoren zijn die al binnen de organisatie aanwezig waren en waarop gefocust moet worden. Of dit kunnen nieuwe dingen zijn die door het project aan het licht zijn gekomen en die doorgevoerd moeten worden. Ten tweede geven de resultaten van je project inzicht in verbeterpunten. Je kunt dan bijsturen waar nodig.
De leerpunten van het verkrijgen van inzicht in effecten van je project nog eens op een rijtje. Aan de hand van de gemeten effecten kun je:
Wil je informatie over het meetbaar maken van de effecten van je project? Lees dan ook eens deze blog.
