Onlangs interviewde een stagiaire mij over de voor- en nadelen van een onderzoeksbureau. Ze liep stage voor een organisatie die graag de effecten van hun projecten inzichtelijk wilde maken, maar waren zoekende naar de beste manier dit aan te pakken. Het nadeel van een onderzoeksbureau is dat het geld kost en deze middelen kunnen beter aan het project zelf besteed worden.
Maar is een onderzoeksbureau duur? Of is een onderzoeksbureau effectiever en efficiënter dan zelf een onderzoek doen?
Het formuleren van de juiste onderzoeksvraag en de daarbij behorende onderzoeksmethodiek kiezen is een vak. Menig medior onderzoeker struikelt hier nog over. Verwacht dus niet van jezelf of een stagiaire dat deze dit kan. Hier is kennis en vooral ervaring voor nodig.Bij een verkeerd gekozen onderzoeksvraag of methodiek, krijg je na het onderzoek niet de antwoorden op je vragen die je nodig hebt. Je hebt energie gestoken in verkeerde informatie.
Na het formuleren van de onderzoeksvraag en het uitdokteren van de juiste methodiek om deze vragen beantwoord te krijgen, zijn er allerlei drempels en valkuilen om de juiste en voldoende informatie te verzamelen en deze vervolgens te formuleren als antwoorden op je vragen. Een onderzoeksbureau weet een goede vragenlijst/interviewleiddraad op te stellen waardoor niet alleen de oppervlakkige informatie wordt ingewonnen. Ze weet om te gaan met een lage respons en kunnen een grote hoeveelheid data vertalen in antwoorden en aanbevelingen. Doordat ze ervaring hebben met het uitzetten van veldwerk, analyse en rapporteren zijn ze hier minder tijd mee kwijt dan een medewerker. Ze weten welke drempels er zijn en waar de valkuilen zitten.
Door een onderzoeksbureau in te schakelen koop je inzicht in effecten. Voor een vooraf gesproken bedrag koop je een onderzoeksrapportage waarin de informatie staat waar je behoefte aan hebt. Je krijgt antwoord op je vragen. Al het andere is voor het onderzoeksbureau om op te lossen.
Als je gemeten effecten wilt communiceren naar derden, wil je niet het “wij van wc-eend, adviseren wc-eend” effect. Je onderzoeksresultaten zullen niet betrouwbaar worden gevonden als je zelf hebt gemeten volgens je eigen maatstaf. Een onderzoeksbureau zal zorgen voor een objectieve meting, waarbij de uitkomsten hetzelfde zullen zijn als het onderzoek door anderen herhaalt wordt.
Onderzoek doen kan tijdsintensief zijn. Zeker als je hier onvoldoende ervaring mee hebt. Als een medewerker een effectmeting doet kost dit uren en zo ook geld. Dit gaat ten koste van de andere werkzaamheden.
Meer weten over het doen van onderzoek? Bekijk hier wat ik voor je kan betekenen!
Door regelmatig effecten te meten kun je veel leren. Sommige dingen, zoals deelnemersaantallen, zijn makkelijk vast te leggen, maar zeggen niets over daadwerkelijk doelbereik. Kwaliteit en impact van je organisatie monitoren en evalueren levert handvatten voor prestatieverbetering, maar is complexer en vereist meer consistentie in onderzoeksmethodiek. Hierbij ontstaan in de praktijk dan ook vaak drempels. Die zijn met een andere invalshoek echter relatief simpel op te lossen.
Organisaties vragen zich gedurende evaluaties vaak de vraag 'doen we de dingen goed?'. Een goede vraag, die je wilt beantwoorden om je projecten te verbeteren. Maar als je je doelen wilt bereiken, is de vraag 'doen we de goede dingen?' belangrijker. Een vraag die helaas veel minder vaak wordt gesteld. Je wilt graag weten of de ontwikkelde activiteiten bijdragen aan de beoogde doelstelling en dus het beoogde effect hebben.
Om deze vraag te beantwoorden, kun je effecten van je projecten gaan meten (Tien tips voor het meten van effecten), maar je kunt ook kritisch kijken naar waarom activiteiten worden uitgevoerd.
Veel instellingen hebben een visie en missie. Waarschijnlijk de instelling waar u werkt ook. Deze worden vervolgens vertaald in doelstellingen (en subdoelstellingen), die vervolgens omgezet zijn in activiteiten. Hier komen vaak een aantal aannames om de hoek. Een voorbeeld: Een gemeente die burgers wil stimuleren een gezond leven te leiden, kan besluiten sport te subsidiëren (de activiteit). Immers (verantwoord) bewegen is gezond. Door vervolgens alle sportverenigingen te subsidiëren, wordt de aanname gemaakt dat elke sport leidt tot meer bewegen is dus gezond is. Er zijn echter ook sporten, zoals denksport (bridge, schaken) en vaardigheidssporten (handboogschieten en darts) die niet leiden tot meer bewegen. Dit neemt niet weg dat ze andere positieve effecten hebben.
Als je wilt weten of je de goede dingen doet, kijk dan kritsisch naar de verbindingen tussen je missie, doelstellingen en je activiteiten. Zijn deze logisch met elkaar verbonden? Welke aannames zijn er gemaakt? Kun je werken met deze aannames?
Voor OTIB (het Opleidings- en Ontwikkelingsfonds voor het Technisch InstallatieBedrijf) heb ik de verbanden tussen missie, doelstellingen en meetpunten doorgelicht. Meer informatie over dit project vindt je bij 'wordt het doel bereikt als de meetpunten worden behaald?'. Wil je meer weten over het opstellen van meetpunten, kerncijfers of wil je deze verbanden binnen je organisatie onder het licht houden, kun je contact opnemen met mij via de mail (info@claudiadegraauw.nl) of telefoon (06 42 88 77 29).
Voor het meten van effecten van projecten zijn zowel interne redenen als externe redenen te noemen. Voor projecteigenaren is het interessant om effecten te meten, maar ook voor financierende partijen. In deze blog zal ik het belang van het meten van effecten uiteenzetten.
1. Legitimiteit van een project aantonen
Het is steeds belangrijker om aan te tonen waarom jouw project belangrijk is. Eén van de manieren om jouw project van andere projecten te onderscheiden, is aantonen dat jouw project werkt. Dat je effect hebt met de dingen die worden gedaan.
Enkele voorbeelden van effecten die je kunt meten: Leerlingen gaan nadenken over een technische studie en beroep. Ze krijgen een andere houding tav wetenschap en techniek. Ze krijgen een vragende houding. Kinderen gaan meer bewegen. Leerlingen kunnen zich beter uitdrukken. Er is kennis opgedaan op een bepaald gebied, zoals kunst of techniek.
2. Verantwoording van een project
Door effecten te meten kun je aan je subsidiegevers en andere financiers verantwoorden dat hun financiële bijdrage heeft gezorgd voor het bereik van het projectdoel en zo ook hun doel.
3. Ter verbetering van het project
Bij het meten van effecten kan tevens gekeken worden welke elementen zorgen voor deze effecten. Deze elementen kunnen versterkt worden. Van niet-werkzame elementen kan gekeken worden of ze aangepast dan wel geëlimineerd kunnen worden.
4. Besluitvorming voeden
Door de effecten van projecten vast te stellen, kan een organisatie kijken welke projecten uitgevoerd blijven worden, omdat ze bijdragen aan de doelstelling en welke niet. Door regelmatig effecten te meten, krijgt een organisatie inzicht in wat werkt en wat niet. Het meten van effecten voedt een lerende organisatie.
Meer weten? Lees dan ook mijn blog 'Tien tips voor het meten van effecten'
Een vraag die mij vaak gesteld wordt, is: 'We vermoeden dat we effect hebben met ons project. Hoe kunnen we dat vastleggen?' Het meten van effecten is interessante beleidsinformatie. Kom je dichter bij je doel of moeten activiteiten worden bijgestuurd? Het vastleggen van effecten is ook interessant voor (potentiële) partners en financiers. Hoe het effect vastgesteld wordt, verschilt per project en hangt af van het gewenste effect. Ik zal enkele voorbeelden geven van effectmetingen die ik onlangs heb uitgevoerd, dan wel momenteel uitvoer, om te laten zien wat er mogelijk is.
Museum Volkenkunde heeft de gezinstentoonstelling 'op expeditie' buiten geplaatst omdat ze binnen aan het verbouwen zijn, maar ook om te kijken of buiten exposeren drempelverlagend werkt en zo nieuw publiek aantrekt. Ze wilde graag weten of er nieuw publiek naar de gezinstentoonstelling kwam en zo ja, wat zij interessant vonden aan de tentoonstelling. Naast de analyse van bestaande databestanden door Letty Ranshuysen, heb ik bezoekers geobserveerd en met ze gesproken over de tentoonstelling. Naast dat de tentoonstelling interactief is, zeer gevarieerd en overzichtelijk, vonden bezoekers het fijn veel te leren. Dit sluit aan bij het onderzoek van de Nederlandse Museumvereniging naar de bevordering van museumbezoek door kinderen. Alleen het verlagen van praktische drempels en interactief maken van de tentoonstelling is niet voldoende. Bezoekers en dus ook kinderen willen iets leren. Als ze een museum bezoeken.
Het O&O-fonds van de energiebedrijven voert samen met de energiebedrijven de voorlichtingscampagne WATT? om jongeren te interesseren voor werk in de energiesector. Zij willen graag weten of leerlingen iets opsteken van hun magazine waarin verschillende aspecten van werken bij een energiebedrijf aan bod komt. Dit beoogde effect wordt gemeten door de leerlingen twee keer te bevragen met een bijna gelijke vragenlijst. Voordat ze het magazine krijgen wordt gekeken wat ze weten en welk beeld ze hebben van de energiesector. Een nulmeting om de stand van zaken voor het project vast te stellen. Enkele weken nadat het magazine in de klas is besproken, vullen de jongeren dezelfde vragenlijst nog eens in, deze keer aangevuld met vragen over het magazine. Het onderzoek loopt en ik ben erg benieuwd naar de resultaten. Door de twee vragenlijsten aan elkaar te koppelen per leerlingen, krijgt de opdrachtgever inzicht in de verschillen per leerlingen en zo over het geheel.
KMR coördineert het promotie- en voorlichtingsprogramma om Rotterdamse kinderen en jongeren te informeren over techniek en de haven. Hier is gekozen voor het meten van de attitude t.o.v. techniek en de attitude t.o.v. de Rotterdamse haven. Deze wordt binnenkort voor het eerst gemeten, de nulmeting. Daarna gaat het programma van start en over twee jaar wordt de attitude opnieuw gemeten bij dezelfde groep leerlingen. Omdat er in twee jaar veel gebeurt en we de gemeten verschillen toe willen kunnen schrijven aan het programma, worden er ook metingen gedaan bij een vergelijkbare groep, de controlegroep. Een soortgelijke opzet is ook gebruikt bij het meten van de effecten van de Friek's Techniektruck. Hierbij is gekeken naar het verschil in attitude tov techniek. De onderzoeksrapportage hiervan is openbaar en te downloaden op mijn website. Ik ben erg benieuwd of u effecten van projecten meet. Wat doet u met de onderzoeksresultaten? Wat als helaas blijkt dat u niet de beoogde effecten behaald. Hoe gaat u daar mee om? Bij Museum Volkenkunde worden de onderzoeksresultaten bijvoorbeeld gebruikt voor het tentoonstellingsbeleid voor de komende jaren. ROC West Brabant gebruikt de onderzoeksresultaten bij het inrichten van de opvolger van de truck en communiceert de resultaten met haar (financiële) partners om beslissingen omtrent de voortgang van het project positief te beïnvloeden.
Het effect vaststellen van je interventie, kan met een experimenteel onderzoek. Hierbij kijk je door middel van twee groepen of je interventie of activiteit werkt. De ene groep krijgt de interventie (experimentele groep) en een soortgelijke groep krijgt de interventie niet (controle groep). Je bekijkt dan de verschillen tussen de twee groepen. Je kunt ook kijken naar verschillen voor en na ‘het experiment’: je interventie of activiteit. Je kunt dit ook combineren. Wij leggen je uit hoe je een experimenteel onderzoek kunt inzetten.
Voordat je je interventie of activiteit gaat uitvoeren wil je weten wat je nulpunt is. Je wilt weten wat de houding of stand van zaken tot nu toe is. Je doet dan een nulmeting: een onderzoek om erachter te komen waar je doelgroep op dat moment staat.
Nadat je je interventie of activiteit hebt doorgevoerd ga je een nameting uitvoeren. Hoe denken mensen er nu over. Deze resultaten vergelijk je met de data die je hebt verzameld bij de nulmeting. Hierdoor zie je het effect van de manipulatie.
Je kunt er zelfs voor kiezen om twee nametingen te doen: één vlak na de interventie en één een half jaar later. Hiermee breng je het korte termijn en het lange termijn in beeld.
De doelgroep wordt in twee groepen verdeeld, een experimentele- en controlegroep. De experimentele groep neemt deel aan het experiment: je interventie of activiteit. En de controlegroep niet of gebruikt de oude dienstverlening/product. Je kunt ook kijken of je naast je doelgroep, die volledig deelneemt aan je interventie of activiteit, een soortgelijke groep kunt vinden voor je onderzoek. Door na de interventie of activiteit de twee groepen te vergelijken zie je het effect van ’je experiment’.
Door de voor- en nameting van de experimentele en controlegroep met elkaar te vergelijken, krijg je een duidelijk beeld van de effecten van je interventie. Op basis hiervan kun je het besluit nemen om door te gaan met het oude of juist te gaan voor het nieuwe. Tevens kan je ervoor kiezen om het nieuwe verder te ontwikkelen.
Heb je hulp nodig bij het opzetten van een experimenteel onderzoek? Wij denken graag met je mee over een effectmeting door middel van een experimenteel onderzoek.
Creativiteit, ofwel creatief denken en handelen, is één van de 21st-century skills waaraan je tegenwoordig niet meer kunt ontkomen. Leerlingen in het onderwijs worden er al voor klaargestoomd, maar de vaardigheid is ook van groot belang in organisaties. Iedereen is op een andere manier creatief: uitvoerend, bedenkend, oplossend, et cetera.
Sinds 2015 doe ik onderzoek naar creativiteit. Ik startte met een onderzoek voor de Stichting Cultuur Eindhoven, waarbij we de creativiteit van leerlingen van groep 8 in beeld hebben gebracht en gevolgd. De scholen boden verschillende programma’s aan met extra aandacht voor cultuureducatie of techniekeducatie. Ik ben gaan kijken of je creativiteit kunt meten en wat je met zo’n instrument kan doen.
TNO[1] heeft in 2015 in opdracht van het ministerie OCW een instrument ontwikkeld waarmee gemeten kan worden hoe creatief iemand is aan de hand van zeven indicatoren en daarnaast in hoeverre de ontwikkeling van creativiteit gestimuleerd wordt (drie indicatoren).
✔ Nieuwsgierig
✔ Volhardend
✔ Vindingrijk
✔ Interacterend met anderen
✔ Output gericht
✔ Trots op werk
✔ Anders durven zijn
✔ Richting
✔ Ruimte
✔ Ruggenspraak
Maar wat kun je nu met deze indicatoren? Deze indicatoren zijn inmiddels vertaald in een gevalideerde vragenlijst. Met deze vragenlijst kun je leerlingen dus scoren op deze tien indicatoren. En dat biedt allerlei opties.
Allereerst kun je de creativiteit van de leerlingen (of andere personen) in beeld brengen, bijvoorbeeld met een spinnenwebgrafiek. Hiermee zie je waarin iemand goed is en waarin minder goed. Aan de hand hiervan kun je de opdrachten en begeleiding die je geeft aanpassen. Het onderzoek van TNO heeft negen prototypische profielen onderscheiden:
Ten tweede kun je door de vragenlijst vaker af te nemen, de ontwikkeling op het gebied van creativiteit in beeld brengen. Bijvoorbeeld door (half)jaarlijks de vragenlijst af te nemen en de score van de zeven indicatoren in een spinnenweb naast elkaar in beeld te brengen.
Door de scores op de drie indicatoren voor het ontwikkelen van creatief vermogen in beeld te brengen, zie je wat de leerlingen aangeboden krijgen. Geeft de begeleider of leerkracht richting, ruimte en ruggenspraak? In welke mate wordt dit gedaan? Dit geeft de begeleider of leerkracht inzicht in wat hij/zij doet en daarmee de mogelijkheid dit te verbeteren.
Als je de creatieve ontwikkeling van leerlingen die aan een bepaald project meedoen in beeld brengt, zie je op welke indicator(en) dat project impact heeft. Hiervoor wordt de vragenlijst voor aanvang en na afloop van het project afgenomen. Je kunt op individueel niveau zien of en in welke mate de zeven indicatoren van creativiteit zijn toegenomen. Als je werkt met alle tien de indicatoren zie je ook of je alle faciliteiten aanbiedt die nodig zijn om creativiteit te ontwikkelen.
Het is natuurlijk ook mogelijk om leerlingen en begeleiders te observeren op deze indicatoren. Het rapport van TNO biedt geen observatielijst, maar wel voldoende aanknopingspunten om deze te maken.. Dit kun je ook doen om leerlingen en begeleiders individueel te observeren en scoren. Deze observaties kun je op dezelfde manieren inzetten als de vragenlijst: om maatwerk te bieden, de ontwikkeling in beeld te brengen, feedback te geven aan begeleiders en leerkrachten en de impact van projecten in beeld te brengen.
De negen creativiteitsprofielen zijn ook bruikbaar voor organisaties om te achterhalen welk creatief vermogen je in huis hebt. Aan welke competenties moet nog gewerkt worden om de organisatie klaar te stomen voor de toekomst?
Creativiteit is natuurlijk van belang voor creatieve beroepen, zoals architecten, ontwerpers en kunstenaars. Maar creativiteit is ook nodig in andere sectoren voor het ontwikkelen van nieuwe ideeën, innovatie, het bedenken van originele oplossingen en het ontwikkelen van nieuwe producten, processen of businessmodellen. Om in te blijven spelen op een continu veranderende wereld heb je creativiteit hard nodig. Het aanpassen aan de gevolgen van het COVID-19-virus is een voorbeeld hiervan.
Creatief denken en handelen zorgt ervoor dat je nieuwe en/of ongebruikelijke maar toepasbare ideeën voor bestaande vraagstukken vindt. Dit kan op allerlei vlakken, bijvoorbeeld via creatieve technieken, denken buiten de lijntjes, risico’s durven nemen, onderzoeken en leren van fouten. Wil je aan competenties werken, dan moet je eerst weten welke profielen je in je organisatie hebt. Vervolgens kun je bouwen aan je organisatie en creativiteit stimuleren.
Het ‘meten’ van creativiteit is ook interessant voor organisaties. Je kunt zo kijken in welk prototypisch profiel iemand valt en je krijgt tips waar diegene mee aan de slag kan om zijn creativiteit te vergroten. Door de creativiteit van alle medewerkers in een team, afdeling of organisatie in beeld te brengen, kun je zien of medewerkers elkaar aanvullen, welke aspecten van creativiteit ondervertegenwoordigd zijn, hoe je de beste teams samenstelt en waaraan je als team, afdeling of organisatie kunt werken om klaar te zijn voor de toekomst.
Wanneer je iemand een test laat maken, zal je ook zien dat deze op sommige punten beter scoort dan andere. Waar het ene aspect in ‘de aard van het beestje’ zit, kan het andere getraind worden. Je kunt bijvoorbeeld oefenen om feedback te geven en te ontvangen.
Tegenwoordig worden steeds vaker testen gedaan om te kijken wat voor type mensen in een team zitten. Zelfs bij ons op kantoor hebben we de creativiteitstest gedaan. Met een medewerkerstevredenheidsonderzoek (MTO) kun je ook meten hoe creatief je personeel is. MTO’s zijn er in verschillende soorten en maten. Voor organisaties is het interessant om in een MTO een gedeelte over creativiteit terug te laten komen.
Iedereen is op zijn eigen manier creatief. Als je weet waar iemand sterk in is, kun je dit beter inzetten en stimuleren. Hiervoor moet je zijn creativiteit in beeld brengen. Met deze gegevens kunnen wij medewerkers indelen in bepaalde prototypische profielen en aan de hand daarvan tips en tricks op maat geven per medewerker.
Wanneer je een team gaat samenstellen, wil je een mix van een aantal profielen. Je wilt personen die met andere ideeën komen en medewerkers die openstaan voor andere ideeën. Maar ook personen die nog vaardiger willen worden. Door een mix van profielen in je team daag je de teamleden uit zich verder te ontwikkelen.
Aan de hand van resultaten op het gebied van de creatieve omgeving kunnen we tips geven hoe deze optimaler in te richten, zodat de medewerkers kunnen groeien in hun creativiteit. Daarnaast kunnen teams op basis van de verschillende creativiteitstypen beter samengesteld worden, waardoor medewerkers elkaar aanvullen en versterken.
Ben je nieuwsgierig geworden hoe creatief je medewerkers zijn, neem hier contact op met ons en dan kijken we wat we voor je kunnen betekenen. Een MTO is belangrijk omdat je organisatie afhankelijk is van de mensen die er werken. Wanneer zij blij zijn, hun creativiteit kwijt kunnen en zich betrokken voelen bij je organisatie, kun je jouw doelen veel beter behalen.
Als je als sportvereniging of culturele instelling bewust met talentontwikkeling bezig bent, wil je natuurlijk ook weten of het effect heeft. Ontwikkelen de talenten hun vaardigheden zoals verwacht? Is het aanbod dat je als organisatie aanbiedt uitdagend voor talenten? Zorgen de aangeboden activiteiten ervoor dat de talenten verder komen? Sluit het aan op hun behoeften? Door het talentonwikkelingstraject te monitoren en evalueren krijg je antwoord op deze vragen.
Onlangs onderzochten wij voor het Fonds voor Cultuurparticipatie de impact van hun regeling voor talentontwikkeling. Hierbij zagen we dat organisaties binnen de culturele sector steeds meer gestructureerd bezig zijn om talenten zich tot hun volle potentie te laten ontwikkelen. Met alle aspecten die daarbij komen kijken. Deze talentontwikkeling wordt ook steeds vaker gemonitord: is het talent op de goede weg? Haalt hij/zij zijn/haar leerdoelen?
Ook binnen de sportsector is talentontwikkeling een hot item. Topsporters zijn onze nationale trots. Jonge talenten worden gescout, gecultiveerd en gemotiveerd. Er ontstaan steeds meer methoden en modellen om talent te ontwikkelen. Om te weten of deze talenten zich blijven ontwikkelen in de richting waarvoor gekozen is, is monitoring en evaluatie nodig.
Door het talentontwikkelingstraject te monitoren en evalueren krijg je inzicht in de effecten van het traject. Je weet dan of de doelen die je hebt voor talentontwikkeling bereikt worden en wat je kunt doen om bij te sturen. Maar ook of het plan voor het talent actueel blijft of dat er bij gestuurd moet worden. Door inzicht te krijgen in de effecten kun je het talent op een effectieve en efficiënte manier ontwikkelen: worden motorische basisvaardigheden echt beter? Wordt strategisch vermogen ontwikkeld?
Naast dat monitoren je helpt om het programma intern te verbeteren, kun je met deze informatie ook verantwoording afleggen aan subsidiegevers, de legitimiteit van het traject aantonen én draagvlak creëren.
Wil je weten wat de impact is van jouw talentontwikkelingsprogramma? Ik kan je helpen bij het ontwikkelen van een meetinstrument waarmee je de effecten inzichtelijk kunt maken. Neem contact op voor meer informatie.
Ik merk dat sportorganisaties en -verenigingen de effecten van hun beleid en activiteiten veelal meten aan de hand van bereikcijfers. De doelen die zij hebben met hun organisatie zijn dan ook vaak gerelateerd aan deze bereikcijfers. Doelen die gesteld worden gaan bijvoorbeeld over groei van het aantal teams dat aan een competitie mee doet, verhoging van het aantal leden van een vereniging, groei van het aantal educatieve activiteiten dat op scholen plaats vindt of stijging van de topsporters op de (inter-)nationale ranglijst. Deze doelen zijn te achterhalen door het in kaart brengen van bereikcijfers.
Sportorganisaties gaan er dan vanuit dat door het halen van de cijfermatige doelen, ook de ideële doelstellingen gehaald worden. Zoals het bevorderen van beweging onder jongeren, het verbeteren van competenties en persoonlijke ontwikkeling door de sport (zoals samenwerken en zelfvertrouwen) en het bevorderen van sociale cohesie. Het idee is dan: als het aantal leden stijgt, dan zijn er dus meer mensen gaan bewegen. Als er meer teams mee doen aan een competitie, dan werken dus meer mensen aan hun competenties.
Hoewel we in de culturele sector zien dat het meten van effecten vaak verder reikt dan alleen bereikcijfers, vraag ik me af of dit voor de sportsector ook geldt: Volstaat effecten meten aan de hand van bereikcijfers of hebben sportorganisaties ook baat bij het meten op een andere manier, op basis van ideële doelstellingen?
De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.
Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.
Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.
Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.
Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen. Een goed instrument voor ex post evaluatie is een effectmeting.
