Het effect vaststellen van je interventie, kan met een experimenteel onderzoek. Hierbij kijk je door middel van twee groepen of je interventie of activiteit werkt. De ene groep krijgt de interventie (experimentele groep) en een soortgelijke groep krijgt de interventie niet (controle groep). Je bekijkt dan de verschillen tussen de twee groepen. Je kunt ook kijken naar verschillen voor en na ‘het experiment’: je interventie of activiteit. Je kunt dit ook combineren. Wij leggen je uit hoe je een experimenteel onderzoek kunt inzetten.
Voordat je je interventie of activiteit gaat uitvoeren wil je weten wat je nulpunt is. Je wilt weten wat de houding of stand van zaken tot nu toe is. Je doet dan een nulmeting: een onderzoek om erachter te komen waar je doelgroep op dat moment staat.
Nadat je je interventie of activiteit hebt doorgevoerd ga je een nameting uitvoeren. Hoe denken mensen er nu over. Deze resultaten vergelijk je met de data die je hebt verzameld bij de nulmeting. Hierdoor zie je het effect van de manipulatie.
Je kunt er zelfs voor kiezen om twee nametingen te doen: één vlak na de interventie en één een half jaar later. Hiermee breng je het korte termijn en het lange termijn in beeld.
De doelgroep wordt in twee groepen verdeeld, een experimentele- en controlegroep. De experimentele groep neemt deel aan het experiment: je interventie of activiteit. En de controlegroep niet of gebruikt de oude dienstverlening/product. Je kunt ook kijken of je naast je doelgroep, die volledig deelneemt aan je interventie of activiteit, een soortgelijke groep kunt vinden voor je onderzoek. Door na de interventie of activiteit de twee groepen te vergelijken zie je het effect van ’je experiment’.
Door de voor- en nameting van de experimentele en controlegroep met elkaar te vergelijken, krijg je een duidelijk beeld van de effecten van je interventie. Op basis hiervan kun je het besluit nemen om door te gaan met het oude of juist te gaan voor het nieuwe. Tevens kan je ervoor kiezen om het nieuwe verder te ontwikkelen.
Heb je hulp nodig bij het opzetten van een experimenteel onderzoek? Wij denken graag met je mee over een effectmeting door middel van een experimenteel onderzoek.
Voor het verbeteren van de dienstverlening door HRM bij de politie, zijn in vier eenheden proeftuinen gestart, elk met een eigen aanpak, gebaseerd op de specifieke problemen binnen de eenheid. De politie wil meten wat de resultaten zijn van de proeftuinen: wat is het effect van interventies die wordt uitgevoerd vanuit de context van de proeftuin? De effectmeting is door onderzoekers van de politie uitgevoerd waarbij Claudia hen heeft begeleid door te leren over effecten meten, waar je op moet letten en praktische tips, te adviseren bij de juiste onderzoeksmethodiek, het ontwerp en de validatie hiervan. Maar ook bij het opstellen van een analyseplan.
Creativiteit is een belangrijke vaardigheid. Er wordt steeds vaker een beroep op gedaan. Zowel in je volwassen leven als op school. Daarom is er ook steeds meer aandacht voor de ontwikkeling van creativiteit op scholen en met name het basisonderwijs. Samen met de Stichting Cultuur Eindhoven ben ik gaan kijken of je creativiteit kunt meten en wat je met zo’n instrument zou kunnen doen.
TNO[1] heeft in 2015 in opdracht van het ministerie OCW een instrument ontwikkeld waarmee gemeten kan worden hoe creatief iemand is aan de hand van zeven indicatoren en daarnaast in hoeverre de ontwikkeling van creativiteit gestimuleerd wordt (drie indicatoren).
✔ Nieuwsgierig
✔ Volhardend
✔ Vindingrijk
✔ Interacterend met anderen
✔ Output gericht
✔ Trots op werk
✔ Anders durven zijn
En de indicatoren voor het ontwikkelen van creatief vermogen zijn:
✔ Richting
✔ Ruimte
✔ Ruggenspraak
Maar wat kun je nu met deze indicatoren? Deze indicatoren zijn inmiddels vertaald in een gevalideerde vragenlijst. Met deze vragenlijst kun je leerlingen dus scoren op deze tien indicatoren. En dat biedt allerlei opties.
Allereerst kun je de creativiteit van de leerlingen (of andere personen) in beeld brengen, bijvoorbeeld met een spinnenwebgrafiek. Hiermee zie je waar iemand goed in is en waar minder goed. Aan de hand hiervan kun je de opdrachten en begeleiding die je geeft aanpassen. Het onderzoek van TNO heeft negen prototypische profielen onderscheiden en geeft per profiel tips. Je kunt dus ook kijken in welk prototypisch profiel iemand valt. Je kunt aan de hand hiervan aanpassen wat je aanbiedt.
Ten tweede kun je door de vragenlijst vaker af te nemen, de ontwikkeling op het gebied van creativiteit in beeld brengen. Door bijvoorbeeld (half) jaarlijks de vragenlijst af te nemen en de score van de zeven indicatoren in een spinnenweb naast elkaar in beeld te brengen. Kun je de ontwikkeling van leerlingen inzichtelijk maken.
Door de scores op de drie indicatoren voor het ontwikkelen van creatief vermogen in beeld te brengen, zie je wat de leerlingen aangeboden krijgen. Geeft de begeleider of leerkracht richting, ruimte en ruggenspraak? In welke mate wordt dit gedaan? Dit geeft de begeleider of leerkracht inzicht in wat hij/zij doet en daarmee de mogelijkheid dit te verbeteren.
Als je de creatieve ontwikkeling van leerlingen die aan een bepaald project meedoen in beeld brengt (zoals wij hebben gedaan met ‘de Reünie’ van de Ontdekfabriek), zie je op welke indicator(en) dat project impact heeft. Je moet hiervoor voor aanvang en na afloop van het project de vragenlijst afnemen. Op zeven indicatoren van creativiteit kun je zien of deze zijn toegenomen. Het beste kun je dit zien op individueel niveau. Als je werkt met alle tien de indicatoren zie je ook of je alle indicatoren aanbiedt die nodig zijn om creativiteit te ontwikkelen.
Het is natuurlijk ook mogelijk om leerlingen en begeleiders te observeren op deze indicatoren. Het rapport van TNO biedt geen observatielijst, maar wel voldoende aanknopingspunten om deze te maken. Beschreven staat hoe de indicatoren er uit zien en dit heb ik vertaald in een observatielijst voor de hele groep om lessen in het kader van ‘de Reünie’ te observeren. Dit kun je ook doen om leerlingen en begeleiders individueel te observeren en scoren. Je krijgt zo meer inzicht in de creativiteit en de ontwikkeling ervan, van de leerlingen. Deze observaties kun je op dezelfde manieren inzetten als de vragenlijst: om maatwerk te bieden, de ontwikkeling in beeld te brengen, feedback te geven aan begeleiders en leerkrachten en de impact van projecten in beeld te brengen.
Download het onderzoeksrapport hier met de resultaten van creativiteitsmetingen?
Als je als sportvereniging of culturele instelling bewust met talentontwikkeling bezig bent, wil je natuurlijk ook weten of het effect heeft. Ontwikkelen de talenten hun vaardigheden zoals verwacht? Is het aanbod dat je als organisatie aanbiedt uitdagend voor talenten? Zorgen de aangeboden activiteiten ervoor dat de talenten verder komen? Sluit het aan op hun behoeften? Door het talentonwikkelingstraject te monitoren en evalueren krijg je antwoord op deze vragen.
Onlangs onderzochten wij voor het Fonds voor Cultuurparticipatie de impact van hun regeling voor talentontwikkeling. Hierbij zagen we dat organisaties binnen de culturele sector steeds meer gestructureerd bezig zijn om talenten zich tot hun volle potentie te laten ontwikkelen. Met alle aspecten die daarbij komen kijken. Deze talentontwikkeling wordt ook steeds vaker gemonitord: is het talent op de goede weg? Haalt hij/zij zijn/haar leerdoelen?
Ook binnen de sportsector is talentontwikkeling een hot item. Topsporters zijn onze nationale trots. Jonge talenten worden gescout, gecultiveerd en gemotiveerd. Er ontstaan steeds meer methoden en modellen om talent te ontwikkelen. Om te weten of deze talenten zich blijven ontwikkelen in de richting waarvoor gekozen is, is monitoring en evaluatie nodig.
Door het talentontwikkelingstraject te monitoren en evalueren krijg je inzicht in de effecten van het traject. Je weet dan of de doelen die je hebt voor talentontwikkeling bereikt worden en wat je kunt doen om bij te sturen. Maar ook of het plan voor het talent actueel blijft of dat er bij gestuurd moet worden. Door inzicht te krijgen in de effecten kun je het talent op een effectieve en efficiënte manier ontwikkelen: worden motorische basisvaardigheden echt beter? Wordt strategisch vermogen ontwikkeld?
Naast dat monitoren je helpt om het programma intern te verbeteren, kun je met deze informatie ook verantwoording afleggen aan subsidiegevers, de legitimiteit van het traject aantonen én draagvlak creëren.
Wil je weten wat de impact is van jouw talentontwikkelingsprogramma? Ik kan je helpen bij het ontwikkelen van een meetinstrument waarmee je de effecten inzichtelijk kunt maken. Neem contact op voor meer informatie.
Ik merk dat sportorganisaties en -verenigingen de effecten van hun beleid en activiteiten veelal meten aan de hand van bereikcijfers. De doelen die zij hebben met hun organisatie zijn dan ook vaak gerelateerd aan deze bereikcijfers. Doelen die gesteld worden gaan bijvoorbeeld over groei van het aantal teams dat aan een competitie mee doet, verhoging van het aantal leden van een vereniging, groei van het aantal educatieve activiteiten dat op scholen plaats vindt of stijging van de topsporters op de (inter-)nationale ranglijst. Deze doelen zijn te achterhalen door het in kaart brengen van bereikcijfers.
Sportorganisaties gaan er dan vanuit dat door het halen van de cijfermatige doelen, ook de ideële doelstellingen gehaald worden. Zoals het bevorderen van beweging onder jongeren, het verbeteren van competenties en persoonlijke ontwikkeling door de sport (zoals samenwerken en zelfvertrouwen) en het bevorderen van sociale cohesie. Het idee is dan: als het aantal leden stijgt, dan zijn er dus meer mensen gaan bewegen. Als er meer teams mee doen aan een competitie, dan werken dus meer mensen aan hun competenties.
Hoewel we in de culturele sector zien dat het meten van effecten vaak verder reikt dan alleen bereikcijfers, vraag ik me af of dit voor de sportsector ook geldt: Volstaat effecten meten aan de hand van bereikcijfers of hebben sportorganisaties ook baat bij het meten op een andere manier, op basis van ideële doelstellingen?
De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.
Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.
Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.
Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.
Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen. Een goed instrument voor ex post evaluatie is een effectmeting.
Musea en science centra willen steeds vaker weten of het werkt wat ze doen. Het gaat dan niet over het hebben van zo veel mogelijk bezoekers, maar over de kwaliteit van hun (educatieve) programma. Wordt hun doel, namelijk het beïnvloeden van de interesse voor, de houding naar en de kennis over (bijvoorbeeld) natuur, cultuur, geschiedenis of wetenschap, bereikt? Deze doelen worden op verschillende manieren gemeten.
Eén manier is het houden van een enquête. Bezoekers worden dan schriftelijk bevraagd over hun ervaringen tijdens het bezoek. Omdat musea en science centra vaak niet de kennis (en tijd) in huis hebben over het doen van onderzoek, is het voor hen soms lastig om de juiste vragen te stellen en de resultaten te interpreteren. Wil je daadwerkelijk informatie waar je iets mee kunt, dan is het belangrijk om de juiste indicatoren te bepalen voor de enquête.
Naast de interne enquête worden er ook grootschalige internationale onderzoeken gedaan waar de science centra en musea aan mee kunnen doen. Ook kunnen afgeronde grootschalige onderzoeken dienen als informatiebron voor de musea.
Ook maken veel musea en science centra gebruik van RF-ID (identificatie met radiogolven) bij interactieve opstellingen om effecten te meten. Bezoekers kunnen dan (a.d.h.v. een armbandje) hun activiteiten opslaan en achteraf (online) terug zien wat ze hebben gedaan en hoe ze dit hebben gedaan. Dit is leuk voor de bezoeker, maar dient ook als input voor het museum of science center. Je kunt hier namelijk uithalen hoe lang bezoekers bij een opstelling blijven staan, hoeveel er gebruik van wordt gemaakt en of er meerdere keren gebruik van wordt gemaakt.
Een andere manier om te meten is het analyseren van handelingen van bezoekers op basis van filmopnames. Dit gebeurt vooral bij interactieve opstellingen. Aan de hand van bewegingen, gezichtsuitdrukkingen, handelingen en verblijfsduur wordt het leerpotentieel geanalyseerd.
Science centra en musea kunnen ook van elkaar leren. Door de kwaliteit van hun educatieve programma’s te meten en met elkaar te vergelijken kunnen ze leren van elkaars sterke en zwakke punten.
Dit is een benchmark. Voor de VSC en verschillende science centra hebben wij zo’n benchmark uitgevoerd.
Je start een project om iets te bereiken. Dan wil je na afloop weten of het is gelukt. Sterker: Gedurende het proces wil je weten of je richting je doel aan het bewegen bent en of je bij moet sturen.
Maar er zijn meer redenen waarom je de effecten van je project wilt meten. De effecten van het project geven je inzicht in je succes- en verbeterpunten en in je doelbereik.
De belangrijkste les die je van het inzicht in de effecten van een project kunt leren is of je het doel bereikt hebt. Heeft je project er daadwerkelijk voor gezorgd dat bijvoorbeeld je dichter bij het bereiken van de beleidsdoelen bent of dat leerlingen echt iets leren van het onderwijsproject? Als je op deze manier naar je resultaten kijkt, dan ben je aan het evalueren. Je houdt de resultaten tegen het licht en bekijkt of de doelen zijn bereikt. Heeft het project het beoogde effect geleverd?
Het inzicht in de effecten van je project geeft je essentiële informatie voor het nemen van beslissingen. Zo krijg je ten eerste inzicht in succesfactoren. Dit kunnen factoren zijn die al binnen de organisatie aanwezig waren en waarop gefocust moet worden. Of dit kunnen nieuwe dingen zijn die door het project aan het licht zijn gekomen en die doorgevoerd moeten worden. Ten tweede geven de resultaten van je project inzicht in verbeterpunten. Je kunt dan bijsturen waar nodig.
De leerpunten van het verkrijgen van inzicht in effecten van je project nog eens op een rijtje. Aan de hand van de gemeten effecten kun je:
Wil je informatie over het meetbaar maken van de effecten van je project? Lees dan ook eens deze blog.
Bij het uitvoeren van taken, projecten, activiteiten en programma’s wil je graag weten of het werkt wat je doet. Hiervoor heb je relevante informatie nodig, op basis waarvan je weloverwogen beslissingen kunt nemen. Je kunt dan bijsturen waar nodig en eenvoudig verantwoording afleggen. Om aan deze relevante informatie te komen, doe je, afhankelijk van wat je wilt weten en wat je mogelijkheden zijn, een impactmeting of een effectmeting. Deze twee termen worden nogal eens door elkaar gebruikt maar het zijn wel degelijk twee verschillende soorten onderzoeken.
Wil je weten of je je doelen bereikt met het uitgestippelde beleid? En wil je dus concreet inzicht in je doelbereik? Dan doe je een effectmeting. Bij een effectmeting wordt de situatie achteraf vergeleken met de situatie vooraf. Er zijn dus altijd minimaal twee metingen. Daarnaast moeten de waargenomen effecten nog toegeschreven worden aan het project of het beleid. Dat kun je onder andere doen door te werken met controlegroepen. Om te achterhalen of de vooraf opgestelde doelen worden gehaald, richt de effectmeting zich daar voornamelijk op.
Een exacte effectmeting geeft veel informatie en onweerlegbaar. Maar kost ook veel tijd en middelen. Je moet tijdig (voor de start van het beleid of project) beginnen met het onderzoek.
Bij een impactmeting is dat niet per definitie het geval. Impactmetingen richten zich op het vermeende effect. Een impactmeting kan ook achteraf ingezet worden. Daar waar je bij een effectmeting exact het effect meet, maak je bij een impactmeting een schatting van de effecten. Dit kan vooraf of achteraf.
Bij een impactmeting vooraf maak je een inschatting van de mogelijke effecten op basis van literatuur, vergelijkbare projecten/beleid en experts. Een voorbeeld van een impactmeting vooraf is de economische impactmeting die wij voor het themajaar VanGogh2015 hebben gedaan.
Bij een impactmeting achteraf vraag je wat betrokkenen denken wat het effect is geweest. Door voldoende betrokkenen en mogelijk experts te spreken, ontstaat een volledig en subjectief beeld van de ingeschatte effecten. Hierbij kun je je ook richten op het doel dat je vooraf hebt gesteld aan het beleid, maar vaak komen er ook andere effecten boven water. Een voorbeeld van een impactmeting achteraf is het onderzoek dat wij hebben gedaan naar de impact van de cultuurscouts in Schiedam.
Wil je liever meer weten over het doen van een effectmeting? Kijk dan hier voor meer informatie en voorbeelden.
Er wordt vaak gedacht dat een effectmeting zonde is van het geld en dat de (schaars) beschikbare financiële middelen beter direct aan het programma besteed kunnen worden. Een effectmeting is echter een manier om beter en sneller naar je doel te bewegen, waardoor je project uiteindelijk minder zal kosten en meer zal opbrengen. Omdat je weet of je op de juiste koers zit, kun je je financiën binnen het programma gerichter en effectiever besteden. Daarmee is een effectmeting dus geen kostenpost, maar een middel om geld te besparen.
Het belang van het meten van effecten heb ik uitgelegd in mijn blog "Waarom wil je effect meten?". In deze blog een paar vragen om je te helpen bepalen of het voor jou handig is om een effectmeting te doen.
Als je meer van bovenstaande vragen met ja hebt beantwoord, is een effectmeting het overwegen waard. Een effectmeting is namelijk een essentieel onderdeel van je programma. Daarmee weet je of je programma werkt. En hoe je je doel beter kunt bereiken. Je kunt tijdig bijsturen op basis van inhoudelijke informatie.
Inzicht in jouw effecten en doelbereik? Lees hier hoe ik je hierbij kan helpen!
