Als je wilt weten of je je doelen bereikt, monitor je deze doelen. Door te monitoren kun je in de gaten houden of je nog op de goede weg zit. En of je je doel gaat bereiken. Hiervoor is het noodzakelijk om één indicator of meerdere indicatoren te formuleren die betrekking hebben op je doelen. Een indicator is een meetbaar begrip dat een signalerende functie heeft en een aanwijzing geeft over de mate van kwaliteit. Wijkt een indicator af van een afgesproken norm dan is bijsturing mogelijk. Het is dus belangrijk om goede indicatoren te kiezen en geen afgeleide indicatoren te gebruiken. Dan meet je namelijk niet wat je wilt meten en kun je niet meer goed bijsturen om je doelen te bereiken.
Een interessant voorbeeld is de bibliotheek. Doelen van de bibliotheek zijn onder andere leesbevordering en mediawijsheid. Vaak monitoren bibliotheken echter op ‘Lenen’, waarbij als indicator het aantal uitleningen gebruikt wordt. Dit geeft misschien ook waardevolle informatie, maar zegt niets over of de bevolking daadwerkelijk meer en beter leest en mediawijzer wordt. Het aantal uitleningen is dus een indicator die geen betrekking heeft op de doelen van de bibliotheek. De bibliotheek weet nu niet of er richting de doelen bewogen wordt en kan hier dus ook niet op sturen. Sterker: sommige bibliotheken reageren averechts op ontwikkelingen zoals de e-reader, omdat deze boeken lenen in de weg staat, maar wel goed is voor de leesbevordering.
In plaats van ‘Lenen’ kan de bibliotheek beter monitoren op ‘Lezen’ en ‘mediawijsheid’. Indicatoren verschuiven dan van het aantal uitleningen naar indicatoren die betrekking hebben op het meer (en beter) lezen en het mediawijzer worden van de bevolking. Bij leesbevordering kun je als indicator denken aan het aantal activiteiten gericht op het signaleren en tegengaan van laag geletterdheid. Bij mediawijsheid kan gedacht worden aan het actief, creatief en sociaal media gebruik naar aanleiding van mediawijsheid activiteiten.
Ik heb nu het voorbeeld van een bibliotheek gegeven, maar het kiezen van de juiste indicator(en) is natuurlijk voor iedere organisatie van belang om het doelbereik goed te kunnen monitoren!
Containerbegrippen worden helaas vaak gebruikt. In een gesprek denk je beide over hetzelfde te hebben. Maar doe je dat ook? Ik vraag het mijn gesprekspartner. Talentontwikkeling is een onderwerp dat regelmatig aan bod komt. Maar talentontwikkeling heb ik je in alle kleuren van de regenboog. Gaat het over het ontwikkelen van toptalenten en deze naar grotere hoogtes brengen of gaat het over het ontdekken van je talenten (iedereen heeft namelijk talenten).
Helaas worden bij beleidsdoelstellingen steeds vaker containerbegrippen gebruikt. Hoe kun je dan kijken of je je beleidsdoelstellingen haalt? Of hoe je als gesubsidieerde organisatie voldoet aan de verwachtingen?
Voer een groepsgesprek met betrokkenen over wat het voor jullie betekent. Stel hierbij vragen als: wat betekent " " volgens jou? Wat valt er wel en wat valt er niet onder? Hoe zou je dit uitleggen aan een buitenstaander (bijvoorbeeld je moeder)? Discussieer door totdat het duidelijk en afgebakend is. Indien nodig voer je dit gesprek ook met je opdrachtgever, subsidiegever, wethouder.
Voorbeeld: kwaliteit van educatie kan bestaan uit verschillende punten:
Bekijk aan de hand van het geconcretiseerde begrippen hoe je dit kunt meten. Doe dit per onderdeel.
Voorbeeld: Je wilt weten of je met je educatieve programma kwaliteit biedt. Onderzoeksvragen die je stelt naar aanleiding van de eerder genoemde discussie-uitkomsten zijn:
Als je per onderdeel hebt bepaald hoe je de vraag kunt beantwoorden, ga je dit operationaliseren. Je maakt het meetbaar.
Voorbeeld:
Veel educatieve projecten van belangenorganisaties en non-profitorganisaties (denk aan musea, technocentra, theatergezelschappen) zijn niet zozeer gericht op het aanleren van vaardigheden, maar op het anders laten kijken naar de wereld of een andere houding bewerkstelligen ten opzichte van een bepaald onderwerp. Bijvoorbeeld een meer vragende of onderzoekende houding.
Of zo’n project succesvol is, bekijk je door een verandering in houding te meten. Het gaat namelijk niet over vaardigheden, maar over een manier van kijken naar de wereld om je heen, de attitude van de leerling ten aanzien van dat onderwerp.
Daarnaast is attitude een goede voorspeller voor toekomstig gedrag. Een attitude zegt iets over iemands grondhouding over een onderwerp. Is het interessant? Gaat iemand er in de toekomst iets mee doen? Technocentra zijn daarom geïnteresseerd deze attitude ten opzichte van techniek (positief) te beïnvloeden, omdat dit iets zegt over toekomstige keuzes ten aanzien van techniek (studie/beroep). Als deze attitude beïnvloed wordt bij een leerling, weet hij/zij beter wat wel/niet bij hem/haar past. Zo worden leerlingen geholpen bewustere keuzes te maken voor hun studie- en beroep.
Het meten van houding en de verandering lijkt heel abstract, maar is al op meerdere onderwerpen geconcretiseerd. Uit wetenschappelijk onderzoek blijkt dat de houding (ook wel attitude genoemd) ten opzichte van een bepaald onderwerp bestaat uit een aantal elementen. Kort een paar factoren die vaak terug keren:
Om deze factoren te kunnen meten, worden deze vertaald in een aantal elementen. Deze kunnen vervolgens op verschillende manieren gemeten worden. Denk aan observeren, een lijst met stellingen waarbij leerlingen aangeven waarin ze zich het meeste vinden.
Om een verandering in attitude waar te kunnen nemen moet meerdere keren gemeten worden: voor deelname aan een project, kort na afloop van het project om te kijken of er op korte termijn effecten zijn waar te nemen en op lange termijn om te kijken of deze effecten blijvend zijn.
Het instrument om attitude te meten is ontworpen door prof. Dr. J.H. Walma van der Molen. Zie hiervoor de publicatie:
Walma van der Molen, J., Wiegerinck, S. (2008) Eindrapportage VTB Attitude Monitor; De ontwikkeling van een attitudeinstrument op het gebied van wetenschap en techniek voor leerlingen in het basisonderwijs (hier te downloaden)
Wij hebben dit instrument inmiddels verschillende keren ingezet voor het meten van impact en het model erachter als aanzet om langdurige verandering te meten.
De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag?
Door een vragenlijst te testen, kun je achterhalen of deze valide is. Dit testen kun je doen door de vragenlijst aan een testpersonen voor te leggen en ze tijdens het invullen hardop te laten denken. Een andere mogelijkheid is de vragenlijst voorleggen en een testgroep en hen vragen te laten stellen zodra een vraag onduidelijk is. Het is hierbij belangrijk dat je testpersonen/-groep lijken op je onderzoekspopulatie. Dus als je de vragenlijst wilt voorleggen bij jongeren van 15 tot 18 jaar, moeten je testpersonen/-groep bestaan uit jongeren van 15 tot 18 jaar.
Na deze test, met name met een testgroep, ga je de antwoorden analyseren en vraag je advies van een collega onderzoeker. Zijn de antwoorden consistent? Klopt de logica binnen de vragenlijst? Komen de uitkomsten overeen met soortgelijke onderzoeken?
Bij nieuw te ontwikkelen onderzoeksinstrumenten is het belangrijker om te testen, aan te passen en opnieuw te testen. Met name als je abstractere begrippen wilt meten zoals houding of ontwikkeling is uitgebreid testen nodig om een valide vragenlijst te krijgen.
Bij gebruik van een bestaande vragenlijst , moet je even kijken of deze reeds getest is op begrip en consistentie.
Naast validiteit spreek je bij het doen van onderzoek ook vaak over het begrip betrouwbaarheid. Wil je hier meer over weten? Lees dan ook mijn blog over betrouwbaarheid.
Effectmeting is essentieel als je wilt weten of jouw project, programma of activiteit écht werkt. Maar meten is niet altijd makkelijk. In de praktijk botsen mooie plannen vaak met de realiteit, en onderzoek kent valkuilen. Daarom vind je hier 10 krachtige tips die je helpen te toetsen of je project, evenement, beleid, activiteit of programma het gewenste effect heeft.
Effectmeting begint bij de basis: wat wil je bereiken? Formuleer je doel zo concreet mogelijk. Wil je gedrag veranderen, kennis vergroten of keuzes beïnvloeden? Stel vervolgens een duidelijke hoofdvraag op, en werk die uit in deelvragen. Hoe concreter je vraag, hoe beter je kunt meten.
Doe geen onderzoek omdat het ‘moet’, maar omdat je iets wilt weten waar je ook echt iets mee gaat doen. Wat wil je met de resultaten bereiken? Wil je bijsturen, verantwoorden, verbeteren of stoppen? Deze keuzes bepalen je aanpak en zorgen dat je onderzoek waardevol blijft.
Niet elke methode past bij elke vraag. Wil je cijfers? Dan is een vragenlijst handig. Wil je motivaties begrijpen? Dan zijn interviews of observaties beter. Stem je methode af op wat je wilt weten én op wie je bevraagt. Denk ook aan bereikbaarheid: jongeren bereik je anders dan ouderen.
Een vaste structuur maakt je onderzoek betrouwbaarder. Gebruik steeds dezelfde aanpak, vragen of observatiepunten. Zo kun je resultaten vergelijken en trends herkennen. Ook informele evaluaties kun je structureren door vooraf te bepalen waar je op let.
Zonder startpunt kun je geen verandering meten. Een nulmeting helpt je om effecten zichtbaar te maken. Vergelijk je resultaten op korte én langere termijn met dit startpunt om te zien of je dichter bij je doel komt.
Onderzoek loopt zelden zoals gepland. Mensen reageren niet, partners haken af, of je krijgt minder data dan gehoopt. Voorzie obstakels en denk vooraf na over alternatieven. Een plan B voorkomt dat je vastloopt.
Effectmeting doe je niet alleen. Betrek collega’s, partners of deelnemers bij het opzetten en uitvoeren van je onderzoek. Dat vergroot het draagvlak én de kwaliteit van je data. Samen zie je meer dan alleen.
Stel alleen vragen waar je écht iets mee doet. Laat overbodige vragen weg – dat bespaart tijd en verhoogt de kwaliteit van je data. Kies daarnaast je gesprekspartners zorgvuldig. Spreek niet alleen de enthousiastelingen of de critici, maar zorg voor een evenwichtige en representatieve groep. Dat betekent: mensen met verschillende achtergronden, leeftijden, genders en perspectieven. Zo voorkom je een vertekend beeld en krijg je inzichten die écht iets zeggen over je doelgroep als geheel.
Als je veel data hebt, is het verleidelijk om alles te willen gebruiken. Maar: houd je onderzoeksvraag centraal. Cluster informatie, zoek verbanden en trek conclusies die echt antwoord geven op je vraag.
Onderzoek is pas waardevol als je er iets mee doet. Bespreek de uitkomsten, formuleer actiepunten en maak afspraken. Zo wordt effectmeting een krachtig instrument voor verbetering en groei.
