Om valide uitkomsten te hebben van je onderzoek heb je voldoende respons nodig, bijvoorbeeld bij publieks- of klantenonderzoek. Maar hoe motiveer je je publiek om mee te werken aan jouw onderzoek? Een aantal tips:
Er is geen saai onderwerp, er zijn alleen saaie onderzoek vormen. Zet een creatieve werkvorm in (die past bij de doelgroep) om het onbewuste aan te spreken. Voor de ANWB bijvoorbeeld vroeg YoungWorks aan jongeren welk soort schoen zij het beste bij die organisatie vinden passen. De uitleg die jongeren dan geven zegt meer over het beeld dat zij hebben van de ANWB dan wanneer je hier direct naar zou vragen.
Welke verschillende subgroepen zie je? Kijk niet alleen naar de bekende groepen (geslacht), maar kijk bijvoorbeeld ook naar waarden als ambities en interesses. Pas hier vervolgens je benadering naar deze groepen op aan. Door in te spelen op specifieke kenmerken van het publiek wek je hun interesse en zijn zij eerder bereid om mee te werken aan je onderzoek.
Waardeer je publiek als expert. Zij beschikken ten slotte over informatie om jouw project of programma te verbeteren. Dit geeft een gevoel van verantwoordelijkheid. Het publiek krijgt op deze manier echt het gevoel dat zij iets toevoegen, wat motiveert om tijd vrij te maken voor het onderzoek. Leg het publiek uit wat de toegevoegde waarde is van de informatie die je van hen nodig hebt en benadruk het belang van hun medewerking. Zie ook het volgende punt.
Als je publiek de moeite neemt om je te helpen, moet je hun input ook gebruiken. Maak tijdens het onderzoek al duidelijk dat je gaat doen met de uitkomsten en doe dit dan ook. Denk hierbij ook aan hoe dit zichtbaar is voor de mensen die mee hebben gewerkt aan je onderzoek.
Leer je publiek kennen en ga naar de plekken waar zij zich bevinden. Voor jongeren is dit bijvoorbeeld veel online, via social media. Heb je een programma gericht op ouderen? Ga dan eens naar dagactiviteiten in wijkcentra. Zo zijn er voor iedere doelgroep andere plekken waar ze te vinden zijn.
Je publiek wil je graag helpen met je onderzoek, mits ze het gevoel hebben dat het toegevoegde waarde heeft en ze hun mening kwijt kunnen. Val ze dus niet lastig met onnodige of oninteressante vragen (of de wc schoon was), maar spreek ze aan op hun expertise, ervaring of mening.
Geef duidelijk aan wat je vraagt van iemand. Vijf minuten voor een vragenlijst, een kwartier voor een kort gesprek. En houd je hier dan aan. Als een gesprek een half uur duurt, moet je niet aangeven dat het maar een kwartier van hun tijd kost, want dan gaan mensen zich ergeren en haken ze halverwege af.
Meer weten? Lees mijn blog: Hoe kun je de respons voor een vragenlijst verhogen?
Organisaties vragen zich gedurende evaluaties vaak de vraag 'doen we de dingen goed?'. Een goede vraag, die je wilt beantwoorden om je projecten te verbeteren. Maar als je je doelen wilt bereiken, is de vraag 'doen we de goede dingen?' belangrijker. Een vraag die helaas veel minder vaak wordt gesteld. Je wilt graag weten of de ontwikkelde activiteiten bijdragen aan de beoogde doelstelling en dus het beoogde effect hebben.
Om deze vraag te beantwoorden, kun je effecten van je projecten gaan meten (Tien tips voor het meten van effecten), maar je kunt ook kritisch kijken naar waarom activiteiten worden uitgevoerd.
Veel instellingen hebben een visie en missie. Waarschijnlijk de instelling waar u werkt ook. Deze worden vervolgens vertaald in doelstellingen (en subdoelstellingen), die vervolgens omgezet zijn in activiteiten. Hier komen vaak een aantal aannames om de hoek. Een voorbeeld: Een gemeente die burgers wil stimuleren een gezond leven te leiden, kan besluiten sport te subsidiëren (de activiteit). Immers (verantwoord) bewegen is gezond. Door vervolgens alle sportverenigingen te subsidiëren, wordt de aanname gemaakt dat elke sport leidt tot meer bewegen is dus gezond is. Er zijn echter ook sporten, zoals denksport (bridge, schaken) en vaardigheidssporten (handboogschieten en darts) die niet leiden tot meer bewegen. Dit neemt niet weg dat ze andere positieve effecten hebben.
Als je wilt weten of je de goede dingen doet, kijk dan kritsisch naar de verbindingen tussen je missie, doelstellingen en je activiteiten. Zijn deze logisch met elkaar verbonden? Welke aannames zijn er gemaakt? Kun je werken met deze aannames?
Voor OTIB (het Opleidings- en Ontwikkelingsfonds voor het Technisch InstallatieBedrijf) heb ik de verbanden tussen missie, doelstellingen en meetpunten doorgelicht. Meer informatie over dit project vindt je bij 'wordt het doel bereikt als de meetpunten worden behaald?'. Wil je meer weten over het opstellen van meetpunten, kerncijfers of wil je deze verbanden binnen je organisatie onder het licht houden, kun je contact opnemen met mij via de mail (info@claudiadegraauw.nl) of telefoon (06 42 88 77 29).
Monitoring en evaluatie wordt steeds vaker verplicht gesteld bij subsidieaanvragen. Dit wordt onder andere gedaan omdat monitoren en evalueren de aanvragers helpen zicht te houden op hun project en het bereiken van hun doel.
Door een project te monitoren krijgt een projectleider inzicht in zijn project en weet tijdig wanneer en waar er bijgestuurd moet worden. Door stelselmatig, dus regelmatig, voor het project belangrijke feiten op een rijtje te zetten, houdt de projectleider grip op het project en is de kans groter dat het projectdoel gehaald wordt.
Dit kan zo uitgebreid en dus ook zo praktisch als nodig. Wetenschappelijke onderzoeken zijn hiervoor niet nodig. Ook vergelijkingen met andere soortgelijke projecten niet. (Het gaat ten slotte om het bereiken van jouw projectdoel en niet meer of iets anders te bereiken dan je collega-projectaanvragers). Wel is een duidelijk beeld over het te behalen doel nodig, welke subdoelen hier aan bijdragen en wat hiervoor gedaan moet worden. Dit leidt tot het meetbaar maken van je doel.
Om je doel meetbaar te maken en dus een instrumentarium te krijgen dat je in kunt zetten om te monitoren moet je allereerst je doel duidelijk stellen. Hoe specifieker je dit doet, des te gemakkelijker wordt het dit meetbaar te maken. Splits je doel hiervoor op in subdoelen. En blijf doorvragen (wat, hoe, wanneer, hoeveel, waar). Vertaal container begrippen in concrete doelen en probeer hierbij niet te verzanden in overtreffende woorden (beter, meer), maar maak het specifiek. Stel je doel en subdoelen zo SMART mogelijk op.
Als je je subdoelen hebt vastgesteld en je hebt hierbij in detail doorgevraagd, heb je enerzijds input voor je projectplan en anderzijds een aantal ijkpunten waarop je wilt monitoren. Per ijkpunt moet gekeken worden hoe je je dat gaat meten. Er zijn verschillende manieren van meten: gestructureerde gesprekken, vragenlijsten, documentstudie van aanwezig materiaal zijn enkele voorbeelden. Kun je het zelf doen, zoals het aantal scholen dat mee werkt of heb je hulp nodig. Omdat de subdoelen verschillen per project, is het lastig daar iets algemeens over te zeggen. Mocht je hier behoefte aan hebben, kijk ik graag een keer mee naar het projectplan, de doelen en subdoelen om samen te komen tot manieren waarop iets gemeten kan worden. Kijk ook naar mijn blog: tien tips voor het meten van effecten en enkele cases toegelicht in mijn blog over het meetbaar maken van effecten van projecten of programma.
De eerste meting is bij aanvang. Je wilt ten slotte de beginsituatie weten.
Vervolgens ga je naar behoeve gedurende het project meten. Dit kan halfjaarlijks of jaarlijks. De ijkpunten die je hebt gebruikt bij de eerste meting, ga je gedurende het project regelmatig vaststellen. Indien nodig kun je een informatiesysteem ontwerpen waarin de benodigde informatie op gezette tijden aangeleverd wordt. Je kunt hierbij denken aan halfjaarlijks terugkerende gesprekken met een vast structuur met betrokken partijen of aan het jaarlijks bestuderen van het beleidsplan van de school via een vast stramien.
Zorg er voor dat je telkens weer dezelfde soort informatie krijgt waardoor ontwikkeling zichtbaar is, maar ook die informatie waarop je kunt sturen.
[1] Enkele voorbeelden van vragen: Wat verstaan wij onder een doorgaande leerlijn? Hoe moet deze eruit zien? Wat is een relatie tussen school en culturele instelling (elkaars telefoonnummer hebben, op de hoogte zijn van het aanbod, regelmatig overleggen hoe het cultureel aanbod ingepast kan worden in het curriculum). Over hoeveel scholen gaat het? Wat is het deskundigheidsniveau van leerkrachten nu en wat zou het moeten zijn. Wat definieert het deskundigheidsniveau (inhoudelijke kennis, vaardigheid om cultuur te relateren aan andere lesstof).
Meer informatie over Monitoring
Voor het meten van effecten van projecten zijn zowel interne redenen als externe redenen te noemen. Voor projecteigenaren is het interessant om effecten te meten, maar ook voor financierende partijen. In deze blog zal ik het belang van het meten van effecten uiteenzetten.
1. Legitimiteit van een project aantonen
Het is steeds belangrijker om aan te tonen waarom jouw project belangrijk is. Eén van de manieren om jouw project van andere projecten te onderscheiden, is aantonen dat jouw project werkt. Dat je effect hebt met de dingen die worden gedaan.
Enkele voorbeelden van effecten die je kunt meten: Leerlingen gaan nadenken over een technische studie en beroep. Ze krijgen een andere houding tav wetenschap en techniek. Ze krijgen een vragende houding. Kinderen gaan meer bewegen. Leerlingen kunnen zich beter uitdrukken. Er is kennis opgedaan op een bepaald gebied, zoals kunst of techniek.
2. Verantwoording van een project
Door effecten te meten kun je aan je subsidiegevers en andere financiers verantwoorden dat hun financiële bijdrage heeft gezorgd voor het bereik van het projectdoel en zo ook hun doel.
3. Ter verbetering van het project
Bij het meten van effecten kan tevens gekeken worden welke elementen zorgen voor deze effecten. Deze elementen kunnen versterkt worden. Van niet-werkzame elementen kan gekeken worden of ze aangepast dan wel geëlimineerd kunnen worden.
4. Besluitvorming voeden
Door de effecten van projecten vast te stellen, kan een organisatie kijken welke projecten uitgevoerd blijven worden, omdat ze bijdragen aan de doelstelling en welke niet. Door regelmatig effecten te meten, krijgt een organisatie inzicht in wat werkt en wat niet. Het meten van effecten voedt een lerende organisatie.
Meer weten? Lees dan ook mijn blog 'Tien tips voor het meten van effecten'
Het formuleren van doelen kan lastig zijn. De meest bekende richtlijn is SMART. Andere richtlijnen zijn RUMBA en PRISMA. Door je doelen Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden (SMART) te formuleren zorg je ervoor dat je doel sturend is. In mijn blog ‘waarom je projectdoelen moet stellen?’ vertel ik je daar meer over. In deze blog leg ik uit waar SMART voor staat.
Omschrijf het doel duidelijk en concreet. Het moet een waarneembare actie, gedrag of resultaat beschrijven waaraan een getal, bedrag, percentage of ander kwantitatief gegeven verbonden is.
Een heldere doelstelling geeft antwoord op de zes w-vragen. Een vage doelstelling ("we moeten meer jongeren interesseren voor een technologische opleiding") is vaak niet meer dan de wens om de huidige situatie te verlaten (dreigend te kort aan technologisch personeel). Een échte doelstelling moet dan nog worden bedacht.
De betrokkenen moeten een duidelijk verband zien tussen de doelstelling en de activiteiten die van ze gevraagd worden. Naarmate de doelstelling preciezer geformuleerd is, wordt het makkelijker er invulling aan te geven.
Hoeveel gaan we doen? Hoe kunnen we dat meten? Er moet een systeem, methode en procedure zijn, dan wel ontworpen worden om te bepalen in welke mate het doel op een bepaald moment bereikt is.
Doe een nulmeting, om de startsituatie te bepalen. Met een nulmeting is het gemakkelijker om later effecten van het prject te bepalen, omdat je de startsituatie in beeld hebt gebracht.
Is er draagvlak voor wat je doet? Is het in overeenstemming met het beleid en de doelstellingen van de organisatie? Zijn de betrokkenen bereid zich te verbinden aan de doelstelling?
Wanneer je als leidinggevende een doel voor een groep mensen stelt, dan is het belangrijk dat er draagvlak voor is. De medewerkers en betrokkenen moeten het willen, anders wordt het doel niet gehaald of beklijft de verandering niet.
Je kunt het draagvlak vergroten door mensen actief te betrekken bij het kiezen en formuleren van de doelstelling. Het is belangrijk ze daarbij daadwerkelijk inspraak te geven. Met name korte-termijndoelen moeten zo laag mogelijk in de organisatie worden bepaald.
Is het doel haalbaar? Is er een uitvoerbaar plan met aanvaardbare inspanningen? Kunnen de betrokkenen de gevraagde resultaten daadwerkelijk beïnvloeden? Hebben ze voldoende know-how, capaciteit, middelen en bevoegdheden? Dit is belangrijk, want een onbereikbaar doel motiveert mensen niet.
Bij moeilijk bereikbare doelstellingen helpt het opsplitsen van het hoofddoel in kleinere haalbare subdoelstellingen. De tussentijdse resultaten geven telkens nieuwe energie.
Wanneer beginnen de activiteiten? Wanneer zijn de activiteiten klaar? Wanneer is het doel bereikt? Een SMART-doelstelling heeft een duidelijke startdatum en einddatum.
Als ondernemer zit je vaak boordevol ideeën met interessante producten en diensten om problemen van je doelgroep op te lossen of om ze meer te bieden waar ze dol op zijn. Je idee is geweldig, dus zullen er klanten zijn die het willen kopen. Toch? Je kent je doelgroep dus je weet wat ze willen. Toch? Veel ideeën worden doorgevoerd gebaseerd op aannames dat er vraag is naar het product dat jij aan gaat bieden. Vervolgens blijf je worstelen om het goed in de markt te zetten en blijven de verkopen tegen vallen.
Om er zeker van te zijn dat je idee aansluit op de wensen en behoeften van je potentiële klanten en dat je weet hoe ze te bereiken, is het belangrijk om van te voren een marktonderzoek uit te voeren.
De voordelen van een marktonderzoek
Een nadeel? Een marktonderzoek kost tijd en geld, zonder dat je al een product aan het ontwikkelen bent. Maar dat weegt nauwelijks op tegen de informatie die je uit een marktonderzoek kan halen.
Wij raden je dus altijd aan om een marktonderzoek uit te voeren wanneer je een nieuw product op de markt brengt. Dat kan je zo groot en zo klein maken als je wilt.
Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.
Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.
Met evalueren hou je het resultaat tegen het licht. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij benoem je de succesfactoren en de verbeterpunten . Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.
Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.
Wil jij ook inzicht in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!
Een goed onderzoek voldoet aan een aantal criteria. Een aantal criteria hebben we al eerder besproken zoals betrouwbaarheid, onafhankelijk en objectief. Een ander belangrijk criteria is dat het onderzoek herhaalbaar moet zijn.
Het criteria herhaalbaarheid sluit erg aan op de criteria objectief en onafhankelijk. Een onderzoek is herhaalbaar als een andere onderzoeker met hetzelfde onderzoek dezelfde resultaten kan bereiken. Het onderzoek moet dus op een ander tijdstip, met andere respondenten, andere omstandigheden en door een andere onderzoeker gedaan kunnen worden. Het meetinstrument moet dus zo worden ontworpen dat iedereen er mee kan werken en dezelfde resultaten kan bereiken.
In je rapportage wordt een hoofdstuk geschreven over de onderzoeksmethodiek. Hierin wordt beschreven welke methodiek je hebt gebruikt voor het onderzoek. Je beschrijft in dit hoofdstuk ook welke stappen je hebt gezet om de data te verzamelen. Hiermee kan het onderzoek door anderen worden herhaald.
Er zijn verschillende manieren om bezoekersonderzoek uit te voeren. Welke onderzoeksmethode het meest efficiënt werkt, is afhankelijk van het doel van je onderzoek, en wat je nodig hebt om dit doel te bereiken: wil je er zelf beter van worden of moet je je verantwoorden aan andere partijen? En heb je dan kwantitatieve of kwalitatieve gegevens nodig? Ik vertel je over verschillende efficiënte onderzoeksmethoden.
Een bezoekersonderzoek kun je zo groot en klein maken als je wilt. Het is daarbij belangrijk om het comfort van de bezoeker voorop te stellen. Zo raad ik bij vragenlijsten aan om een vragenlijst van maximaal 10 minuten, liever 5 minuten op te stellen. Beperk je daarbij tot vragen die je nodig hebt om antwoord te kunnen geven op je onderzoeksvraag. Lees hier meer over in mijn blog need to know of nice to know.
Mensen moeten het leuk vinden om mee te werken aan je onderzoek. Je kunt met scheurkaartjes bijvoorbeeld hele korte vragenlijsten maken. Of door het plaatsen van een ‘stellingenwand’ waar mensen kort hun mening kunnen geven en tevens reacties van andere bezoekers kunnen lezen. Maar je kunt ook bezoekers benaderen voor korte interviewtjes. Hierin kan de respondent met een kopje koffie zijn/haar verhaal kwijt. Dit vinden respondenten vaak fijner om te doen dan een vragenlijst invullen.
Een vragenlijst kan uiteraard ook. Je kunt dan kiezen voor een fysieke of digitale vragenlijst, die je ter plekke laat invullen of later per mail opstuurt. Ik raad aan om vragenlijsten ter plekke in te laten vullen.
Tot slot kun je er voor kiezen om niet de bezoekers te benaderen, maar ze juist te observeren. Dat kan middels tracking, of door een observatielijst op te stellen om zelf op locatie de acties van bezoekers te volgen, of door een mystery guest in te zetten. De laatste methode kun je bijvoorbeeld gebruiken om te zien hoe klantvriendelijkheid jouw organisatie is.
Meer weten over creatieve onderzoeksmethoden? Lees dan hier mijn blog Creatief met onderzoeksmethoden. Meer weten over hoe ik je kan helpen bij bezoekersonderzoek? Neem dan contact met me op.
De onderzoekspopulatie bestaat uit de personen of organisaties die je in je onderzoek wilt betrekken. Omdat je meestal niet iedereen in de populatie kunt ondervragen, trek je een steekproef. In een representatieve steekproef zitten voldoende respondenten (let op uitval: niet iedereen in de steekproef zal meewerken aan je onderzoek) en hierin zitten alle deelgroepen vertegenwoordigd (mannen-vrouwen, jong-oud, ...).
Bij een aselecte steekproef heeft iedereen uit de onderzoekspopulatie een even grote kans om in de steekproef terecht te komen. Hiervoor zijn een aantal methoden mogelijk:
Bij een selecte steekproef maakt niet iedereen kans om in de steekproef terecht te komen. De resultaten gelden enkel voor de onderzochte groep. Er zijn een aantal selecte steekproeven mogelijk:
Bij een kwantitatief onderzoek wil je tijdens en na je veldwerk je respons controleren of eventuele subgroepen evenredig vertegenwoordigd zijn. Door vooraf te kiezen voor de juiste steekproefvorm kun je grote afwijkingen voorkomen, maar de daadwerkelijke respons kan anders zijn dan je steekproef. Controleer bijvoorbeeld op de verhouding mannen en vrouwen of op verschillende leeftijdsgroepen, maar ook andere kenmerken die voor jouw onderzoekspopulatie van belang kunnen zijn. Ter vergelijking kun je gebruik maken van algemene cijfers van het CBS Voorwaarde is natuurlijk wel dat je naar deze kenmerken hebt gevraagd. Denk hier dus over na bij het opstellen van je vragenlijst.
