Onlangs interviewde een stagiaire mij over de voor- en nadelen van een onderzoeksbureau. Ze liep stage voor een organisatie die graag de effecten van hun projecten inzichtelijk wilde maken, maar waren zoekende naar de beste manier dit aan te pakken. Het nadeel van een onderzoeksbureau is dat het geld kost en deze middelen kunnen beter aan het project zelf besteed worden.
Maar is een onderzoeksbureau duur? Of is een onderzoeksbureau effectiever en efficiënter dan zelf een onderzoek doen?
Het formuleren van de juiste onderzoeksvraag en de daarbij behorende onderzoeksmethodiek kiezen is een vak. Menig medior onderzoeker struikelt hier nog over. Verwacht dus niet van jezelf of een stagiaire dat deze dit kan. Hier is kennis en vooral ervaring voor nodig.Bij een verkeerd gekozen onderzoeksvraag of methodiek, krijg je na het onderzoek niet de antwoorden op je vragen die je nodig hebt. Je hebt energie gestoken in verkeerde informatie.
Na het formuleren van de onderzoeksvraag en het uitdokteren van de juiste methodiek om deze vragen beantwoord te krijgen, zijn er allerlei drempels en valkuilen om de juiste en voldoende informatie te verzamelen en deze vervolgens te formuleren als antwoorden op je vragen. Een onderzoeksbureau weet een goede vragenlijst/interviewleiddraad op te stellen waardoor niet alleen de oppervlakkige informatie wordt ingewonnen. Ze weet om te gaan met een lage respons en kunnen een grote hoeveelheid data vertalen in antwoorden en aanbevelingen. Doordat ze ervaring hebben met het uitzetten van veldwerk, analyse en rapporteren zijn ze hier minder tijd mee kwijt dan een medewerker. Ze weten welke drempels er zijn en waar de valkuilen zitten.
Door een onderzoeksbureau in te schakelen koop je inzicht in effecten. Voor een vooraf gesproken bedrag koop je een onderzoeksrapportage waarin de informatie staat waar je behoefte aan hebt. Je krijgt antwoord op je vragen. Al het andere is voor het onderzoeksbureau om op te lossen.
Als je gemeten effecten wilt communiceren naar derden, wil je niet het “wij van wc-eend, adviseren wc-eend” effect. Je onderzoeksresultaten zullen niet betrouwbaar worden gevonden als je zelf hebt gemeten volgens je eigen maatstaf. Een onderzoeksbureau zal zorgen voor een objectieve meting, waarbij de uitkomsten hetzelfde zullen zijn als het onderzoek door anderen herhaalt wordt.
Onderzoek doen kan tijdsintensief zijn. Zeker als je hier onvoldoende ervaring mee hebt. Als een medewerker een effectmeting doet kost dit uren en zo ook geld. Dit gaat ten koste van de andere werkzaamheden.
Meer weten over het doen van onderzoek? Bekijk hier wat ik voor je kan betekenen!
Door regelmatig effecten te meten kun je veel leren. Sommige dingen, zoals deelnemersaantallen, zijn makkelijk vast te leggen, maar zeggen niets over daadwerkelijk doelbereik. Kwaliteit en impact van je organisatie monitoren en evalueren levert handvatten voor prestatieverbetering, maar is complexer en vereist meer consistentie in onderzoeksmethodiek. Hierbij ontstaan in de praktijk dan ook vaak drempels. Die zijn met een andere invalshoek echter relatief simpel op te lossen.
Van evalueren kun je leren. Wat je leert is afhankelijk van wat je evalueert. Een aantal mogelijke leerpunten zijn:
Een procesevaluatie gericht is op de manier waarop je werkt en samenwerkt. Van een procesevaluatie profiteer je dus bij alle volgende projecten, maar ook bij doorlopende processen.
Wacht dus niet tot het project is afgelopen met nadenken over evalueren. Plan bij voorkeur al bij de opzet van je project een evaluatie. Op welke momenten wil je evalueren? En wat wil je dan weten. Zijn er bepaalde mijlpalen in het project waarop het slim is om te reflecteren op het verloop van het project? Als je hier bij aanvang over nadenkt, wordt het gemakkelijker deze na afloop te beantwoorden.
Over de verschillende fasen van het proces, kun je de volgende vragen stellen.
Beantwoord deze evaluatievragen samen met het projectteam en zo nodig met externe partijen. Concentreer je niet op wat er niet goed ging, maar op wat er wel goed ging. Mensen leren namelijk meer van successen dan van fouten.
Organisaties vragen zich gedurende evaluaties vaak de vraag 'doen we de dingen goed?'. Een goede vraag, die je wilt beantwoorden om je projecten te verbeteren. Maar als je je doelen wilt bereiken, is de vraag 'doen we de goede dingen?' belangrijker. Een vraag die helaas veel minder vaak wordt gesteld. Je wilt graag weten of de ontwikkelde activiteiten bijdragen aan de beoogde doelstelling en dus het beoogde effect hebben.
Om deze vraag te beantwoorden, kun je effecten van je projecten gaan meten (Tien tips voor het meten van effecten), maar je kunt ook kritisch kijken naar waarom activiteiten worden uitgevoerd.
Veel instellingen hebben een visie en missie. Waarschijnlijk de instelling waar u werkt ook. Deze worden vervolgens vertaald in doelstellingen (en subdoelstellingen), die vervolgens omgezet zijn in activiteiten. Hier komen vaak een aantal aannames om de hoek. Een voorbeeld: Een gemeente die burgers wil stimuleren een gezond leven te leiden, kan besluiten sport te subsidiëren (de activiteit). Immers (verantwoord) bewegen is gezond. Door vervolgens alle sportverenigingen te subsidiëren, wordt de aanname gemaakt dat elke sport leidt tot meer bewegen is dus gezond is. Er zijn echter ook sporten, zoals denksport (bridge, schaken) en vaardigheidssporten (handboogschieten en darts) die niet leiden tot meer bewegen. Dit neemt niet weg dat ze andere positieve effecten hebben.
Als je wilt weten of je de goede dingen doet, kijk dan kritsisch naar de verbindingen tussen je missie, doelstellingen en je activiteiten. Zijn deze logisch met elkaar verbonden? Welke aannames zijn er gemaakt? Kun je werken met deze aannames?
Voor OTIB (het Opleidings- en Ontwikkelingsfonds voor het Technisch InstallatieBedrijf) heb ik de verbanden tussen missie, doelstellingen en meetpunten doorgelicht. Meer informatie over dit project vindt je bij 'wordt het doel bereikt als de meetpunten worden behaald?'. Wil je meer weten over het opstellen van meetpunten, kerncijfers of wil je deze verbanden binnen je organisatie onder het licht houden, kun je contact opnemen met mij via de mail (info@claudiadegraauw.nl) of telefoon (06 42 88 77 29).
Bij iedere onderzoeksvraag hoort een eigen manier van onderzoeken. Bij de ene onderzoeksvraag is het antwoord het beste te vinden door het doen van kwalitatief onderzoek en bij de andere vraag past kwantitatief onderzoek juist beter. Maar wat houden kwalitatief en kwantitatief onderzoek nu precies in? En wanneer kies je voor een kwalitatieve methode en wanneer voor een kwantitatieve? Of maak je een combinatie?
Kwalitatief onderzoek is gericht op het verkrijgen van informatie over wát er leeft en waaróm. Het geeft diepgaande informatie door in te gaan op achterliggende motieven, meningen, gedachtes, wensen en behoeften van de onderzoeksgroep. is kwalitatief onderzoek de beste methode. Typische vragen voor kwalitatief onderzoek zijn vragen die beginnen met Waarom en Hoe.
Voorbeelden van onderzoeksvragen die door middel van kwalitatief onderzoek beantwoord worden:
De volgende methoden zijn passend voor kwalitatief onderzoek:
Kwantitatief onderzoek is gericht op hoeveelheid. Het geeft je cijfermatige resultaten over een bepaalde groep. Denk hierbij aan: 73% van de deelnemers heeft iets geleerd, gemiddeld krijgen we een rapportcijfer van 7,6 van onze bezoekers of 65% van de leerlingen is van mening veranderd. Typische vragen voor kwantitatief onderzoek zijn vragen die beginnen met hoeveel of in hoeverre.
Voorbeelden van onderzoeksvragen die door middel van kwantitatief onderzoek beantwoord worden:
Vaak wordt voor kwantitatief onderzoek gekozen om inzicht te krijgen in de gevolgen van een programma. Bijvoorbeeld als je verandering in attitude/houding aan wilt tonen naar aanleiding van een activiteit, project of programma. Of als je significante verschillen aan wilt kunnen tonen en deze wil generaliseren naar de massa. Ook voor het doen van cijfermatige uitspraken over een bepaalde doelgroep, kies je voor kwantitatief onderzoek.
Om betrouwbare uitspraken te kunnen doen in een kwalitatief onderzoek moet je onderzoek onder andere representatief zijn. Hiervoor heb je een minimaal aantal deelnemers nodig binnen je doelgroep die hun mening geven. Hiervoor kun je een steekproef trekken. Wanneer deze steekproef een bepaalde omvang en kenmerken heeft (afhankelijk van de onderzoeksvraag), kunnen uitspraken gegeneraliseerd worden naar de hele doelgroep.
De volgende methoden zijn passend voor kwalitatief onderzoek:
Voor de verwerking van kwantitatieve data heb je excel of SPSS nodig, waarmee je allerlei berekeningen kunt maken.
Kwalitatief en kwantitatief onderzoek zijn niet per definitie op zichzelf staand. Kwantitatief en kwalitatief onderzoek kunnen aanvullend zijn op elkaar. Zo kun je kwalitatief onderzoek doen om te komen tot een goede vragenlijst die je breder uitzet. Ook kun je de uitkomsten van een kwalitatief onderzoek interpreteren met kwalitatief onderzoek.
Voor meer inspiratie op het gebied van mogelijke onderzoeksmethoden, kun je kijken bij mijn blog: Een overzicht van verschillende onderzoeksmethoden.
Veel praktijkonderzoeken stoppen te vroeg. Onderzoeksvragen worden geformuleerd, data worden verzameld en conclusies worden getrokken. Maar dan houdt het helaas op. Met alleen de conclusies ben je er nog niet. Om aan de slag te kunnen met een onderzoek heb je actiepunten nodig. Onderzoek doe je namelijk niet voor de lol, maar omdat je iets wilt DOEN met de informatie die je hebt verzameld.
Je actiepunten sluiten aan op wat je wilde doen met de uitkomsten van je onderzoek. Als je oorspronkelijk doel was je programma beter aan te laten sluiten bij je doelgroep, dan hebben je actiepunten betrekking op het aanpassen van het programma, het veranderen van je communicatiemiddelen of het uitbreiden van een succesvol concept.
Hoe doe je dat?
Tijdens het onderzoek leer je snel veel over het onderwerp. Je krijgt grip om details, de pluspunten en de verbeterpunten. Het is dan gemakkelijk om oplossingen te bedenken en actiepunten te formuleren. Daarbij wordt je vaak geholpen tijdens het onderzoek, omdat uit je data ook oplossingen naar voren komen. Respondenten reiken je tijdens interviews mogelijke oplossingen aan. Ook in een vragenlijst kun je hier naar vragen.
Bedenk dus tijdens je onderzoek al dat je op het einde actiepunten gaat formuleren. Als je bij de dataverzameling en de analyse al aandacht hebt voor oplossingen en actiepunten, is het gemakkelijk deze stap ook te zetten. Bij het schrijven van je conclusies kun je er gemakkelijk actiepunten achter zetten. Zorg ervoor dat dit steeds een doorgaande lijn is: vraag → oplossing(en) → mogelijke actiepunten.
Mijn onderzoeken sluit ik af met conclusies en actiepunten. Dat doe ik door tijdens mijn onderzoek steeds overzicht te houden op alle vragen en drempels, oplossingen en argumenten en aansluitend mogelijke actiepunten. Graag kijk ik samen met de opdrachtgevende organisatie wat vervolgens praktisch mogelijk is. Het verschilt namelijk per organisatie wat kan en wat bij hen past.
Eén van onze meest gelezen blogs gaat over de vragen die je moet stellen bij een procesevaluatie. Zo’n evaluatie is gericht op de manier waarop je werkt en samen (hebt) gewerkt. Maar bij de start van het project heb je ook vragen en tussentijds en/of na afloop van een project wil je de effecten inzichtelijk maken: Wat is de beginsituatie? Welke aannames doen we en kloppen deze wel? Is het doel bereikt? In hoeverre is de doelgroep bereikt? Wat zijn de succesfactoren van het project? En wat zijn verbeterpunten? Bij een projectevaluatie houdt je het resultaat tegen het licht. Met deze informatie kun je het project en/of toekomstige projecten verbeteren. Vragen die je kunt stellen tijdens de verschillende fases van het project:
Beantwoord deze vragen binnen het projectteam, maar betrek ook andere partijen, zoals de doelgroep, samenwerkingspartners en andere stakeholders.
Click on the flag to read this article in English
Er wordt vaak gedacht dat een effectmeting zonde is van het geld en dat de (schaars) beschikbare financiële middelen beter direct aan het programma besteed kunnen worden. Een effectmeting is echter een manier om beter en sneller naar je doel te bewegen, waardoor je project uiteindelijk minder zal kosten en meer zal opbrengen. Omdat je weet of je op de juiste koers zit, kun je je financiën binnen het programma gerichter en effectiever besteden. Daarmee is een effectmeting dus geen kostenpost, maar een middel om geld te besparen.
Het belang van het meten van effecten heb ik uitgelegd in mijn blog "Waarom wil je effect meten?". In deze blog een paar vragen om je te helpen bepalen of het voor jou handig is om een effectmeting te doen.
Als je meer van bovenstaande vragen met ja hebt beantwoord, is een effectmeting het overwegen waard. Een effectmeting is namelijk een essentieel onderdeel van je programma. Daarmee weet je of je programma werkt. En hoe je je doel beter kunt bereiken. Je kunt tijdig bijsturen op basis van inhoudelijke informatie.
Inzicht in jouw effecten en doelbereik? Lees hier hoe ik je hierbij kan helpen!
