Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.
Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.
Met evalueren hou je het resultaat tegen het licht. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij benoem je de succesfactoren en de verbeterpunten . Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.
Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.
Wil jij ook inzicht in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!
Stel je wilt een onderzoek doen onder een doelgroep die uit wel 10.000 mensen bestaat, moet je dan alle 10.000 mensen spreken om tot de juiste resultaten te komen? Zeker niet, slechts een deel van de onderzoekspopulatie hoeft mee te doen aan jouw onderzoek om tot representatieve resultaten te komen. Ik vertel je wat representativiteit inhoudt en wanneer iets representatief is.
Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie.
Een steekproef
Wanneer je een onderzoekspopulatie van 10.000 mensen hebt, zal je uiteindelijk 400 mensen moeten spreken om tot de mening van de grotere groep te komen. Dit houdt niet in dat je maar 400 mensen hoeft te benaderen. Je hebt te maken met een responspercentage. Dit is het percentage mensen dat meedoet aan je onderzoek. Je responspercentage is afhankelijk van het onderwerp dat je onderzoekt, hoe gemakkelijk en leuk het is om mee te doen aan jouw onderzoek en wat mensen ervoor terug krijgen. Ik ga vaak uit van 30% omdat ik vaak naar leuke onderwerpen onderzoek mag doen en inmiddels ervaring heb met het gemakkelijk maken van meedoen aan een onderzoek en ik de opdrachtgever vraag voor een leuk cadeautje voor de mensen die meedoen met het onderzoek. Tips om je respons te verhogen
Doordat niet iedereen mee zal doen aan je onderzoek zal je dus een grotere steekproef moeten trekken. Als je 400 respondenten nodig hebt en je uitgaat van een responspercentage van 30% heb je een steekproef van 400/30%=1.333 mensen nodig trekken.
Wanneer je een onderzoek doet moet je er rekening mee houden dat hoe kleiner de onderzoekspopulatie wordt, hoe groter het aantal respondenten wordt om tot representatieve eindresultaten te komen. Soms is echter de input die respondenten geven waardevoller dan de hoeveelheid mensen die meedoen. Je hebt het dan over kwalitatief onderzoek. In sommige gevallen kan het belangrijker zijn om te focussen op de resultaten van het onderzoek dan de representativiteit. Lees hierover meer in mijn blog ‘Kwalitatief en kwantitatief onderzoek: wat is wat?’.
Wil je weten hoeveel respondenten je nodig hebt voor jouw onderzoekspopulatie: ga dan naar een steekproefcalculator. Vaak geven deze ook meteen aan hoeveel mensen je moet benaderen in je steekproef.
Wanneer je een onderzoek uitvoert is het belangrijk dat de uitkomsten betrouwbaar zijn. Je wilt immers dat ze bruikbaar zijn en dat ze door derden serieus worden genomen. Om dat te bereiken moet het onderzoek onafhankelijk zijn. Maar wat betekent dat? Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: 'Wij van wc-eend, adviseren wc-eend'.
Belangrijk voor onafhankelijk onderzoek is te zorgen voor objectiviteit: jouw mening als onderzoeker, of die van andere belanghebbenden, laat je buiten beschouwing. Het is belangrijk om er zeker van te zijn dat je afstand houdt van het onderwerp en je vragen niet gestuurd zijn. Respondenten voelen zich zo niet gedwongen of gestuurd om een bepaald antwoord te geven. Je kunt testen of je onderzoek onafhankelijk is en daarmee betrouwbaarder door te kijken of het onderzoek herhaalbaar is: een andere onderzoeker kan hetzelfde onderzoek uitvoeren waarbij dezelfde resultaten worden gevonden.
Weten waar je nog meer rekening mee moet houden voor een onafhankelijk onderzoek, en wat voor onderzoeksmethoden er zijn? Lees de blogs Zelf onderzoek (leren) doen en Valkuilen van onderzoek doen of download mijn e-book met een routewijzer voor zelf onderzoek doen.
Eén van de onderzoeksmethodes die veel gebruikt wordt, is het houden van een interview. Het is belangrijk om dit goed voor te bereiden, zodat je de juiste informatie krijgt. Hieronder vind je 10 tips om goed beslagen ten ijs te komen.
Mocht je meer informatie willen over de onderzoeksmethode interview kijk dan naar een van deze blogs ‘Welke interviewmethoden zijn er en wanneer gebruik je ze?’ of ‘15 tips voor een goed interview’
Bij een literatuuronderzoek maak je slim gebruik van bestaande kennis. Je doet onderzoek naar reeds beschikbare gegevens ten behoeve van een probleemstelling. Zo kun je veel informatie verzamelen over trends, marktbewegingen, marktstructuur en ontwikkelingen zonder dat je zelf veldwerk hoeft te doen. Je ontdekt wat er al bekend is over jouw onderwerp en voorkomt dubbel werk.
Met deze 10 tips haal je het maximale uit je literatuurstudie:
Weet wat je wilt onderzoeken. Formuleer een duidelijke onderzoeksvraag en stel eventueel deelvragen op. Zo weet je waar je naar op zoek bent.
Bedenk goede zoektermen die passen bij je onderwerp. Deze woorden helpen je om snel relevante bronnen te vinden.
Heb je een goed artikel gevonden? Kijk dan naar de bronnen die daarin genoemd worden. Zo kom je steeds weer nieuwe publicaties tegen.
Zorg dat je gegevens up-to-date zijn. Verouderde informatie kan je onderzoek minder waardevol maken.
Voeg alleen informatie toe die antwoord geeft op je onderzoeksvraag. Maak er één logisch geheel van.
Noteer altijd de bron van je informatie. Zo kun je later terugvinden waar je iets gelezen hebt.
Verwijs naar je bronnen volgens de APA-regels. Daarmee laat je zien dat je netjes werkt en voorkom je plagiaat.
Vraag jezelf steeds af: beantwoordt deze informatie mijn vraag? Zo houd je focus en voorkom je dat je afdwaalt.
Door verschillende bronnen te gebruiken, wordt je informatie betrouwbaarder.
Gebruik bij voorkeur (wetenschappelijke) artikelen via Google Scholar, rapporten of publicaties van betrouwbare websites of bronnen uit de bibliotheek.
In vragenlijsten wordt vaak gebruik gemaakt van antwoordschalen om de houding of mening van de respondenten meetbaar te maken. Deze schalen kun je ook gebruiken in individuele interviews, observaties, logboeken of scheurkaartjes.
Het verschil tussen diverse schalen zit in het aantal punten. Hoe meer punten een schaal heeft hoe gedetailleerder de respondent kan antwoorden.
Voorbeelden van verschillende schalen:
Als je een representatieve mening van een bepaalde groep Nederlanders nodig hebt, bijvoorbeeld vrouwen tussen de 35 en 60 jaar maar ook ouders van kinderen op de basisschool of inwoners van Amsterdam, kun je kiezen voor een vragenlijst onder een panel.
Een panel wordt gevormd door een representatieve groep Nederlanders die aangegeven heeft dat ze regelmatig willen meedoen aan een onderzoek. Vaak worden deze panels beheerd door marktonderzoekbureaus, maar ook door andere onderzoekbureaus. Je koopt een aantal vragen en respondenten in. De panelbeheerder legt de panelleden een digitale vragenlijst voor. Meestal wordt er binnen een aantal weken een databestand opgeleverd met een weegfactor. Je kunt dan snel met de uitkomsten van het onderzoek aan de slag.
Het kan interessant zijn om gedurende het jaar een aantal keer een panelonderzoek te doen. Als je vaker data verzamelt, kun je vergelijkingen gaan maken bijvoorbeeld over een verandering van houding of bekendheid met een bepaald product of dienst. Als je in dat jaar aanpassingen doet, kan je zien wat de resultaten hiervan zijn.
Tips:
Het is niet altijd nodig om zelf data te verzamelen. Je kunt ook gebruik maken van bestaande bronnen. Denk hierbij aan databestanden die je kunt kopen bij bijvoorbeeld SCP of CBS, maar ook aan je eigen administratie of kassaregistratiesysteem. Je maakt gebruik van bestaande databestanden als je meer wilt weten over een bepaald onderwerp waar landelijk gegevens over worden verzameld of als je kwantitatieve data wilt over je eigen organisatie. Er wordt al veel data verzameld. Maak daar slim gebruik van.
Kijk hier voor een overzicht van verschillende onderzoeksmethoden
Click on the flag to read this article in English
Een intensievere manier van gegevens verzamelen is respondenten vragen een logboek of dagboek bij te houden. Deelnemers registreren in een schriftje of in een app hun daadwerkelijk gedrag. Denk hierbij aan een eetdagboek of beweegdagboek. In de sportsector maar ook door voedingsdeskundigen wordt deze onderzoeksmethode geregeld gebruikt.
Op deze manier verzamel je diepgaande, gedetailleerde informatie over daadwerkelijk gedrag (zeker als je het vast laat leggen met foto’s) en mogelijk ook ervaringen van deelnemers. Geef duidelijk aan wat ze bijvoorbeeld dagelijks bij moeten houden en je krijgt kwantificeerbare data over daadwerkelijk gedrag.
Je kunt hierbij handig gebruik maken van de smartphone en bijvoorbeeld vragen elke dag een foto te maken van hun avondeten of hun creatieve uitingen. Met deze informatie kun je je project, programma of activiteit verbeteren.
De mysterie shopper is iedereen bekend: iemand die met een opdracht gaat winkelen of producten retourneren om te kijken hoe de ervaring is voor de klant en hoe medewerkers omgaan met klanten. Een variatie hierop is de mysterie bezoeker: iemand die zich voordoet als een alledaagse bezoeker en zo de gehele consumentenervaring registreert. Je kunt de mysterie bezoeker hierbij een extra opdracht meegeven, bijvoorbeeld een klacht. De mysteriebezoeker vult na afloop van het bezoek een vragenlijst in met criteria.
Je kiest voor een mysterie bezoeker als klantgerichtheid, de faciliteiten van je organisatie of commerciële vaardigheden van medewerkers wilt analyseren. Het doel is om op basis van de klantervaring te evalueren en waar mogelijk te verbeteren.
Een mysterie bezoeker kan verder gaan in het geven van zijn/haar ervaring en geeft geen sociaal wenselijke antwoorden. Bij echte bezoekers heb je wel het risico op sociaal wenselijke antwoorden. Een ander voordeel is dat je je bezoekers niet belast. Je bent dan ook niet afhankelijk van respondenten.
Ben je cursist? Log hier in op de Academie voor Onderzoek
