Een goed onderzoek is meer dan een vragenlijst invullen of een paar mensen interviewen. Het steunt op zes pijlers: validiteit, betrouwbaarheid, representativiteit, onafhankelijkheid, objectiviteit en herhaalbaarheid. In deze blog leggen we uit hoe je deze zes punten toepast in de praktijk. Voldoet je onderzoek aan deze eisen, kun je erop vertrouwen dat je resultaten kloppen. Je maakt dan keuzes op basis van feiten, niet op gevoel. En anderen kunnen jouw werk controleren of herhalen. Dat maakt je onderzoek niet alleen sterker, maar ook waardevoller.
Validiteit betekent dat je onderzoek precies meet wat je wilt meten. Stel je maakt een vragenlijst. Dan is het belangrijk dat de vragen duidelijk zijn en dat iedereen ze op dezelfde manier begrijpt. Als mensen de vragen anders interpreteren, krijg je geen goede antwoorden. Daarom is het slim om je vragen eerst te testen bij een kleine groep. Zo ontdek je of alles duidelijk is en of de vragen echt passen bij je onderzoeksvraag. Met name als je abstractere begrippen wilt meten, zoals houding of ontwikkeling, is uitgebreid testen nodig om een valide vragenlijst te krijgen.
Een betrouwbaar onderzoek geeft bij herhaling dezelfde resultaten. Dat betekent dat je meetinstrument goed werkt en dat je genoeg mensen hebt ondervraagd. Hoeveel mensen dat zijn, hangt af van de grootte van je doelgroep. Bij een grote groep heb je meer respondenten nodig dan bij een kleine. Gelukkig zijn er handige hulpmiddelen, zoals een steekproefcalculator, die je helpen bepalen hoeveel mensen je moet benaderen.
Bij kwalitatief onderzoek draait betrouwbaarheid om het spreken van de juiste mensen. Kies bewust gesprekspartners met verschillende perspectieven, zodat je het vraagstuk van meerdere kanten belicht. Bij literatuurstudie is het belangrijk dat je in de volledige breedte kijkt naar de literatuur. Kijk naar verschillende standpunten en theorieën. Dus niet alleen theorieën die jouw standpunt onderbouwen, maar kijk ook naar criticasters.
Je wilt dat je resultaten gelden voor de hele doelgroep, niet alleen voor de mensen die toevallig hebben meegedaan. Daarom moet je steekproef een goede afspiegeling zijn van de groep die je onderzoekt. Onderzoek je bijvoorbeeld jongeren tussen 15 en 18 jaar? Dan is het belangrijk dat je deelnemers verschillen in achtergrond, schooltype en woonplaats. Alleen zo kun je betrouwbare conclusies trekken.
Bij een populatie van 10.000 mensen heb je ongeveer 400 respondenten nodig voor representatieve resultaten. Omdat niet iedereen meedoet, moet je meer mensen benaderen. Het responspercentage, het percentage mensen dat daadwerkelijk meedoet aan je onderzoek, hangt af van het onderwerp, de toegankelijkheid van het onderzoek en eventuele beloningen. Zelf reken ik vaak met 30%, dankzij aantrekkelijke onderwerpen, een laagdrempelige aanpak en een leuke beloning voor deelnemers is dit haalbaar.
Een onderzoek moet onafhankelijk zijn. Dat betekent dat jij als onderzoeker geen belang hebt bij de uitkomst. Dit is vooral belangrijk als je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat het lijkt alsof je alleen maar positieve resultaten laat zien. Een onafhankelijk onderzoek geeft een eerlijk beeld, ook als de uitkomsten minder gunstig zijn.
Objectief zijn betekent dat je je eigen mening buiten het onderzoek houdt. Je stelt neutrale vragen en laat je mening niet merken tijdens interviews. Ook bij het analyseren van de resultaten blijf je zo feitelijk mogelijk. Het helpt om van tevoren een duidelijk plan te maken en je daaraan te houden. Laat ook anderen meekijken naar je conclusies. Zo voorkom je dat je onbewust sturing geeft aan het onderzoek.
Zo werk je zo objectief mogelijk:
Tot slot is het belangrijk dat je onderzoek herhaalbaar is. Dat betekent dat een andere onderzoeker, op een ander moment, met andere mensen, tot dezelfde resultaten moet komen. Dit lukt alleen als je precies beschrijft hoe je het onderzoek hebt uitgevoerd. Denk aan de methode die je hebt gebruikt, de manier waarop je data hebt verzameld en hoe je de vragen hebt opgesteld. Deze informatie zet je in het hoofdstuk ‘Onderzoeksmethodiek’ van je rapport.
Eén van de onderzoeksmethodes die veel gebruikt wordt, is het houden van een interview. Het is belangrijk om dit goed voor te bereiden, zodat je de juiste informatie krijgt. Hieronder vind je 10 tips om goed beslagen ten ijs te komen.
Mocht je meer informatie willen over de onderzoeksmethode interview kijk dan naar een van deze blogs ‘Welke interviewmethoden zijn er en wanneer gebruik je ze?’ of ‘15 tips voor een goed interview’
Bij een literatuuronderzoek maak je slim gebruik van bestaande kennis. Je doet onderzoek naar reeds beschikbare gegevens ten behoeve van een probleemstelling. Zo kun je veel informatie verzamelen over trends, marktbewegingen, marktstructuur en ontwikkelingen zonder dat je zelf veldwerk hoeft te doen. Je ontdekt wat er al bekend is over jouw onderwerp en voorkomt dubbel werk.
Met deze 10 tips haal je het maximale uit je literatuurstudie:
Weet wat je wilt onderzoeken. Formuleer een duidelijke onderzoeksvraag en stel eventueel deelvragen op. Zo weet je waar je naar op zoek bent.
Bedenk goede zoektermen die passen bij je onderwerp. Deze woorden helpen je om snel relevante bronnen te vinden.
Heb je een goed artikel gevonden? Kijk dan naar de bronnen die daarin genoemd worden. Zo kom je steeds weer nieuwe publicaties tegen.
Zorg dat je gegevens up-to-date zijn. Verouderde informatie kan je onderzoek minder waardevol maken.
Voeg alleen informatie toe die antwoord geeft op je onderzoeksvraag. Maak er één logisch geheel van.
Noteer altijd de bron van je informatie. Zo kun je later terugvinden waar je iets gelezen hebt.
Verwijs naar je bronnen volgens de APA-regels. Daarmee laat je zien dat je netjes werkt en voorkom je plagiaat.
Vraag jezelf steeds af: beantwoordt deze informatie mijn vraag? Zo houd je focus en voorkom je dat je afdwaalt.
Door verschillende bronnen te gebruiken, wordt je informatie betrouwbaarder.
Gebruik bij voorkeur (wetenschappelijke) artikelen via Google Scholar, rapporten of publicaties van betrouwbare websites of bronnen uit de bibliotheek.
Als je een representatieve mening van een bepaalde groep Nederlanders nodig hebt, bijvoorbeeld vrouwen tussen de 35 en 60 jaar maar ook ouders van kinderen op de basisschool of inwoners van Amsterdam, kun je kiezen voor een vragenlijst onder een panel.
Een panel wordt gevormd door een representatieve groep Nederlanders die aangegeven heeft dat ze regelmatig willen meedoen aan een onderzoek. Vaak worden deze panels beheerd door marktonderzoekbureaus, maar ook door andere onderzoekbureaus. Je koopt een aantal vragen en respondenten in. De panelbeheerder legt de panelleden een digitale vragenlijst voor. Meestal wordt er binnen een aantal weken een databestand opgeleverd met een weegfactor. Je kunt dan snel met de uitkomsten van het onderzoek aan de slag.
Het kan interessant zijn om gedurende het jaar een aantal keer een panelonderzoek te doen. Als je vaker data verzamelt, kun je vergelijkingen gaan maken bijvoorbeeld over een verandering van houding of bekendheid met een bepaald product of dienst. Als je in dat jaar aanpassingen doet, kan je zien wat de resultaten hiervan zijn.
Tips:
Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.
De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?
• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?
• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.
Bij het opzetten van een onderzoeksopzet komen er allerlei vragen naar boven. Veel is interessant, maar wat gaat je écht verder helpen? Probeer dit onderscheid steeds te maken tijdens alle fases van je onderzoek: bij het opstellen van je plan, het ontwerpen van je instrument, het verzamelen van je data, maar ook bij de analyse en rapportage. Welke informatie heb je nodig om je doel te bereiken en wat is ‘slechts’ interessant.
Niet verdwalen
Een onderzoek moet informatie opleveren. Maar teveel informatie is ook niet fijn. Je verdwaalt in je data en je kunt je onderzoeksvragen niet meer helder beantwoorden. Als je bijvoorbeeld een vragenlijst maakt, is het heel makkelijk om ‘die ene vraag’ er nog even in te stoppen, omdat het zo leuk is om te weten. Maar zullen de antwoorden ook echt nuttig zijn voor je onderzoek? Vraag jezelf daarom af welke informatie je écht nodig hebt om je onderzoeksvraag te beantwoorden.
Maak daarnaast een overzicht van de informatie die je al bezit. Zo voorkom je dubbel werk.
Helder doel opstellen
Zorg er voor dat je een helder doel voor ogen hebt. Welke informatie moet je onderzoek opleveren? Stel dat je wilt weten hoe je bezoekers jouw tentoonstelling ervaren. Dan is dat waar je onderzoek naar gaat doen. Houdt bij het opstellen van de vragenlijst steeds je doel erbij, zodat je alleen onderzoekt wat je ook echt wilt onderzoeken.
Keuzes maken
Maak keuzes in wat je wilt weten. Hoe doe je dat? Blijf deze vragen stellen om die keuzes goed te kunnen maken:
Veel praktijkonderzoeken stoppen te vroeg. Onderzoeksvragen worden geformuleerd, data worden verzameld en conclusies worden getrokken. Maar dan houdt het helaas op. Met alleen de conclusies ben je er nog niet. Om aan de slag te kunnen met een onderzoek heb je actiepunten nodig. Onderzoek doe je namelijk niet voor de lol, maar omdat je iets wilt DOEN met de informatie die je hebt verzameld.
Je actiepunten sluiten aan op wat je wilde doen met de uitkomsten van je onderzoek. Als je oorspronkelijk doel was je programma beter aan te laten sluiten bij je doelgroep, dan hebben je actiepunten betrekking op het aanpassen van het programma, het veranderen van je communicatiemiddelen of het uitbreiden van een succesvol concept.
Hoe doe je dat?
Tijdens het onderzoek leer je snel veel over het onderwerp. Je krijgt grip om details, de pluspunten en de verbeterpunten. Het is dan gemakkelijk om oplossingen te bedenken en actiepunten te formuleren. Daarbij wordt je vaak geholpen tijdens het onderzoek, omdat uit je data ook oplossingen naar voren komen. Respondenten reiken je tijdens interviews mogelijke oplossingen aan. Ook in een vragenlijst kun je hier naar vragen.
Bedenk dus tijdens je onderzoek al dat je op het einde actiepunten gaat formuleren. Als je bij de dataverzameling en de analyse al aandacht hebt voor oplossingen en actiepunten, is het gemakkelijk deze stap ook te zetten. Bij het schrijven van je conclusies kun je er gemakkelijk actiepunten achter zetten. Zorg ervoor dat dit steeds een doorgaande lijn is: vraag → oplossing(en) → mogelijke actiepunten.
Mijn onderzoeken sluit ik af met conclusies en actiepunten. Dat doe ik door tijdens mijn onderzoek steeds overzicht te houden op alle vragen en drempels, oplossingen en argumenten en aansluitend mogelijke actiepunten. Graag kijk ik samen met de opdrachtgevende organisatie wat vervolgens praktisch mogelijk is. Het verschilt namelijk per organisatie wat kan en wat bij hen past.
Het is niet altijd nodig om zelf data te verzamelen. Je kunt ook gebruik maken van bestaande bronnen. Denk hierbij aan databestanden die je kunt kopen bij bijvoorbeeld SCP of CBS, maar ook aan je eigen administratie of kassaregistratiesysteem. Je maakt gebruik van bestaande databestanden als je meer wilt weten over een bepaald onderwerp waar landelijk gegevens over worden verzameld of als je kwantitatieve data wilt over je eigen organisatie. Er wordt al veel data verzameld. Maak daar slim gebruik van.
Kijk hier voor een overzicht van verschillende onderzoeksmethoden
Click on the flag to read this article in English
De mysterie shopper is iedereen bekend: iemand die met een opdracht gaat winkelen of producten retourneren om te kijken hoe de ervaring is voor de klant en hoe medewerkers omgaan met klanten. Een variatie hierop is de mysterie bezoeker: iemand die zich voordoet als een alledaagse bezoeker en zo de gehele consumentenervaring registreert. Je kunt de mysterie bezoeker hierbij een extra opdracht meegeven, bijvoorbeeld een klacht. De mysteriebezoeker vult na afloop van het bezoek een vragenlijst in met criteria.
Je kiest voor een mysterie bezoeker als klantgerichtheid, de faciliteiten van je organisatie of commerciële vaardigheden van medewerkers wilt analyseren. Het doel is om op basis van de klantervaring te evalueren en waar mogelijk te verbeteren.
Een mysterie bezoeker kan verder gaan in het geven van zijn/haar ervaring en geeft geen sociaal wenselijke antwoorden. Bij echte bezoekers heb je wel het risico op sociaal wenselijke antwoorden. Een ander voordeel is dat je je bezoekers niet belast. Je bent dan ook niet afhankelijk van respondenten.
De juiste keuze en opmaak voor grafieken en diagrammen zorgt ervoor dat de onderzoeksresultaten gelezen en begrepen worden. Probeer dus altijd te bedenken wat de belangrijkste boodschap is die je wilt overbrengen en of de grafiek deze boodschap ook daadwerkelijk overbrengt. Vooral bij kwantitatief onderzoek is het zaak om de juiste grafieken en opmaak te kiezen die de data goed weergeven. Ik geef een aantal tips:
Wanneer welke grafiek?
Ben je cursist? Log hier in op de Academie voor Onderzoek
