Een goed onderzoek dient aan een aantal criteria te voldoen; het moet valide, betrouwbaar, representatief, onafhankelijk, objectief en herhaalbaar zijn. Wat wordt hiermee precies bedoeld?
De validiteit geeft aan in hoeverre het onderzoek meet wat het moet meten. Als je een vragenlijst gebruikt, kun je je bijvoorbeeld het volgende afvragen: Zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag?
Door een vragenlijst te testen, kun je achterhalen of deze valide is. Je kunt de vragen bijvoorbeeld voorleggen aan een testgroep die lijkt op je onderzoekspopulatie. Zijn alle vragen voor hen helder of zijn er onduidelijkheden?
Na deze test ga je de antwoorden analyseren en vraag je advies van een collega-onderzoeker. Zijn de antwoorden consistent? Klopt de logica binnen de vragenlijst? Komen de uitkomsten overeen met soortgelijke onderzoeken?
Bij nieuw te ontwikkelen onderzoeksinstrumenten is het belangrijker om te testen, aan te passen en opnieuw te testen. Met name als je abstractere begrippen wilt meten, zoals houding of ontwikkeling, is uitgebreid testen nodig om een valide vragenlijst te krijgen.
Bij gebruik van een bestaande vragenlijst , moet je even kijken of deze reeds getest is op begrip en consistentie.
Validiteit en betrouwbaarheid hangen nauw met elkaar samen, zoals blijkt uit onderstaand plaatje.
De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat herhaling van het onderzoek dezelfde uitkomsten geeft.
Bij een betrouwbaarheidspercentage van 95% is er bij herhaling 95% kans dat de antwoorden van andere respondenten binnen deze doelgroep hetzelfde zijn. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.
Hoeveel respondenten nodig zijn, is afhankelijk van de grootte van de onderzoekspopulatie. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel een relatief groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals de foutenmarge en de homogeniteit van de onderzoekspopulatie. Je kunt de steekproefcalculator als leidraad gebruiken.
Verder is van belang of je de juiste mensen hebt gevraagd. Heb je alleen mensen gevraagd die je kent en waarvan je weet dat ze tevreden zijn? Of heb je mensen willekeurig geselecteerd? Let wel: niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.
Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Bij (groeps)interviews spreek je vaak met belangrijke spelers in het veld, deelnemers, samenwerkingspartners of andere belanghebbenden. Zorg dat je verschillende mensen spreekt met verschillende standpunten. Je moet je vraagstuk van verschillende kanten kunnen bekijken. Kies je gesprekspartners dus bewust.
Bij literatuurstudie is het belangrijk dat je in de volledige breedte kijkt naar de literatuur. Kijk naar verschillende standpunten en theorieën. Dus niet alleen theorieën die jouw standpunt onderbouwen, maar kijk ook naar criticasters.
Zoals gezegd wordt de betrouwbaarheid van je onderzoek voor een groot deel bepaald door de representativiteit.
Representativiteit betekent de mate waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je wilt dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie.
Stel, je wilt een onderzoek doen onder een doelgroep die uit wel 10.000 mensen bestaat, moet je dan alle 10.000 mensen spreken om tot de juiste resultaten te komen? Zeker niet, slechts een deel van de onderzoekspopulatie hoeft mee te doen aan jouw onderzoek om tot representatieve resultaten te komen.
Wanneer je een onderzoekspopulatie van 10.000 mensen hebt, zal je uiteindelijk 400 mensen moeten spreken om tot de mening van de grotere groep te komen. Dit houdt niet in dat je maar 400 mensen hoeft te benaderen. Je hebt te maken met een responspercentage. Dit is het percentage mensen dat meedoet aan je onderzoek. Je responspercentage is afhankelijk van het onderwerp dat je onderzoekt, hoe gemakkelijk en leuk het is om mee te doen aan jouw onderzoek en wat mensen ervoor terug krijgen. Ik ga vaak uit van 30% omdat ik vaak naar leuke onderwerpen onderzoek mag doen en inmiddels ervaring heb met het gemakkelijk maken van meedoen aan een onderzoek en ik de opdrachtgever vraag voor een leuk cadeautje voor de mensen die meedoen met het onderzoek.
Doordat niet iedereen mee zal doen aan je onderzoek zal je dus een grotere steekproef moeten trekken. Als je 400 respondenten nodig hebt en je uitgaat van een responspercentage van 30% heb je een steekproef van 400/30%=1.333 mensen nodig trekken.
Wanneer je een onderzoek doet moet je er rekening mee houden dat hoe kleiner de onderzoekspopulatie wordt, hoe groter het aantal respondenten wordt om tot representatieve eindresultaten te komen. Soms is echter de input die respondenten geven waardevoller dan de hoeveelheid mensen die meedoen. Je hebt het dan over kwalitatief onderzoek. In sommige gevallen kan het belangrijker zijn om te focussen op de resultaten van het onderzoek dan de representativiteit..
Wil je weten hoeveel respondenten je nodig hebt voor jouw onderzoekspopulatie: ga dan naar een steekproefcalculator. Vaak geven deze ook meteen aan hoeveel mensen je moet benaderen in je steekproef.
Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘.
Belangrijk voor onafhankelijk onderzoek is te zorgen voor objectiviteit: jouw mening als onderzoeker, of die van andere belanghebbenden, laat je buiten beschouwing. Het is belangrijk om er zeker van te zijn dat je afstand houdt van het onderwerp en je vragen niet gestuurd zijn. Respondenten voelen zich zo niet gedwongen of gestuurd om een bepaald antwoord te geven..
Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel.
Het criterium herhaalbaarheid sluit nauw aan op de criteria onafhankelijk en objectief.
Een onderzoek is herhaalbaar als een andere onderzoeker met hetzelfde onderzoek dezelfde resultaten kan bereiken. Het onderzoek moet dus op een ander tijdstip, met andere respondenten, andere omstandigheden en door een andere onderzoeker gedaan kunnen worden. Het meetinstrument moet dus zo worden ontworpen dat iedereen er mee kan werken en dezelfde resultaten kan bereiken.
In je rapportage wordt een hoofdstuk geschreven over de onderzoeksmethodiek. Hierin wordt beschreven welke methodiek je hebt gebruikt voor het onderzoek. Je beschrijft in dit hoofdstuk ook welke stappen je hebt gezet om de data te verzamelen. Hiermee kan het onderzoek door anderen worden herhaald.
Deze blog gaat over het testen van een vragenlijst voorafgaande aan het daadwerkelijke onderzoek.
Wil je meer weten over waar je allemaal aan moet denken bij het uitvoeren van kwantitatief onderzoek, lees de volgende blogs:
Het testen heeft als doel om te kijken of je met je vragenlijst echt ophaalt wat je wilt ophalen. Meet je wat je wilt meten? Een andere vraag die je je moet stellen is of je met de data uit de vragenlijst je onderzoeksvragen kunt beantwoorden en vanzelfsprekend is het van belang dat er geen fouten in staan. Denk bij dit laatste aan foute of incomplete antwoordcategorieën of verkeerde doorverwijzingen waardoor respondenten vragen krijgen die niet voor deze respondent bestemd zijn of vragen juist niet krijgen die wel voor deze respondent van toepassing zijn. Wanneer je een groot, wetenschappelijk onderzoek gaat uitvoeren, zal het vooronderzoek onder een relatief grote groep respondenten moeten worden uitgevoerd. Hierbij wil je bijvoorbeeld ook antwoord krijgen op de vraag of bepaalde vragen/stellingen onder te brengen zijn in schalen op een statistisch verantwoorde wijze.
Test je vragenlijst onder respondenten die ook tot je uiteindelijke doelgroep behoren en ga na of tijdens het invullen van de vragenlijst met hen in gesprek. Haal hierbij op of alle vragen duidelijk zijn en niet multi-interpretabel. Vraag of het doel van het onderzoek helder is en hoe lang ze over het invullen van de vragenlijst hebben gedaan. De respondent mag in het gesprek gerust kritisch zijn, dit is namelijk het moment om nog aanpassingen te doen.
Sommige ‘fouten’ kun je niet achterhalen wanneer je je bij de pilot beperkt tot het spreken van je respondenten. Respondenten kunnen bijvoorbeeld niet weten wanneer zij vragen niet krijgen door foute doorverwijzingen. Analyseer je data verkregen uit de pilot zorgvuldig. Kijk of alle velden goed gevuld zijn en ga terug naar je onderzoeksvragen. Kun je met deze data de onderzoeksvragen beantwoorden. Gebruik de datacheck ook voor het testen van eventuele schaalconstructies.
Het is verstandig om je test te herhalen wanneer je de vragenlijst substantieel hebt aangepast. Een fout is snel gemaakt, zeker wanneer je er al lang mee bezig bent. Vraag een andere groep testrespondenten voor deze herhaalpilot. Zij kijken weer met een frisse blik naar de vragenlijst.
