In de afgelopen periode hebben we een aantal blogs geschreven over waar goed onderzoek aan moet voldoen. In deze blog brengen we deze criteria nog een keer kort onder de aandacht en verwijzen we naar de blogs per onderwerp.
De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Meer info: wat betekent betrouwbaarheid?
De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag? Meer info: wat is validiteit?
Dat betrouwbaarheid en validiteit met elkaar samenhangen, blijkt uit onderstaand plaatje.
Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie. Meer info: representativiteit: wat is het en hoe krijg je het?
Het onderzoek moet herhaalbaar zijn op een ander tijdstip, met een andere onderzoeker, andere steekproef (wel dezelfde doelgroep) en onder andere omstandigheden. Meer info: onderzoek moet herhaalbaar zijn
Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel. Meer info: objectief blijven bij kwalitatief onderzoek
Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘. Meer info: onafhankelijk onderzoek wat is het?
Deze blog gaat over het testen van een vragenlijst voorafgaande aan het daadwerkelijke onderzoek.
Wil je meer weten over waar je allemaal aan moet denken bij het uitvoeren van kwantitatief onderzoek, lees de volgende blogs:
Het testen heeft als doel om te kijken of je met je vragenlijst echt ophaalt wat je wilt ophalen. Meet je wat je wilt meten? Een andere vraag die je je moet stellen is of je met de data uit de vragenlijst je onderzoeksvragen kunt beantwoorden en vanzelfsprekend is het van belang dat er geen fouten in staan. Denk bij dit laatste aan foute of incomplete antwoordcategorieën of verkeerde doorverwijzingen waardoor respondenten vragen krijgen die niet voor deze respondent bestemd zijn of vragen juist niet krijgen die wel voor deze respondent van toepassing zijn. Wanneer je een groot, wetenschappelijk onderzoek gaat uitvoeren, zal het vooronderzoek onder een relatief grote groep respondenten moeten worden uitgevoerd. Hierbij wil je bijvoorbeeld ook antwoord krijgen op de vraag of bepaalde vragen/stellingen onder te brengen zijn in schalen op een statistisch verantwoorde wijze.
Test je vragenlijst onder respondenten die ook tot je uiteindelijke doelgroep behoren en ga na of tijdens het invullen van de vragenlijst met hen in gesprek. Haal hierbij op of alle vragen duidelijk zijn en niet multi-interpretabel. Vraag of het doel van het onderzoek helder is en hoe lang ze over het invullen van de vragenlijst hebben gedaan. De respondent mag in het gesprek gerust kritisch zijn, dit is namelijk het moment om nog aanpassingen te doen.
Sommige ‘fouten’ kun je niet achterhalen wanneer je je bij de pilot beperkt tot het spreken van je respondenten. Respondenten kunnen bijvoorbeeld niet weten wanneer zij vragen niet krijgen door foute doorverwijzingen. Analyseer je data verkregen uit de pilot zorgvuldig. Kijk of alle velden goed gevuld zijn en ga terug naar je onderzoeksvragen. Kun je met deze data de onderzoeksvragen beantwoorden. Gebruik de datacheck ook voor het testen van eventuele schaalconstructies.
Het is verstandig om je test te herhalen wanneer je de vragenlijst substantieel hebt aangepast. Een fout is snel gemaakt, zeker wanneer je er al lang mee bezig bent. Vraag een andere groep testrespondenten voor deze herhaalpilot. Zij kijken weer met een frisse blik naar de vragenlijst.
