Een goede vragenlijst maken lijkt eenvoudig, maar er komt meer bij kijken dan je denkt. Je wilt duidelijke antwoorden, betrouwbare data én dat mensen je vragenlijst ook echt invullen. In deze blog lees je praktische tips over het opstellen, testen en verspreiden van een vragenlijst. Zo haal je het meeste uit je onderzoek!
Een vragenlijst moet niet te lang zijn. Respondenten haken snel af als het invullen te veel tijd kost. Richt je daarom op de kern: stel alleen vragen die echt nodig zijn voor je onderzoek. Een lengte van drie tot vier A4’tjes is meestal voldoende. Dat komt overeen met een invultijd van maximaal vijf minuten. Door deze beperking dwing je jezelf om prioriteiten te stellen. Vermijd overbodige vragen en beperk het aantal open vragen. Deze gebruik je alleen als ze echt iets toevoegen.
De manier waarop je een vraag stelt, bepaalt of je bruikbare antwoorden krijgt. Gebruik eenvoudige taal die past bij je doelgroep. Vermijd vakjargon of ingewikkelde woorden. Zorg dat elke vraag maar op één manier te interpreteren is. Vage termen zoals “vaak” of “soms” kun je beter vervangen door concrete tijdsaanduidingen of aantallen. Ook dubbele vragen of vragen met ontkenningen zorgen voor verwarring. Houd je vragen kort en duidelijk, en wees consequent in de manier waarop je antwoordopties aanbiedt.
Open vragen zijn ideaal als je op zoek bent naar meningen, motivaties of ideeën. Ze geven ruimte voor nuance, maar kosten meer tijd om te beantwoorden én te analyseren. Gesloten vragen zijn ideaal voor het verzamelen van kwantitatieve data. Ze zorgen voor snelle, vergelijkbare antwoorden en zijn eenvoudig te analyseren. Een combinatie werkt vaak het best: begin met een gesloten vraag en geef daarna ruimte voor toelichting. Zo krijg je zowel overzicht als diepgang in je data.
Er zijn veel vormen van gesloten vragen die je kunt gebruiken, afhankelijk van wat je wilt meten. De meest gebruikte zijn meerkeuzevragen, waarbij respondenten één of meerdere opties kunnen kiezen. Voeg eventueel een optie toe als “Anders, namelijk…” om ruimte te geven voor alternatieve antwoorden.
Daarnaast zijn er matrix- of gridvragen, waarmee je meerdere stellingen tegelijk kunt toetsen met dezelfde antwoordopties, zoals “helemaal oneens” tot “helemaal eens”. Sliders zijn handig voor beoordelingen op een schaal, bijvoorbeeld van 1 tot 10. Je kunt ook vragen naar percentages of respondenten punten laten verdelen over verschillende opties. Hiermee krijg je inzicht in voorkeuren of prioriteiten. Rankingvragen zijn weer geschikt om onderdelen op volgorde van belangrijkheid te laten zetten. Maar let op, maak het niet te complex voor je respondenten. Als het te lastig wordt een vraag te beantwoorden of te veel tijd kost, haken ze af.
Bij het maken van gesloten vragen is het belangrijk dat de antwoordopties elkaar uitsluiten en logisch geordend zijn. Zorg voor consistentie in de richting van je antwoordschalen. Wissel niet tussen positief en negatief geformuleerde schalen, want dat kan verwarrend zijn voor de respondent. Kies ook een schaalgrootte die past bij je doel: een 5-puntsschaal is overzichtelijk, terwijl een 10-puntsschaal meer nuance biedt.
Bied daarnaast altijd de mogelijkheid om geen antwoord te geven, bijvoorbeeld met “weet ik niet” of “niet van toepassing”. Zo voorkom je dat mensen een willekeurig antwoord kiezen als ze het eigenlijk niet weten. Door goed na te denken over de vorm en inhoud van je gesloten vragen, verhoog je de kwaliteit van je data én de gebruiksvriendelijkheid van je vragenlijst.
Voordat je de vragenlijst breed uitzet, is het belangrijk om deze te testen. Laat mensen uit je doelgroep de vragenlijst invullen en vraag wat ze ervan vonden. Zijn de vragen duidelijk? Begrijpen ze wat er bedoeld wordt? Hoe lang deden ze erover? Analyseer ook de data uit deze testfase: zijn alle velden goed ingevuld en kun je met de antwoorden je onderzoeksvragen beantwoorden? Als je na de test aanpassingen doet, is het verstandig om opnieuw te testen met een frisse groep respondenten.
De manier waarop je je vragenlijst verspreidt, heeft invloed op wie je bereikt. Heb je e-mailadressen van je doelgroep, dan kun je unieke links sturen. Zo zie je precies wie wel of niet heeft gereageerd en kun je gerichte herinneringen sturen. Heb je geen adressen, dan kun je een algemene link delen via sociale media of WhatsApp. Dat is laagdrempelig, maar je hebt minder controle over wie de vragenlijst invult en hoe vaak. Kies de methode die het beste past bij je doelgroep en doelstelling.
Als je persoonsgegevens gebruikt, zoals e-mailadressen, moet je rekening houden met de privacywetgeving (AVG). Controleer altijd of je deze gegevens mag gebruiken voor je onderzoek. Op internet is veel informatie te vinden over hoe je hier zorgvuldig mee omgaat.
Een goed onderzoek begint niet met data, tabellen of interviews, maar met een heldere vraag. De juiste onderzoeksvraag vormt de ruggengraat van je hele onderzoek. Ze bepaalt wat je gaat onderzoeken, waarom je dat doet en hoe je dat het beste kunt aanpakken. In deze blog neem ik je stap voor stap mee in het formuleren van een sterke onderzoeksvraag én het kiezen van een passende methode om die te beantwoorden.
Voordat je een vraag kunt stellen, moet je weten waarom je überhaupt onderzoek wilt doen. Misschien wil je een project verbeteren, verantwoording afleggen aan een subsidiegever, of beter aansluiten bij de wensen van je doelgroep. Het doel van je onderzoek bepaalt welke richting je opgaat. Als je bijvoorbeeld wilt verbeteren, zoek je naar wat goed gaat en wat beter kan. Wil je verantwoorden, dan ben je juist op zoek naar meetbare effecten. En als je wilt afstemmen op je doelgroep, dan draait het om hun kenmerken, behoeften en verwachtingen.
Zodra je weet waarom je onderzoek doet, kun je bepalen welke informatie je nodig hebt. Stel jezelf de vraag: wat moet ik precies weten om mijn doel te behalen? Als je bijvoorbeeld wilt verbeteren, heb je inzicht nodig in processen en ervaringen. Wil je overtuigen, dan zoek je naar harde resultaten. En als je wilt afstemmen, dan moet je weten wat je doelgroep belangrijk vindt. Door steeds te bedenken wat je met de informatie gaat doen, kun je prioriteiten stellen en je focus scherp houden.
Bedenk daarnaast per onderdeel van je informatiebehoefte welke informatie je al hebt en welke je moet gaan verzamelen. Waar kun je de informatie die je nog niet bezit vinden? Bij wie moet je zijn om aan deze informatie te komen (bezoekers, leden, burgers, klanten, medewerkers, leerlingen, scholen etc.)
Met een duidelijk doel en een afgebakende informatiebehoefte kun je je onderzoeksvraag formuleren. Die vraag moet concreet en haalbaar zijn. Je moet er daadwerkelijk antwoord op kunnen krijgen binnen de tijd en middelen die je hebt. Denk ook vooruit: als je straks een antwoord hebt, kun je dan de juiste actie ondernemen? Een goede onderzoeksvraag is dus niet alleen helder, maar ook praktisch bruikbaar.
Bij het opstellen van je onderzoeksvraag is het belangrijk om stil te staan bij de randvoorwaarden. Hoeveel tijd heb je? Wat is je budget? Zijn er privacyregels waar je rekening mee moet houden? En is de benodigde informatie überhaupt beschikbaar? Door hier vooraf over na te denken, voorkom je dat je later vastloopt in je onderzoek.
Het helpt om al vroeg na te denken over hoe je de resultaten wilt presenteren. Wil je een rapport, een infographic, een presentatie of misschien een korte video? En wie is je publiek? Wat wil je dat zij doen of begrijpen na het zien van jouw resultaten? Door je eindproduct in gedachten te houden, werk je gerichter en zorg je ervoor dat je onderzoek ook echt iets oplevert.
Als je weet wat je wilt onderzoeken en waarom, kun je bepalen hoe je dat het beste kunt doen. Er zijn verschillende manieren om informatie te verzamelen. Een vragenlijst is handig als je veel mensen wilt bereiken, maar minder geschikt als je dieper wilt graven. Voor meer inzicht in achterliggende motieven kun je beter kiezen voor een interview. Groepsinterviews of klankbordgroepen zijn ideaal als je interactie en discussie wilt stimuleren. En als er al veel bekend is over je onderwerp, kan een literatuurstudie uitkomst bieden.
De keuze voor een methode hangt dus af van je doel, je doelgroep en de aard van de informatie die je zoekt. Denk ook na over hoe je mensen het beste kunt benaderen: persoonlijk, digitaal, via social media of misschien via een bestaande groep.
Bij sommige organisaties is evalueren heel gewoon, anderen doen er niet aan. Dat kan om verschillende redenen zijn, zoals het spannend vinden om kritiek te krijgen, het ingewikkeld vinden of het te veel werk/gedoe te vinden. Wat zijn dan zes slimme stappen om het evalueren van projecten in te voeren?
Je hebt je onderzoek gedaan, de data ligt voor je. En dan? Nu begint misschien wel het belangrijkste deel: analyseren en rapporteren. Hoewel analyseren en rapporteren twee aparte stappen zijn, lopen ze in de praktijk vaak door elkaar. Door ze slim te combineren, houd je overzicht en werk je efficiënter. In deze blog lees je hoe je stap voor stap je onderzoeksresultaten verwerkt tot een duidelijke rapportage. Met praktische tips én creatieve vormen van rapporteren.
Begin met het controleren van de uitvoering en registratie van je veldwerk. Is de respons voldoende? Zijn de gegevens betrouwbaar? Vooral bij kwalitatief onderzoek is het belangrijk dat je genoeg informatie hebt verzameld. Daarna start je met analyseren. Bij kwalitatief onderzoek groepeer je antwoorden per onderwerp. Bij kwantitatieve data kijk je naar gemiddelden, percentages en verbanden. Gebruik hiervoor tools als Excel of SPSS om inzicht te krijgen in je data.
Begin met een inhoudsopgave. Zo zie je of je alle vragen beantwoordt en of de opbouw logisch is. Schrijf eerst de inhoud van je paragrafen, daarna de conclusies per hoofdstuk. De samenvatting schrijf je pas als laatste.
De kern van je analyse en rapportage is het beantwoorden van je deelvragen. Vraag jezelf daarom steeds af: beantwoordt deze informatie daadwerkelijk de deelvraag, en voegt het iets toe? Ga vervolgens een stap verder door verbanden te leggen tussen de antwoorden. Welke inzichten versterken elkaar? Waar zie je rode draden door het hele onderzoek heen? Door deze verbanden expliciet te maken, verbind je paragrafen en hoofdstukken tot een logisch en samenhangend geheel.
Maak een takenlijst en vink af wat je hebt gedaan. Print je inhoudsopgave en markeer je voortgang. Kom je vast te zitten? Spar met iemand. Door hardop te vertellen waar je mee bezig bent, krijg je vaak nieuwe inzichten.
Laat je rapport lezen door iemand anders. Die ziet vaak nog spelfouten of onduidelijkheden. Check of je alle deelvragen hebt beantwoord, of de bronnen kloppen en of de opmaak netjes is. Vergeet de paginanummers niet!
Een traditioneel rapport is niet altijd de beste keuze. Denk goed na over je doelgroep en het doel van je rapport. Wil je informeren, overtuigen of aanzetten tot actie?
Mogelijke andere vormen van rapportage zijn:
Voor intern gebruik kun je kiezen voor een visueel rapport, dashboard of infographic. Voor extern gebruik, zoals subsidiegevers, is een traditioneel rapport vaak nodig.
Maar je hoeft niet twee aparte rapporten te maken. Combineer bijvoorbeeld een uitgebreid rapport met een korte factsheet. Of voeg een apart hoofdstuk toe met interne informatie die je later eenvoudig kunt verwijderen.
Voor organisaties die regelmatig nieuwe data verzamelen, is een dashboard ideaal. Een dashboard zet data om in overzichtelijke informatie. Denk aan grafieken, tabellen en filters waarmee je zelf kunt inzoomen op wat jij belangrijk vindt. Je kunt het dashboard steeds verversen en gebruiken voor verantwoording, analyse en inzicht. Of je nu werkt in de cultuursector, zorg, of retail – een dashboard maakt je data bruikbaar.
Voor organisaties binnen dezelfde branche met vergelijkbare activiteiten (bijvoorbeeld musea of toneelgezelschappen) is het interessant om de kwaliteit van deze activiteiten met elkaar te vergelijken door middel van een benchmark. Hierdoor kun je van elkaar leren: Wat lukt de één wel en de ander niet? Daarnaast bepaal je gezamenlijk wat de criteria voor kwaliteit van jullie activiteiten bepaald; bijvoorbeeld een verandering in houding, bijdrage aan de creativiteit. Hiermee breng je een eenduidig en duidelijk geluid naar buiten over de kwaliteit die je biedt naar subsidiegevers en je publiek.
Een benchmark is een vergelijkend onderzoek waarbij de prestaties van organisaties, producten, diensten of programma’s op identieke wijze worden onderzocht en met elkaar worden vergeleken. Hoe de benchmark precies wordt ingericht is afhankelijk van de kwaliteitscriteria die gemeten worden. Als dit is vastgesteld worden alle organisaties, diensten, producten, activiteiten, programma’s op dezelfde manier gemeten en langs dezelfde meetlat gelegd.
Als de vergelijking anoniem is, worden de verschillende organisaties, diensten, producten, activiteiten vergeleken met het gemiddelde. Als de vergelijking niet anoniem is, worden de organisaties naast elkaar gezet. Dan wordt duidelijk wie welke sterke punten heeft. Over deze sterke punten kunnen de verschillende organisaties dan van elkaar leren. Met een benchmark leer je dus welke kwaliteit jij biedt en wat vergelijkbare organisaties bieden. Dit helpt je ook om je beter te positioneren. Afhankelijk van hoe de benchmark is ingestoken, kun je zo leren wat jouw publiek bij jou komt halen. En hier vervolgens beter op inspelen.
Als je de benchmark zelf inricht met je collega-organisaties, bepalen jullie als sector wat de criteria voor kwaliteit is voor jullie producten. Is kwaliteit bepaald door het aantal bezoekers, het aantal uitvoeringen of door wat je bewerkstelligt bij je publiek? Door dit op te nemen in de benchmark beoordeel je je diensten en activiteiten op kwaliteitscriteria die jullie als sector belangrijk vinden.
Dit geeft je een interessant instrument in handen naar je subsidiegever en andere financiers. Zij stellen steeds vaker vragen over de kwaliteit die je biedt en de mate waarin je hierin je doel bereikt. Met zo’n benchmark heb je een instrument in handen waarmee je de kwaliteit die jouw organisatie biedt, kunt aantonen. Ook ten opzichte van andere organisaties. Wat jouw sterke punten zijn. En in hoeverre jij jouw doelen bereikt.
Een zelfreflectie of evaluatie betekent onder andere dat je jezelf een spiegel voorhoudt om zo stil te staan bij hoe je werkt. Ik heb het al vaker gehad over waarom je evalueert. Een evaluatie brengt in kaart wat de resultaten en/of effecten van je project of proces zijn. Er worden succesfactoren en verbeterpunten genoemd. Waardoor je efficiënt en effectief actie kunt ondernemen. In dit blog ga ik in op wat een zelfreflectie nu eigenlijk betekent.
Zelfreflectie betekent dat je jezelf een spiegel voorhoudt. Je staat stil bij hoe je werkt door naar jezelf te kijken over een bepaalde periode. Je denkt daarbij na over de keuzes die je hebt gemaakt binnen je werk. Waarom heb ik het toen zo aangepakt? En waarom ging dit goed? Of juist minder goed? Ook sta je stil bij de vaardigheden je inzet. Waar ben ik goed in en wat kan er juist beter? Je stelt jezelf daarbij ook de vraag hoe je je daarbij voelde. Werd ik er blij van of juist niet? Vond ik het spannend? Zelfreflectie is een moment om kritisch naar jezelf te kijken om jezelf te verbeteren en te ontwikkeling.
Iedereen kan aan zelfreflectie doen en reflecteren kan op verschillende manieren. Op de werkvloer wordt geëvalueerd door middel van het maken van bijvoorbeeld persoonlijke ontwikkelplannen en het voeren van functioneringsgesprekken.
Op school wordt ook gereflecteerd. Leerlingen kunnen samen met de leerkracht evalueren. Dit kan zijn door middel van gesprekken, zelfreflectieformulieren of het bijhouden van een portfolio. Ook kan de leerkracht de leerling observeren. Als je meer wilt weten over evalueren in de klas, bekijk dan ons project voor Kunstbalie. Voor de cultuurloper zijn we een volginstrument aan het ontwerpen om de culturele ontwikkeling van de leerling te volgen/evalueren. Wil je hier meer over weten? Lees dan op deze pagina meer over dit project.
Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.
Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.
Met evalueren hou je het resultaat tegen het licht. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij benoem je de succesfactoren en de verbeterpunten . Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.
Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.
Wil jij ook inzicht in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!
Stel je wilt een onderzoek doen onder een doelgroep die uit wel 10.000 mensen bestaat, moet je dan alle 10.000 mensen spreken om tot de juiste resultaten te komen? Zeker niet, slechts een deel van de onderzoekspopulatie hoeft mee te doen aan jouw onderzoek om tot representatieve resultaten te komen. Ik vertel je wat representativiteit inhoudt en wanneer iets representatief is.
Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie.
Een steekproef
Wanneer je een onderzoekspopulatie van 10.000 mensen hebt, zal je uiteindelijk 400 mensen moeten spreken om tot de mening van de grotere groep te komen. Dit houdt niet in dat je maar 400 mensen hoeft te benaderen. Je hebt te maken met een responspercentage. Dit is het percentage mensen dat meedoet aan je onderzoek. Je responspercentage is afhankelijk van het onderwerp dat je onderzoekt, hoe gemakkelijk en leuk het is om mee te doen aan jouw onderzoek en wat mensen ervoor terug krijgen. Ik ga vaak uit van 30% omdat ik vaak naar leuke onderwerpen onderzoek mag doen en inmiddels ervaring heb met het gemakkelijk maken van meedoen aan een onderzoek en ik de opdrachtgever vraag voor een leuk cadeautje voor de mensen die meedoen met het onderzoek. Tips om je respons te verhogen
Doordat niet iedereen mee zal doen aan je onderzoek zal je dus een grotere steekproef moeten trekken. Als je 400 respondenten nodig hebt en je uitgaat van een responspercentage van 30% heb je een steekproef van 400/30%=1.333 mensen nodig trekken.
Wanneer je een onderzoek doet moet je er rekening mee houden dat hoe kleiner de onderzoekspopulatie wordt, hoe groter het aantal respondenten wordt om tot representatieve eindresultaten te komen. Soms is echter de input die respondenten geven waardevoller dan de hoeveelheid mensen die meedoen. Je hebt het dan over kwalitatief onderzoek. In sommige gevallen kan het belangrijker zijn om te focussen op de resultaten van het onderzoek dan de representativiteit. Lees hierover meer in mijn blog ‘Kwalitatief en kwantitatief onderzoek: wat is wat?’.
Wil je weten hoeveel respondenten je nodig hebt voor jouw onderzoekspopulatie: ga dan naar een steekproefcalculator. Vaak geven deze ook meteen aan hoeveel mensen je moet benaderen in je steekproef.
Wanneer je een onderzoek uitvoert is het belangrijk dat de uitkomsten betrouwbaar zijn. Je wilt immers dat ze bruikbaar zijn en dat ze door derden serieus worden genomen. Om dat te bereiken moet het onderzoek onafhankelijk zijn. Maar wat betekent dat? Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: 'Wij van wc-eend, adviseren wc-eend'.
Belangrijk voor onafhankelijk onderzoek is te zorgen voor objectiviteit: jouw mening als onderzoeker, of die van andere belanghebbenden, laat je buiten beschouwing. Het is belangrijk om er zeker van te zijn dat je afstand houdt van het onderwerp en je vragen niet gestuurd zijn. Respondenten voelen zich zo niet gedwongen of gestuurd om een bepaald antwoord te geven. Je kunt testen of je onderzoek onafhankelijk is en daarmee betrouwbaarder door te kijken of het onderzoek herhaalbaar is: een andere onderzoeker kan hetzelfde onderzoek uitvoeren waarbij dezelfde resultaten worden gevonden.
Weten waar je nog meer rekening mee moet houden voor een onafhankelijk onderzoek, en wat voor onderzoeksmethoden er zijn? Lees de blogs Zelf onderzoek (leren) doen en Valkuilen van onderzoek doen of download mijn e-book met een routewijzer voor zelf onderzoek doen.
Doen we de dingen goed? OF doen we de goede dingen? Twee vragen die sterk op elkaar lijken, maar die wel degelijk twee verschillende betekenissen hebben. Organisaties die evalueren stellen vaak de eerste vraag: Doen we de dingen goed? Er wordt dan kritisch gekeken naar de huidige activiteiten om ze in de toekomst te verbeteren. Dit is zinvol als je een kwaliteitsslag wil maken in je project. Maar wil je weten of je je doelen daadwerkelijk bereikt? Dan moet je de tweede vraag stellen: Doen we de goede dingen? Je wilt dan weten of de projecten en activiteiten bijdragen aan de geformuleerde doelen, niet of het losstaande project goed wordt uitgevoerd.
Om erachter te komen of je de goede dingen doet is het in de eerste plaats belangrijk om de doelen helder voor ogen te hebben. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten.
Vervolgens vertaal je deze doelen naar meetbare indicatoren (vergeet daarbij niet dat alles meetbaar is). Je kijkt vervolgens welke activiteit in welke mate bijdraagt aan je doelbereik. Zo krijg je inzicht in of je de goede dingen doet. Als je daarnaast verkent welke opties er nog meer zijn om je doelen te bereiken, krijg je inzicht in alternatieven en kun je kritisch kijken naar de mix van activiteiten die er zijn om je doel te bereiken.
Ben je cursist? Log hier in op de Academie voor Onderzoek
