Er zijn verschillende manieren om bezoekers te bevragen. Wij maken graag een combinatie van verschillende methodes. Eén methode op zich is natuurlijk ook voldoende om informatie te verkrijgen bij je bezoekers. De verschillende methodes hebben ook verschillende doelen. Wanneer kies je nou voor welke methode? Hieronder heb ik een kort overzicht gemaakt met het doel per methode.
- Scheurkaartje: Het doel van scheurkaartjes is om veel bezoekers in een korte tijd bevragen. Je kunt echter maar 2 of 3 vragen stellen. Deze methode wordt veel gebruikt bij activiteiten met veel bezoekers die dan snel een paar antwoorden kunnen geven aan het einde van de activiteit. (lees hier meer informatie over scheurkaartjes)
- Korte interviews: Het doel van korte interviews is om in een korte gesprek bezoekers te bevragen naar beweegredenen. Je kunt hierdoor dieper ingaan op antwoorden in een beperkte tijd. Doordat je veel bezoekers spreekt kun je ook antwoorden met elkaar vergelijken. (lees hier meer informatie over korte interviews)
- Observeren: Het doel van observeren is het gedragingen van bezoekers achterhalen. Door je bezoekers te observeren weet je wat de aandacht trekt en waar bezoekers snel doorlopen. Je kunt door te observeren ook reacties zien van je bezoekers. (lees hier meer informatie over observeren)
- Vragenlijst: Het doel van een vragenlijst is op veel informatie van veel bezoekers krijgen. Je kunt je bezoekers in een korte tijd veel vragen stellen. De antwoorden kun je met elkaar vergelijken. (lees hier meer informatie over vragenlijsten)
Wij maken regelmatig combinaties van de verschillende methodes, omdat ze elkaar versterken. Zo kun je eerst je bezoekers observeren en ze daarna een vragenlijst laten invullen of juist een korte interview met ze houden. Zo zijn er vele mogelijkheden en wij denken graag met je mee. Benieuwd hoe we je kunnen helpen, kijk hier voor meer informatie.
De onderzoekspopulatie bestaat uit de personen of organisaties die je in je onderzoek wilt betrekken. Omdat je meestal niet iedereen in de populatie kunt ondervragen, trek je een steekproef. In een representatieve steekproef zitten voldoende respondenten (let op uitval: niet iedereen in de steekproef zal meewerken aan je onderzoek) en hierin zitten alle deelgroepen vertegenwoordigd (mannen-vrouwen, jong-oud, ...).
Waar moet je opletten bij het trekken van een steekproef?
- Je steekproef moet groot genoeg zijn. Hiervoor moet je eerst berekenen hoeveel mensen minimaal aan je onderzoek mee moeten werken om representatief te zijn. Dit is afhankelijk van de grootte van je onderzoekspopulatie, de betrouwbaarheid die je nastreeft (bij beleidsonderzoek veelal 95%) en de foutenmarge die je wilt accepteren (bij beleidsonderzoek veelal 95%). Het berekenen van je benodigde steekproefgrootte doe je met een steekproefcalculator.
- Onderdeel hiervan is dat je bepaalt hoe groot de kans is dat mensen meewerken aan je onderzoek. Mensen op straat zullen minder snel meewerken aan je onderzoek, dan als ze affiniteit hebben met het onderwerp (bijvoorbeeld het theater dat ze regelmatig bezoeken) of de vragenlijst klassikaal wordt afgenomen. Aan de hand hiervan bepaal je hoeveel mensen je moet vragen.
- Je bepaalt of je een selecte of aselecte steekproef wilt trekken. Hierbij zijn de omstandigheden (wat is er mogelijk) van belang, maar ook of je te maken hebt met belangrijke subgroepen in je onderzoekspopulatie, waar je rekening wilt houden. In dit laatste geval kies je voor een gestratificeerde steekroef (zie hieronder bij aselecte steekproef).
Het verschil tussen een selecte en een aselecte steekproef:
Bij een aselecte steekproef heeft iedereen uit de onderzoekspopulatie een even grote kans om in de steekproef terecht te komen. Hiervoor zijn een aantal methoden mogelijk:
- Enkelvoudige aselecte steekproef: de loterijmethode, je kiest random een aantal respondenten. Dit kan handmatig of via een computer.
- Systematische steekproef met een random getal: je kiest dan random een getal en gaat met behulp van dit getal door je populatie, bijvoorbeeld respondent 20-120-220 etc.
- Deze methode kun je ook gebruiken bij het benaderen van bezoekers of mensen op straat. Je spreekt elke 5de passerende persoon.
- De cluster- of tros steekproeftrekking: de populatie wordt opgedeeld in een aantal clusters. En dan wordt er willekeurig een cluster gekozen.
- De quota steekproeftrekking: de aantallen respondenten zijn vooraf bekend per categorie (bv leeftijd), maar degene die de steekproef uitvoert kiest zelf de respondenten, tot het gewenste quota is bereikt.
Bij een selecte steekproef maakt niet iedereen kans om in de steekproef terecht te komen. De resultaten gelden enkel voor de onderzochte groep. Er zijn een aantal selecte steekproeven mogelijk:
- Gestratificeerde steekproef: je deelt de populatie in verschillende groepen. Van elke groep wordt een representatief aantal respondenten gekozen.
- De twee of meertrapssteekproeftrekking: er wordt eerst een steekproef getrokken uit een aantal hoofdcategorieën. Hierna worden uit de geselecteerde hoofdcategorieën een representatief aantal respondenten gekozen. Denk hierbij aan eerst een aantal steden kiezen en uit die steden een wijk en dan per wijk een straat. Deze methode is ook geen goede afspiegeling van de populatie.
- Een sneeuwbalsteekproeftrekking: Er wordt eerst met één persoon gesproken, er wordt gevraagd of diegene iemand kent die ook interessant is om te spreken. En zo ga je door tot de steekproef groot genoeg is. Let hierbij wel op dat je mensen met verschillende invalshoeken benaderd, anders is je steekproef niet bruikbaar. Deze gebruik je bij het afnemen van interviews.
- De gemakssteekproeftrekking: de onderzoeker benadert mensen uit eigen kring of uit de kring van collega’s tot de steekproef groot genoeg is. Deze manier van steekproef trekken is natuurlijk niet representatief, omdat de respondenten worden gekozen op onbelangrijke factoren (zou kennen).
Controle van je respons
Bij een kwantitatief onderzoek wil je tijdens en na je veldwerk je respons controleren of eventuele subgroepen evenredig vertegenwoordigd zijn. Door vooraf te kiezen voor de juiste steekproefvorm kun je grote afwijkingen voorkomen, maar de daadwerkelijke respons kan anders zijn dan je steekproef. Controleer bijvoorbeeld op de verhouding mannen en vrouwen of op verschillende leeftijdsgroepen, maar ook andere kenmerken die voor jouw onderzoekspopulatie van belang kunnen zijn. Ter vergelijking kun je gebruik maken van algemene cijfers van het CBS Voorwaarde is natuurlijk wel dat je naar deze kenmerken hebt gevraagd. Denk hier dus over na bij het opstellen van je vragenlijst.
Wanneer je een onderzoek uitvoert is het belangrijk dat de uitkomsten betrouwbaar zijn. Je wilt immers dat ze bruikbaar zijn en dat ze door derden serieus worden genomen. Om dat te bereiken moet het onderzoek onafhankelijk zijn. Maar wat betekent dat? Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: 'Wij van wc-eend, adviseren wc-eend'.
Belangrijk voor onafhankelijk onderzoek is te zorgen voor objectiviteit: jouw mening als onderzoeker, of die van andere belanghebbenden, laat je buiten beschouwing. Het is belangrijk om er zeker van te zijn dat je afstand houdt van het onderwerp en je vragen niet gestuurd zijn. Respondenten voelen zich zo niet gedwongen of gestuurd om een bepaald antwoord te geven. Je kunt testen of je onderzoek onafhankelijk is en daarmee betrouwbaarder door te kijken of het onderzoek herhaalbaar is: een andere onderzoeker kan hetzelfde onderzoek uitvoeren waarbij dezelfde resultaten worden gevonden.
Weten waar je nog meer rekening mee moet houden voor een onafhankelijk onderzoek, en wat voor onderzoeksmethoden er zijn? Lees de blogs Zelf onderzoek (leren) doen en Valkuilen van onderzoek doen of download mijn e-book met een routewijzer voor zelf onderzoek doen.
Door middel van een bezoekersonderzoek kom je veel te weten over je bezoekers. Niet alleen de ervaringen die ze op doen, maar ook achtergrondinformatie van de bezoekers zelf. Vaak kun je bezoekers indelen in groepen. De bezoekersprofielen die ontstaan kun je inzetten binnen je organisatie: bij het bepalen van je programma’s, tentoonstellingen en activiteiten, maar ook bij de marketing.
Wanneer je een bezoekersonderzoek gaat doen, kun je een aantal vragen stellen over hun interesse en wie ze zijn. Enkele voorbeelden van vragen zijn: Waarom komen ze juist naar jou? Wat voor type museum heeft hun voorkeur? Gaan ze vaker naar een museum/theater? Hoe is uw gezelschap samen gesteld? Deze vragen schetsen een beeld van je bezoekers. Het is niet altijd nodig om naar leeftijd of opleidingsniveau te vragen om je bezoekers in te delen. Vaak zijn het juist behoeftes en interesses die kunnen overlappen tussen generaties en opleidingen.
Bezoekersprofielen kunnen je helpen om je doelstellingen te behalen. Elk bezoekersprofiel heeft unieke eigenschappen waar je op in kunt spelen. Door je klant te begrijpen en je te verplaatsen in de klant, kun je aanpassingen maken die werken. Wil je een bepaalde bezoekersgroep juist binnen halen pas je dan aan, aan de behoeftes van de klant. Je kunt de programmering of het thema van de volgende tentoonstelling bijvoorbeeld aanpassen aan de groep die je graag binnen wilt hebben. Je kunt ook je marketingbeleid aanpassen aan de verschillende doelgroepen. De ene groep bereik je via social media terwijl de andere groep juist een krant leest.
Zorg bij de aanpassingen die je maakt naar aanleiding van je bezoekersprofielen, dat je de groepen die je al binnen hebt, binnen houdt. Probeer te schipperen tussen wat je al binnen hebt en wat je graag nog zou willen zien. Maak geen grote veranderingen, waardoor de vaste bezoekers weg blijven en de nieuwe groep je nog niet heeft gevonden.
Kijk wat wij voor je kunnen betekenen als je bezoekersprofielen wilt opstellen door middel van een bezoekersonderzoek
In de blog MTO in de creatieve sector is uitgelegd wat een MTO is en wat het kan betekenen voor je organisatie. Hieronder een aantal tips om je resultaten in te zetten voor verbetering en groei van je organisatie.
- Laat je werknemers in het MTO verbeterpunten aandragen voor de organisatie. Zo heb je toepasbare tips, waarvan werknemers denken dat ze werken. Tevens hebben de werknemers inspraak en hoef je niet alles zelf te bedenken. Er zullen zaken zijn die je zelf waarschijnlijk niet ziet.
- Betrek je werknemers bij de verbeteringen. In het MTO hebben zij aangegeven hoe ze over zaken denken in de organisatie. Bespreek daarom de resultaten met de werknemers, bijvoorbeeld in een presentatie. Kijk hoe je ze kan betrekken bij het maken van verbeteringen. Laat zien dat je iets doet met de resultaten uit het MTO.
- Stel prioriteiten aan onderwerpen waarvan is aangegeven dat er verbeteringen liggen. Onderwerpen waar de medewerkers van hebben aangegeven er ontevreden over te zijn en prioriteit hebben, zullen als eerste aangepakt moeten worden.
- Bekijk welke verbeterpunten snel en makkelijk zijn te realiseren. Voer deze verbeterpunten als eerste door. Hiermee laat je aan je werknemers zien dat je de resultaten uit het MTO serieus neemt.
- Bekijk van de andere verbeterpunten wat realistisch is. Leg aan de werknemers uit wat wel en wat niet kan. Beargumenteer het. Wanneer aangedragen oplossingen niet realistisch zijn, bekijk dan hoe je het op een andere manier kunt realiseren.
Hier kun je lezen hoe wij als onderzoeksbureau kunnen helpen met een MTO binnen jouw organisatie
Ook bij kwalitatief onderzoek is het belangrijk om objectief te blijven. Dit kan heel lastig zijn als je in gesprek bent met respondenten. Het is echter belangrijk dat je je eigen mening voor je houdt. Ook al ben je het niet eens met de antwoorden die gegeven worden. Je mag ook niet sturen met de vragen die je stelt. Hoe zorg je ervoor dat je zo objectief mogelijk blijft?
- Wees bewust van wat je wilt meten. Maak van tevoren een interview protocol op basis van de onderzoeksvragen die je wilt beantwoorden.
- Stel de vragen zo objectief mogelijk op, geef geen sturing in je vragen. Dit lukt beter als je ze voor aanvang van je interviews opstelt.
- Kalibreer je meetinstrument: als een andere onderzoeker hetzelfde gesprek of observatie doet, moet deze hetzelfde meten.
- Wees consistent in je interpretatie, dus zorg ervoor dat je steeds op dezelfde manier interpreteert. Maak daarom aantekeningen tijdens het meten die een weergave zijn van wat er gezegd is. Je kunt hiervoor ook een geluidsopname maken van het interview en later uitwerken.
- Pas op voor je persoonlijke mening. Houd je zo goed mogelijk aan de feiten en theorieën. Blijf tijdens een interview neutraal (door bijvoorbeeld niet ‘mee te praten’ met de respondent). Als je voorbeelden moet noemen, benoem er dan een paar die van elkaar verschillen.
- Probeer tijdens het analyseren van je data elke keer te bedenken dat jouw mening er niet toe doet.
- Betrek anderen bij je onderzoek. Leg je conclusies aan iemand anders voor om na te gaan of de data op de juiste manier gemeten is en of de conclusies logisch zijn.
In vragenlijsten wordt vaak gebruik gemaakt van antwoordschalen om de houding of mening van de respondenten meetbaar te maken. Deze schalen kun je ook gebruiken in individuele interviews, observaties, logboeken of scheurkaartjes.
Welke schalen zijn er?
Het verschil tussen diverse schalen zit in het aantal punten. Hoe meer punten een schaal heeft hoe gedetailleerder de respondent kan antwoorden.
Voorbeelden van verschillende schalen:
- 2 puntsschaal: ja/nee
- 3 puntsschaal: veel/weinig/niet of ja/neutraal/nee of 😊 😐 ☹
- 4 puntsschaal: helemaal mee oneens/mee oneens/mee eens/helemaal mee eens
- 5 puntsschaal: helemaal mee oneens/mee oneens/ neutraal/mee eens/helemaal mee eens of 5 sterren (van heel erg ontevreden tot heel erg tevreden)
- 7 puntsschaal: antwoordbalk met 7 punten waarbij links helemaal oneens en rechts helemaal eens
- 10 puntsschaal: een rapportcijfer van 1 t/m 10
Voor welke schaal kies je?
- Bij de 2 puntsschaal moeten de respondenten een keuze maken. Het is of ja of nee. Deze schaal geeft een heel duidelijk beeld en er is geen middenweg. Soms vinden respondenten dit lastig, omdat mensen zich soms toch wat liever op de vlakte houden of wat meer nuance aan willen brengen. Gebruik deze schaal alleen als het gaat om een gemakkelijke wel of niet, zoals bij vragen naar gedrag: je hebt een museum wel of niet bezocht.
- De 3 puntsschaal geeft de respondenten de kans om een keuze te maken, maar ook om neutraal te antwoorden. Wanneer er vaak neutraal geantwoord is, kan het voor het onderzoek niet veel opleveren. Wanneer deze schaal voor imagoaspecten wordt gebruikt zegt het neutrale antwoord wel iets: een respondent zegt neutraal als ze geen beeld hebben over dat aspect. Je kunt deze schaal gebruiken
- Bij de 4 puntsschaal is er geen ruimte om neutraal te antwoorden en moeten respondenten een keuze maken. Er kan wel wat nuance aangebracht worden, wat respondenten fijn vinden. Deze schaal gebruik je als je om een mening vraagt en je wilt dat ze kiezen.
- Wanneer aan respondenten stellingen worden voorgelegd zijn de antwoordmogelijkheden vaak een 5 puntsschaal of soms een 7 puntsschaal. Respondenten vinden deze schalen fijn omdat ze nuance aan kunnen brengen en er een midden is voor als ze niet kunnen of willen kiezen. Het uitbreiden naar 7 categorieën wordt minder vaak gebruikt omdat respondenten de extra nuance niet altijd kunnen duiden. Omdat deze schaal heel veel gebruikt wordt, begrijpen respondenten, maar ook de lezers van je onderzoek deze schaal. Met de 5 puntsschaal kun je een scala aan stellingen voorleggen die gezamenlijk iets meten. Hiermee krijg je een goed beeld van de mening of houding van respondenten over een bepaald onderwerp. Bij het samenstellen van de stellingen moet je wel letten op validiteit en samenhang tussen je stellingen. Bij de 10 puntsschaal is er een brede verdeling tussen zeer slecht en uitstekend en alles ertussen in. Iedereen is bekend met rapportcijfers, het nadeel is echter dat er wat interpretatieverschillen zitten in de details. Iedereen is het er mee eens dat tot en met 5 onvoldoende is, maar wat is het verschil tussen een 8 en een 9? Daarbij geven sommige mensen nooit een 10 omdat perfect niet bestaat, terwijl anderen een 10 geven als ze het erg goed vinden. Deze schaal geeft respondenten dus veel ruimte om nuance aan te geven, maar is lastig te interpreteren. Gebruik deze schaal alleen als je je rapportcijfer wilt vergelijken met rapportcijfers van een ander of van eerdere metingen. Vraag dan naar een algemeen rapportcijfer en vraag de verschillende onderdelen uit in een andere schaal.
Als opdrachtgever bepaal jij wat je wilt laten onderzoeken. Dat betekent dat jij de touwtjes in handen hebt. Jij kunt invloed kan uitoefenen op het onderzoek (en de onderzoeker) op bepaalde momenten in het proces. Maar welk moment is nu de juiste om dat te doen?
Scherpstellen plan
In het eerste gesprek tussen de opdrachtgever en onderzoeker wordt besproken wat er precies onderzocht gaat worden. Geef goed aan wat jij voor ogen hebt en wat je verwacht van het onderzoek en de onderzoeker. Je kunt hier ook kort aangeven hoe de rapportage eruit moeten komen te zien, maar details zijn later pas van belang.
Opzetten meetinstrumenten
Nadat het duidelijk is wat er onderzocht gaat worden, zet de onderzoeker een meetinstrument op. Op dit moment kun je nog vragen stellen over de inhoud van het onderzoek en aanpassingen maken aan het meetinstrument. Ben je toch niet helemaal tevreden over de richting waar het onderzoek opgaat? Geef dat dan nu aan.
Dataverzameling
Zodra de dataverzameling is begonnen, kan er niks meer worden veranderd aan de richting van het onderzoek of het meetinstrument. Houd in deze periode wel vinger aan de pols of er voldoende respons is, hoe het gaat en of het nodig is extra inspanningen te doen.
Analyse, rapportage en presentatie
Geef aan, vóórdat de onderzoeker aan de analyse en het rapport begint, welke informatie en gegevens erin moeten komen, maar ook wat het doel is van je rapport (naslagmateriaal, mensen overtuigen, verantwoording). Dan kan de onderzoeker het rapport en de vormgeving ervan daarop aan laten sluiten. Bespreek ook welke vorm het rapport moet krijgen. Het hoeft namelijk geen klassiek rapport te zijn, het kan ook een artikel, presentatie of factsheet zijn. Lees voor verschillende mogelijkheden ook mijn blog: 8 vormen om je onderzoeksresultaten te verspreiden.
Regelmatig hoor ik van beleidsmedewerkers en andere professionals dat ze een onderzoek hebben laten doen, maar er niets aan hebben gehad. Meestal omdat de onderzoeksresultaten zo onbegrijpelijk zijn opgeschreven, je verdwaald in de hoeveelheid informatie en details, vervolgacties onduidelijk zijn en soms zelfs omdat de verkeerde informatie verzameld is. Jammer van de energie die je er in hebt gestopt en het geld dat het heeft gekost.
Als je een onderzoeksbureau inschakelt, dan wil je wel zeker weten dat je aan het eind van de rit alle relevante informatie boven tafel hebt. Het is dus zaak dat jij het bureau zo aanstuurt, dat je krijgt wat je nodig hebt. Daarom geef ik graag een paar tips voor uitbesteed onderzoek begeleiden:
- Maak aan het onderzoeksbureau bij de offerte-aanvraag duidelijk wat je probleem is en waar je de uitkomsten van het onderzoek voor in gaat zetten.
- Maak bij de offerte-aanvraag duidelijk wat je straks van hen nodig hebt.
- Schroom niet om te vragen. Het is het expertise van een onderzoeksbureau om jouw vraag te beantwoorden, om iets meetbaar te maken. Laat je niet beperken in je vraag, want alles is meetbaar.
- Heb een persoonlijk gesprek met de onderzoekers die offreren en kijk of je elkaar begrijpt. Vraag ook of hij/zij straks het onderzoek gaat doen.
- In het begin van het onderzoek kan nog veel bijgestuurd worden. Zorg dat je deze besprekingen goed voorbereid en zo nodig bijstuurt. Stel alle vragen die je hebt. De onderzoeker moet ze kunnen beantwoorden.
- Bespreek het concept meetinstrument. Dat is bepalend voor de informatie die verzameld wordt. Na de dataverzameling kan er vaak geen andere informatie meer verzameld worden (met name bij interviews, vragenlijsten, observaties).
- Zorg voor intern draagvlak voor je onderzoek, zodat je collega’s met je meedenken en aan de slag willen met de uitkomsten van het onderzoek.
- Laat de informatie in zo’n vorm opleveren zodat jij en je collega’s ermee aan de slag kunnen. Laat de onderzoeker actiepunten formuleren als jij deze nodig hebt. Vraag om een artikel, factsheet of filmpje als je de informatie breed wilt delen.