Een onderzoeksmethode is de manier waarop je data verzamelt voor je onderzoek. Er zijn legio manieren om dit aan te pakken. Voor welke onderzoeksmethode je kiest is voornamelijk afhankelijk van de onderzoeksvragen. De praktijk waarmee je te maken hebt, heeft ook invloed.

Het aanbod van onderzoeksmethoden is groot waardoor je soms door de bomen het bos niet meer ziet. Daarom geef ik je in deze blog een handig overzicht met verschillende onderzoeksmethoden. Bij een aantal onderzoeksmethoden vind je een link naar een blog met meer informatie.

In dit overzicht maak ik onderscheid tussen kwantitatieve en kwalitatieve onderzoeksmethoden. Bij kwalitatieve onderzoeksmethoden kijk je naar het hoe en waarom en duik je de diepte in. Bij kwantitatieve onderzoeksmethodes draait het om cijfers en feiten die je met elkaar kunt vergelijken. Wil je hier meer over weten? In mijn blog ‘Keuze: kwalitatief onderzoek of kwantitatief onderzoek’ vind je informatie over het verschil tussen deze twee soorten onderzoek.

Kwalitatief onderzoek

• Individueel interview: Gestructureerd of ongestructureerd gesprek met één persoon waarin je gedetailleerd ingaat op één of meerdere onderwerpen.
• Groepsgesprek: Gesprek of discussie met meerdere mensen over één of meerdere onderwerpen.
• Literatuuronderzoek: Onderzoek waarin je aan de hand van een probleemstelling gebruik maakt van onderzoeken, theorieën en informatie die al beschikbaar zijn (bijv. van een bibliotheek of op het internet)
• Mysteriebezoeker: Onderzoeksmethode waarin je experts inzet die zich als klant of bezoeker gedragen en de kwaliteit van een dienst of organisatie beoordelen.

Kwantitatief onderzoek

• Vragenlijsten: Registratie van gegevens en meningen van groepen mensen door middel van een vooraf opgestelde vragenlijst. Deze vragenlijst kun je digitaal of schriftelijk laten invullen door een grote groep mensen.
• Scheurkaartjes: Onderzoeksmethode waarbij je op een snelle manier een grote groep mensen één vraag laat beantwoorden. Dit kan bijvoorbeeld door het publiek voor een voorstelling een papiertje met daarop een stelling te geven. Na de voorstelling kan het publiek door een scheurtje in het papiertje te maken, aangeven of ze het eens of oneens zijn met de stelling.
• Observeren: Het observeren van daadwerkelijk gedrag en het registreren van reacties.
• Bestaand bronnenonderzoek: Het uitvoeren van onderzoek met behulp van bestaande datasets met kwantitatieve gegevens die al door andere onderzoekers zijn verzameld. Je gebruikt dan de dataset nog een keer, maar dan om een nieuwe vraag te beantwoorden.
• Panelonderzoek: Respondenten die zich hebben opgegeven voor onderzoek benaderen met een digitale vragenlijst.
• Logboek: Document (digitaal of schriftelijk) waarin je bezoekers of deelnemers gebeurtenissen en/of specifieke data laat vastleggen.
• Tracking: Het volgen van respondenten (bv. bezoekers van een museum of klanten van een winkel) door een ruimte. Dat kan gedaan worden via de wifi of bluetooth van hun eigen apparaten, maar ook met een apparaatje dat je aan respondenten meegeeft, waarmee je hen volgt.

Een aantal tips om de geschikte onderzoeksmethode te kiezen:

1. Je onderzoeksvragen zijn leidend. Zijn het hoe en waarom vragen, of juist vragen naar hoeveel of hoe vaak? Kijk hierbij ook naar het soort informatie die belangrijk is. Als je op zoek bent naar verbeterpunten, is dit makkelijker om die samen te bedenken in een groepsgesprek dan in je eentje in een vragenlijst. Als je wilt weten welke communicatiemiddelen het meest gebruikt worden, heb je meer aan een vragenlijst.
2. Welke informatie heb je al? Wellicht heb je informatie al voor handen en kun je daar je onderzoeksvragen (of deels) mee beantwoorden. Denk bijvoorbeeld aan een databestand dat je bijhoudt met gegevens van deelnemers, maar ook de kassa uitdraai van je verkochte tickets.
3. Is informatie elders voor handen, bijvoorbeeld in bestaande databestanden of in de literatuur? Er wordt al veel onderzoek gedaan. Waar kun je gebruik maken van bestaan de data? Denk hierbij aan bestanden van CBS of SCP, maar er is ook allerlei onderzoek over de werking van allerlei programma’s.
4. Inventariseer open wat mogelijk is per onderzoeksvraag. Kijk hierbij naar wie je kan helpen bij het beantwoorden van de vragen. Wie weet dit? Zo weten deelnemers van alles over je project, maar ook samenwerkingspartners. Maak de lijst zo compleet mogelijk, zodat je vervolgens kunt brainstormen hoe je deze informatie bij hen kunt ophalen. Denk hierbij vooral in mogelijkheden en zet hierbij zoveel mogelijk methoden bij één onderzoeksvraag. Kies daarna met welke methode of combinatie van methoden je de onderzoeksvragen gaat beantwoorden.
5. De praktijk is natuurlijk ook van invloed. Wie kun je benaderen? Hoeveel tijd heb je? Wat kun je van respondenten verwachten? Kom hierin je respondenten tegemoet.
6. Denk buiten de gebaande paden. Kies niet voor een vragenlijst omdat je dat makkelijk lijkt. Veel mensen willen geen vragenlijst meer invullen, maar willen wel tijdens een kort gesprek met een kopje koffie hun verhaal vertellen.
7. Wees creatief bij het kiezen van je onderzoeksmethoden. Je kunt allerlei combinaties maken. Ik combineer graag observaties met korte gesprekken aan de hand van een vragenlijst. Op basis van wat ik heb gezien, stel ik vragen, bijvoorbeeld waarom iemand iets deed of hoe ze dat ervaren hebben. Je krijgt dan een verdieping op wat je hebt gezien, het gesprek wordt persoonlijker, geeft minder ruimte voor sociaal wenselijke antwoorden en als je een protocol gebruikt, kun je (indien nodig) het een en ander kwantificeren. Andere mogelijkheden zijn de uitkomsten van een vragenlijsten in groepsgesprekken interpreteren. Andersom kun je aan de hand van literatuurstudie een vragenlijst samenstellen. Of eerst bestaande databestanden analyseren en wat dan ontbreekt vragen in een vragenlijst. Op die manier hoef je een aantal zaken niet te vragen in je vragenlijst en kun je dieper ingaan op de materie in je vragenlijst.

De non-profit sector, waaronder de cultuursector, maakt steeds meer kennis met het gebruiken van big data om bezoekers of deelnemers (beter) te bereiken. In het bedrijfsleven wordt al langer gewerkt met big data om het koopgedrag van consumenten te achterhalen. Dit wordt gedaan door online (koop)gedrag precies te volgen en hierop in te spelen. Daarnaast kan klantgedrag gevolgd worden over tijd, doordat mensen een uniek klantnummer of IP-adres hebben. Je krijgt dan inzicht in herhaalbezoeken van bezoekers. Bedrijven krijgen met big data ook inzicht in hun doelgroepen qua leeftijd, geslacht, economische situatie etc. Deze informatie kunnen zij inzetten voor marketingdoeleinden.

Big data zijn databestanden die te groot zijn om met reguliere systemen onderhouden te worden. Het gaat over data die worden opgeslagen door het internet, doordat mensen zelf steeds meer informatie opslaan in de vorm van bestanden, gegevens, foto’s en video’s. Maar ook omdat er steeds meer data automatisch wordt opgeslagen (bijvoorbeeld door online cookies). Ook ticketingsystemen van een museum, bioscoop of theater zijn een bron voor big data.

Big data kan dus veel inzichten verschaffen waarmee je jouw doelgroep (beter) kunt bereiken. Toch zitten er ook wat haken en ogen aan het gebruik van big data:

• Big data is bestaande data. Je verzamelt dus niet zelf data die specifiek bedoeld is voor jouw onderzoeksvraag. Het is lastig om de juiste en relevante informatie eruit te filteren.
• Een gedegen data-analyse vraagt kennis van het domein en datamining. Software zijn slechts tools die alleen bij de juiste toepassing goede resultaten halen. Dat maakt het gebruik van big data erg kostbaar, omdat je altijd een ervaren onderzoeker moet inschakelen.
• De validiteit en betrouwbaarheid van big data is lastig te meten. Vaak worden bijvoorbeeld zoektermen in google gebruikt om in te spelen op de behoeften van consumenten. Je weet echter niet of deze zoektermen ook wel echt de behoeften van de consument weergeven of dat hij/zij om een andere reden het zoekwoord hebben ingevuld.
• Big data kan de privacy van consumenten schaden. Er is een strenge wetgeving rondom het gebruik van big data waar rekening mee gehouden moet worden.

Door deze onzekerheden en kostbaarheid lijkt het analyseren van big data (nog) een lastige  onderzoeksmethode voor de kleine en middelgrote organisaties in de non-profitsector. Toegankelijkere methoden om inzicht te krijgen in je doelgroep zijn bijvoorbeeld observeren, tracking, (groeps-)interviews, scheurkaartjes of vragenlijsten.

Wil je op een snelle manier kwantitatieve informatie verzamelen van een grote groep mensen? Dan kun je scheurkaartjes als onderzoeksmethode gebruiken. Het principe van scheurkaartjes werkt als volgt: Je geeft het publiek voor een voorstelling, tentoonstelling of andere activiteit een papiertje met een vraag/stelling erop. Door een scheurtje in het papiertje te maken geven zij aan het eens te zijn met de stelling of geven ze een cijfer op een schaal. Na de voorstelling, tentoonstelling of andere activiteit leveren ze het kaartje in bij de uitgang. Je kunt hierbij denken aan de filmbeoordelingen van IFFR.

Door gebruik te maken van scheurkaartjes kun je gemakkelijk en snel informatie van veel respondenten krijgen, waardoor je uitspraken kan doen over percentages en verhoudingen binnen de gehele onderzoeksgroep.  Je hebt een hoge respons met scheurkaartjes omdat voor respondenten een kleine moeite is om na afloop van een voorstelling of tentoonstelling een kaartje in te scheuren. Daarbij blijven de respondenten ook anoniem.

Het werken met scheurkaartjes als onderzoeksmethode is geschikt als je een eerste reactie van de onderzoeksgroep wilt achterhalen. Je kunt ten slotte maar 1 of 2 vragen stellen. Ben je op zoek naar uitgebreidere informatie? Dan is het slimmer om te kiezen voor een vragenlijst. Wil je juist meer diepgaande informatie en achterliggende motivaties achterhalen? Dan is het houden van interviews wellicht een betere onderzoeksmethode.

Wil je kwantitatieve informatie verzamelen over bijvoorbeeld de populariteit van onderdelen van je tentoonstelling, maar wil je de bezoekers niet belasten met een vragenlijst? Dan kun je kiezen voor tracking als onderzoeksmethode. Tracking is het volgen van bezoekers of klanten via de wifi of bluetooth van hun eigen apparaten (smartphone, tablet, laptop etc.). Het kan ook gedaan worden door mensen een apparaatje mee te geven, waarmee je ze volgt. Het wordt veel in winkels gedaan, maar de techniek is natuurlijk ook beschikbaar voor het museum. Het geeft je kwantitatieve informatie over de looproute, hoelang zij blijven en wat de meest populaire onderdelen van de tentoonstelling.

Bij tracking kun je daadwerkelijke handelingen van bezoekers aan het museum achterhalen, maar het is soms lastig om deze handelingen te interpreteren. Bijvoorbeeld: Als mensen vaak op een bepaald punt stil blijven staan dan lijkt het een teken dat op die plek de tentoonstelling heel interessant is. Maar misschien blijven bezoekers daar wel staan omdat ze daar een goed wifi-signaal hebben met hun telefoon en heeft het dus weinig met de tentoonstelling te maken. Het is belangrijk om rekening te houden met zulke externe factoren. Combineer hiervoor tracking met een kwalitatieve methode van onderzoek, om ook meer informatie over de motivaties van bezoekers voor een bepaalde houding te achterhalen.

Het is belangrijk om van tevoren een analyseplan op te stellen met duidelijke criteria. Door deze lijst interpretatievrij te maken, is de kans kleiner dat er op een subjectieve manier geanalyseerd wordt.

Als je gebruik maakt van het wifi-signaal of bluetooth van de apparaten van bezoekers schaadt je de privacy van je bezoekers nauwelijks, maar als je naast tracking door wifi of bluetooth ook video opnames van bezoekers wilt maken is het wel nodig om toestemming aan deze bezoekers te vragen. Beslis voor jezelf hoe je hier mee omgaat. Het is netjes om je bezoekers te informeren, bijvoorbeeld met een bordje, dat je ze volgt.

Lees meer over hoe musea de effecten van tentoonstellingen kunnen meten.

Een vragenlijst is een veelgebruikte onderzoeksmethode om de effecten van een activiteit, project of campagne te meten. De vraag is of een vragenlijst altijd een geschikte methode is. Wil je uitspraken doen over de hele doelgroep en moet je daarvoor veel gegevens verzamelen? Dan is een vragenlijst een slimme methode. Wil je inzicht in de achterliggende motivaties en meningen van je doelgroep? Dan is een vragenlijst een minder slimme keus. Waarom is een vragenlijst een goede methode of waarom juist een minder goede? De voor- en nadelen op een rijtje:

Voordelen:

• Met een vragenlijst is het mogelijk om een grote groep mensen op dezelfde manier te bevragen. Dit is vaak nodig als je wilt dat de uitkomsten van je onderzoek representatief zijn voor de onderzoeksgroep. Je kunt dan uitspraken doen als: ‘80% van de bezoekers geeft aan iets geleerd te hebben van de activiteit’.
• Een vragenlijst kan bij veel verschillende veldwerkwijzen worden ingezet: online, telefonisch, op papier.
• Wanneer de respondent zelf de vragenlijst invult, kunnen de antwoorden niet beïnvloed worden door een interviewer of observator, waardoor de objectiviteit gewaarborgd wordt.
• De manier van vragen is gestandaardiseerd, waardoor eenduidige antwoorden worden verkregen. Wanneer de steekproef voldoende groot is,  kunnen aanvullende statistische analyses uitgevoerd worden naar bijvoorbeeld subgroepen of om verbanden te leggen.

Nadelen:

• Je hebt weinig invloed op de respons. Mensen krijgen vaak een vragenlijst voorgeschoteld waardoor veel mensen vragenlijstmoe zijn. Deze methode heeft daarom vaak een relatief lage respons.
• De respondent kan zijn verhaal niet volledig vertellen omdat veel vragen in een vragenlijst meestal gesloten zijn.
• Hier moet je met je vraagstelling en bijbehorende antwoorden rekening houden.
• Achterliggende motivaties kunnen lastig achterhaald worden met een vragenlijst, waardoor de vragen en antwoorden oppervlakkig zijn. Er is geen mogelijkheid tot doorvragen.
• Respondenten kunnen de vragenlijst niet volledig invullen. Als zij op de helft afhaken, dan heb je weinig aan de vragenlijst.
• Respondenten kunnen snel de vragenlijst invullen, of met allemaal dezelfde antwoorden. Hier moet achteraf op gecontroleerd worden.
• Je kunt een beperkt aantal vragen stellen, omdat je respons daalt naarmate de vragenlijst langer is.

Wil je weten hoe je de respons van je onderzoek vergroot? Lees dan deze blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?

Van je publiek kun je leren. Kom meer over ze te weten, waardoor je je aanbod en je communicatie op ze aan kunt passen en zo aantrekkelijker voor ze wordt. In mijn blog 'hoe klantenonderzoek kan helpen bij het werven van publiek' staan redenen waarom je klantenonderzoek, ook wel publieksonderzoek genoemd, wil doen. In deze blog vertel ik hoe je je publiek kunt onderzoeken.

1. Gebruik van bestaande gegevens

Er is al veel bekend over bezoekers van culturele instellingen. Daarnaast kun je door bestaande databestanden en beschikbare informatie binnen de organisatie (denk aan kassagegevens) slim aan elkaar te koppelen veel informatie op instelling niveau stroomlijnen en analyseren.
Om dit te vergemakkelijken verwacht ik binnenkort samen met pon een dienst aan te bieden waarbij we door bestaande klantgegevens en een nieuw samengesteld databestand meer informatie kunnen geven over het publiek, hun profiel, hun interesses, hun drempels (en hoe deze weg te nemen) en hoe ze te bereiken.

2. Bestaand publiek vragen

* Kwantitatief: Veel organisaties bevragen met bestaande publiek met vragenlijsten, online en offline. Is de bezoeker tevreden? Hoe was hij op de hoogte van de voorstelling/tentoonstelling? Wat vind hij van wat hij gezien/ervaren heeft? Komt hij terug en wat mist hij in het aanbod?
Hierbij kun je aanhaken op bestaande benchmarks of een vragenlijst afstemmen op de eigen organisatie. Er zijn velerlei standaardvragenlijsten hiervoor in omloop.

* Kwalitatief: Om diepgaandere en meer gedetailleerde informatie te krijgen kun je groepsgesprekken voeren, interviews en observaties doen. Hiermee kom je meer te weten over je publiek en komt er meer gedetailleerde informatie naar voren.

3. Potentieel bezoek vragen

Door mensen te vragen die nog niet komen, kom je er achter wat hen tegenhoudt en wat je kunt doen om deze drempels weg te nemen, zodat ze wel komen. Dit kan op verschillende manieren. Je kunt hierbij gebruik maken van bestaande panels.