Je hebt een bezoekersonderzoek uitgezet, je hebt voldoende respons en de resultaten van het bezoekersonderzoek komen binnen. Maar wat doe je met die resultaten? Er zijn een aantal zaken die je met de resultaten van een bezoekersonderzoek kunt doen. In deze blog vertel ik je hier meer over.
Een bezoekersonderzoek kun je gebruiken voor de verantwoording naar de overheid of andere subsidieverstrekkers. Door specifieke vragen toe te voegen kun je de impact van je tentoonstelling, voorstelling, traject meten op je bezoekers. Dat kan met een vragenlijst, maar observeren of gesprekken behoren ook tot de mogelijkheden. Deze impact die je hebt gehad op je bezoekers, maar ook wie er zijn geweest is zeer interessant voor je subsidiegevers (en potentiële subsidiegevers). Een bezoekersonderzoek geeft je extra informatie om je subsidiegevers en je bestuur in te lichten hoe je tentoonstelling, voorstelling of traject is verlopen.
Een bezoekersonderzoek geeft je ook de kans om te leren van je project. Wat werkte goed en wat kon er beter? Je kunt hier specifiek naar vragen. Kijk samen met je team naar de resultaten van het onderzoek en kijk hoe je een volgende keer beter kan.
Met een bezoekersonderzoek kun je ook de wensen en behoeften van je bezoekers achterhalen. Met deze informatie kun je eventueel je beleid aanpassen. Maar ook kun je nieuwe projecten anders inrichten, zodat je aan de verwachtingen kunt voldoen van je bezoekers. Vaak zijn het kleine zaken die je kunt aanpassen waardoor bezoekers meer waardering hebben voor je project.
Vaak worden er aan bezoekers ook algemene vragen gesteld. Met deze antwoorden kun je de bezoekers indelen in je bezoekersprofielen. Je weet dan of je je beoogde publiek ook bereikt, en wie nog meer. Je kunt dit gebruik voor de marketing en communicatie, maar ook voor het verder afstemmen van de inhoud op je bezoekers. Hierbij kun je denken aan waarom bezoekersgroepen komen: om te leren? voor de gezelligheid? om geïnspireerd te worden?
Wanneer je eenmaal een bezoekersonderzoek hebt gedaan, weet je hoe het werkt. Het is dan handig om dit dan regelmatig te herhalen. Op die manier kun je veranderingen zien en kan je zien of de aanpassingen die je hebt gedaan effect hebben gehad. Je kunt het elk jaar eenzelfde periode doen, of bij een terugkerend specifiek project.
Wil je ook een bezoekersonderzoek? Kijk hier voor meer informatie
In deze blog richten we ons op kwantitatief onderzoek waarbij via een vragenlijst data wordt verzameld, meestal door gebruik te maken van een online tool. Nu wil je als onderzoeker in de meeste gevallen zoveel mogelijk data om de analyses op uit te voeren. Een ander doel is om zo min mogelijk ‘vervuiling’ in het bestand te hebben. Dat maakt je onderzoeksresultaten namelijk minder betrouwbaar.
Vervuiling in een respondentenbestand kan ontstaan door:
Er zijn 2 manieren om een online vragenlijst te versturen. Via een gepersonaliseerde link of via een open link. Het probleem van dubbele respondenten doet zich alleen voor bij een open link aangezien een gepersonaliseerde link maar 1x gebruikt kan worden.
Het probleem van dubbele respondenten doet zich met name voor wanneer er een beloning gekoppeld wordt aan deelname aan het onderzoek. Dit is helaas steeds vaker nodig om voldoende respons te krijgen. Wanneer je een vragenlijst vaker invult heb je logischerwijs meer kans bij een verloting van een prijs. Voor het versturen van een beloning heb je een mailadres nodig. Heel eenvoudig is om te controleren op dubbele mailadressen. Nu kan het zijn dat meerdere mensen gebruik maken van hetzelfde mailadres. Vraag dan behalve mailadres ook naar de naam en controleer dan op dubbelen. Ook kan in de introtekst van de vragenlijst vermeld worden dat er per mailadres slechts 1 beloning kan worden verstrekt.
Al met al geen waterdicht systeem, maar voldoende om een groot deel van de ‘fraudeurs’ te ontmantelen.
Ook dit probleem doet zich vooral voor wanneer er sprake is van een beloning, maar ook als leerlingen een vragenlijst klassikaal (verplicht) invullen. Respondenten willen in deze gevallen snel klaar zijn en vullen de vragenlijst niet serieus in. Je kunt dit herkennen door een paar controles uit te voeren:
Bij het gebruik van een open link die bijvoorbeeld via sociale media verspreid wordt, kan het voorkomen dat er respons binnenkomt van respondenten die niet tot de doelgroep behoren ondanks dat dit vanzelfsprekend duidelijk in de introtekst is aangegeven. We weten allemaal dat introteksten slecht of niet worden gelezen. Om dit verder te voorkomen is het verstandig om aan het begin van de vragenlijst een filtervraag te zetten. Gebeurt het toch dat er respondenten in je databestand zitten die niet tot de doelgroep behoren, is het vanzelfsprekend verstandig om die te verwijderen en daarmee vervuiling van je bestand tegen te gaan.
Iets wat helaas veel gebeurt, is dat respondenten wel beginnen aan een vragenlijst, maar deze niet afmaken. Nu is het de vraag wanneer je respondenten wel of niet meeneemt bij deels ingevulde vragenlijsten. Hier zijn geen harde regels voor. Ik ben hier zelf redelijk streng in en neem respondenten mee als ze minimaal de helft hebben ingevuld. Probeer respondenten te ontmoedigen om de vragenlijst af te breken. Zorg voor kwalitatief goede vragenlijsten en probeer zo min mogelijk vragen verplicht te stellen.
Stel: je hebt interviews afgenomen voor je onderzoek. Er is een hoop interessante informatie naar boven gekomen tijdens deze gesprekken. Maar hoe zorg je ervoor dat je die informatie kunt gebruiken om je onderzoeksvraag te beantwoorden?
Stap 1: verslaglegging
Maak een verslag van je interview. Het beste kun je dit doen aan de hand van een geluidsopname van het gesprek of je vraagt iemand die meteen mee typt tijdens het gesprek. Je kunt dit zo gedetailleerd doen als je wilt. Sommige onderzoekers transcriberen een gesprek (een letterlijk gesprek van alles wat wordt gezegd). Ik (laat) meestal een verslag maken waarin staat wat iemand vertelde met enkele sprekende voorbeelden die iemand noemt.
Als je zelf het gesprek uitwerkt vallen er vast al bepaalde passages op. Markeer deze alvast! Dit zal je tijd besparen tijdens het analyseren.
Stap 2: thema’s opstellen
Nadat je je interviews hebt uitgewerkt, is het tijd om te coderen. Bij coderen markeer je bepaalde onderwerpen en thema’s die jouw onderzoeksvraag kunnen beantwoorden. Als je op zoek gaat naar specifieke informatie, codeer je thematisch. Voordat je interviews ging afnemen, heb je vast een (vragen)lijst opgesteld met thema’s die je wilde bespreken. Deze kun je nu weer gebruiken. Stel een lijst met thema’s op. Print hem uit en houdt hem erbij tijdens het coderen.
Stap 3: coderen
Vervolgens ga je coderen. Print je interviews uit en onderstreep elke belangrijke passage. Gebruik een andere kleur voor elk verschillend thema. Soms is een thema echter niet zo eenduidig. Het kan zijn dat meerdere labels onder één thema vallen, bijvoorbeeld het thema ‘creativiteit’. Van te voren heb je opgesteld dat het thema creativiteit meerdere factoren bevat, zoals ‘nieuwsgierigheid’ en ‘experimenteren’. Dan geef je de passages die labels. Vervolgens groepeer je alle labels onder ‘creativiteit’. Het kan dat je er tijdens het coderen achter komt dat ‘vindingrijk zijn’ ook bij ‘creativiteit’ hoort. Maak dan een nieuw label aan. Dit geldt natuurlijk ook voor geheel nieuwe thema’s.
Het komt ook wel eens voor dat je er halverwege achter komt dat je bepaalde passages toch anders moet labelen. Of dat sommige labels niet nuttig zijn.
Stap 4: analyseren en rapporteren
Als het goed is, heb je je data gereduceerd tot een lijst met thema’s en labels, plus bijbehorende passages.
De themalijst kan als leidraad dienen voor je rapport. Beschrijf de thema’s die jouw onderzoeks- of deelvraag beantwoorden. Gebruik, als het kan, daarbij citaten uit de interviews om bepaalde punten te benadrukken. Zo blijft je rapport ook interessant om te lezen.
Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.
De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?
• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?
• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.
Als opdrachtgever bepaal jij wat je wilt laten onderzoeken. Dat betekent dat jij de touwtjes in handen hebt. Jij kunt invloed kan uitoefenen op het onderzoek (en de onderzoeker) op bepaalde momenten in het proces. Maar welk moment is nu de juiste om dat te doen?
In het eerste gesprek tussen de opdrachtgever en onderzoeker wordt besproken wat er precies onderzocht gaat worden. Geef goed aan wat jij voor ogen hebt en wat je verwacht van het onderzoek en de onderzoeker. Je kunt hier ook kort aangeven hoe de rapportage eruit moeten komen te zien, maar details zijn later pas van belang.
Nadat het duidelijk is wat er onderzocht gaat worden, zet de onderzoeker een meetinstrument op. Op dit moment kun je nog vragen stellen over de inhoud van het onderzoek en aanpassingen maken aan het meetinstrument. Ben je toch niet helemaal tevreden over de richting waar het onderzoek opgaat? Geef dat dan nu aan.
Zodra de dataverzameling is begonnen, kan er niks meer worden veranderd aan de richting van het onderzoek of het meetinstrument. Houd in deze periode wel vinger aan de pols of er voldoende respons is, hoe het gaat en of het nodig is extra inspanningen te doen.
Geef aan, vóórdat de onderzoeker aan de analyse en het rapport begint, welke informatie en gegevens erin moeten komen, maar ook wat het doel is van je rapport (naslagmateriaal, mensen overtuigen, verantwoording). Dan kan de onderzoeker het rapport en de vormgeving ervan daarop aan laten sluiten. Bespreek ook welke vorm het rapport moet krijgen. Het hoeft namelijk geen klassiek rapport te zijn, het kan ook een artikel, presentatie of factsheet zijn. Lees voor verschillende mogelijkheden ook mijn blog: 8 vormen om je onderzoeksresultaten te verspreiden.
De juiste keuze en opmaak voor grafieken en diagrammen zorgt ervoor dat de onderzoeksresultaten gelezen en begrepen worden. Probeer dus altijd te bedenken wat de belangrijkste boodschap is die je wilt overbrengen en of de grafiek deze boodschap ook daadwerkelijk overbrengt. Vooral bij kwantitatief onderzoek is het zaak om de juiste grafieken en opmaak te kiezen die de data goed weergeven. Ik geef een aantal tips:
Wanneer welke grafiek?
Regelmatig hoor ik van beleidsmedewerkers en andere professionals dat ze een onderzoek hebben laten doen, maar er niets aan hebben gehad. Meestal omdat de onderzoeksresultaten zo onbegrijpelijk zijn opgeschreven, je verdwaald in de hoeveelheid informatie en details, vervolgacties onduidelijk zijn en soms zelfs omdat de verkeerde informatie verzameld is. Jammer van de energie die je er in hebt gestopt en het geld dat het heeft gekost.
Als je een onderzoeksbureau inschakelt, dan wil je wel zeker weten dat je aan het eind van de rit alle relevante informatie boven tafel hebt. Het is dus zaak dat jij het bureau zo aanstuurt, dat je krijgt wat je nodig hebt. Daarom geef ik graag een paar tips voor uitbesteed onderzoek begeleiden:
In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:
Na het formuleren van je doelen, ontwerpen van het onderzoeksinstrument en het verzamelen van informatie is het tijd om de data te analyseren en te rapporteren. Een aantal dingen waarmee je rekening moet houden bij het analyseren en het rapporteren van je onderzoek:
Musea en science centra willen steeds vaker weten of het werkt wat ze doen. Het gaat dan niet over het hebben van zo veel mogelijk bezoekers, maar over de kwaliteit van hun (educatieve) programma. Wordt hun doel, namelijk het beïnvloeden van de interesse voor, de houding naar en de kennis over (bijvoorbeeld) natuur, cultuur, geschiedenis of wetenschap, bereikt? Deze doelen worden op verschillende manieren gemeten.
Eén manier is het houden van een enquête. Bezoekers worden dan schriftelijk bevraagd over hun ervaringen tijdens het bezoek. Omdat musea en science centra vaak niet de kennis (en tijd) in huis hebben over het doen van onderzoek, is het voor hen soms lastig om de juiste vragen te stellen en de resultaten te interpreteren. Wil je daadwerkelijk informatie waar je iets mee kunt, dan is het belangrijk om de juiste indicatoren te bepalen voor de enquête.
Naast de interne enquête worden er ook grootschalige internationale onderzoeken gedaan waar de science centra en musea aan mee kunnen doen. Ook kunnen afgeronde grootschalige onderzoeken dienen als informatiebron voor de musea.
Ook maken veel musea en science centra gebruik van RF-ID (identificatie met radiogolven) bij interactieve opstellingen om effecten te meten. Bezoekers kunnen dan (a.d.h.v. een armbandje) hun activiteiten opslaan en achteraf (online) terug zien wat ze hebben gedaan en hoe ze dit hebben gedaan. Dit is leuk voor de bezoeker, maar dient ook als input voor het museum of science center. Je kunt hier namelijk uithalen hoe lang bezoekers bij een opstelling blijven staan, hoeveel er gebruik van wordt gemaakt en of er meerdere keren gebruik van wordt gemaakt.
Een andere manier om te meten is het analyseren van handelingen van bezoekers op basis van filmopnames. Dit gebeurt vooral bij interactieve opstellingen. Aan de hand van bewegingen, gezichtsuitdrukkingen, handelingen en verblijfsduur wordt het leerpotentieel geanalyseerd.
Science centra en musea kunnen ook van elkaar leren. Door de kwaliteit van hun educatieve programma’s te meten en met elkaar te vergelijken kunnen ze leren van elkaars sterke en zwakke punten.
Dit is een benchmark. Voor de VSC en verschillende science centra hebben wij zo’n benchmark uitgevoerd.
