Stel: je hebt interviews afgenomen voor je onderzoek. Er is een hoop interessante informatie naar boven gekomen tijdens deze gesprekken. Maar hoe zorg je ervoor dat je die informatie kunt gebruiken om je onderzoeksvraag te beantwoorden?
Stap 1: verslaglegging
Maak een verslag van je interview. Het beste kun je dit doen aan de hand van een geluidsopname van het gesprek of je vraagt iemand die meteen mee typt tijdens het gesprek. Je kunt dit zo gedetailleerd doen als je wilt. Sommige onderzoekers transcriberen een gesprek (een letterlijk gesprek van alles wat wordt gezegd). Ik (laat) meestal een verslag maken waarin staat wat iemand vertelde met enkele sprekende voorbeelden die iemand noemt.
Als je zelf het gesprek uitwerkt vallen er vast al bepaalde passages op. Markeer deze alvast! Dit zal je tijd besparen tijdens het analyseren.
Stap 2: thema’s opstellen
Nadat je je interviews hebt uitgewerkt, is het tijd om te coderen. Bij coderen markeer je bepaalde onderwerpen en thema’s die jouw onderzoeksvraag kunnen beantwoorden. Als je op zoek gaat naar specifieke informatie, codeer je thematisch. Voordat je interviews ging afnemen, heb je vast een (vragen)lijst opgesteld met thema’s die je wilde bespreken. Deze kun je nu weer gebruiken. Stel een lijst met thema’s op. Print hem uit en houdt hem erbij tijdens het coderen.
Stap 3: coderen
Vervolgens ga je coderen. Print je interviews uit en onderstreep elke belangrijke passage. Gebruik een andere kleur voor elk verschillend thema. Soms is een thema echter niet zo eenduidig. Het kan zijn dat meerdere labels onder één thema vallen, bijvoorbeeld het thema ‘creativiteit’. Van te voren heb je opgesteld dat het thema creativiteit meerdere factoren bevat, zoals ‘nieuwsgierigheid’ en ‘experimenteren’. Dan geef je de passages die labels. Vervolgens groepeer je alle labels onder ‘creativiteit’. Het kan dat je er tijdens het coderen achter komt dat ‘vindingrijk zijn’ ook bij ‘creativiteit’ hoort. Maak dan een nieuw label aan. Dit geldt natuurlijk ook voor geheel nieuwe thema’s.
Het komt ook wel eens voor dat je er halverwege achter komt dat je bepaalde passages toch anders moet labelen. Of dat sommige labels niet nuttig zijn.
Stap 4: analyseren en rapporteren
Als het goed is, heb je je data gereduceerd tot een lijst met thema’s en labels, plus bijbehorende passages.
De themalijst kan als leidraad dienen voor je rapport. Beschrijf de thema’s die jouw onderzoeks- of deelvraag beantwoorden. Gebruik, als het kan, daarbij citaten uit de interviews om bepaalde punten te benadrukken. Zo blijft je rapport ook interessant om te lezen.
Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.
De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?
• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?
• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.
Als opdrachtgever bepaal jij wat je wilt laten onderzoeken. Dat betekent dat jij de touwtjes in handen hebt. Jij kunt invloed kan uitoefenen op het onderzoek (en de onderzoeker) op bepaalde momenten in het proces. Maar welk moment is nu de juiste om dat te doen?
In het eerste gesprek tussen de opdrachtgever en onderzoeker wordt besproken wat er precies onderzocht gaat worden. Geef goed aan wat jij voor ogen hebt en wat je verwacht van het onderzoek en de onderzoeker. Je kunt hier ook kort aangeven hoe de rapportage eruit moeten komen te zien, maar details zijn later pas van belang.
Nadat het duidelijk is wat er onderzocht gaat worden, zet de onderzoeker een meetinstrument op. Op dit moment kun je nog vragen stellen over de inhoud van het onderzoek en aanpassingen maken aan het meetinstrument. Ben je toch niet helemaal tevreden over de richting waar het onderzoek opgaat? Geef dat dan nu aan.
Zodra de dataverzameling is begonnen, kan er niks meer worden veranderd aan de richting van het onderzoek of het meetinstrument. Houd in deze periode wel vinger aan de pols of er voldoende respons is, hoe het gaat en of het nodig is extra inspanningen te doen.
Geef aan, vóórdat de onderzoeker aan de analyse en het rapport begint, welke informatie en gegevens erin moeten komen, maar ook wat het doel is van je rapport (naslagmateriaal, mensen overtuigen, verantwoording). Dan kan de onderzoeker het rapport en de vormgeving ervan daarop aan laten sluiten. Bespreek ook welke vorm het rapport moet krijgen. Het hoeft namelijk geen klassiek rapport te zijn, het kan ook een artikel, presentatie of factsheet zijn. Lees voor verschillende mogelijkheden ook mijn blog: 8 vormen om je onderzoeksresultaten te verspreiden.
De juiste keuze en opmaak voor grafieken en diagrammen zorgt ervoor dat de onderzoeksresultaten gelezen en begrepen worden. Probeer dus altijd te bedenken wat de belangrijkste boodschap is die je wilt overbrengen en of de grafiek deze boodschap ook daadwerkelijk overbrengt. Vooral bij kwantitatief onderzoek is het zaak om de juiste grafieken en opmaak te kiezen die de data goed weergeven. Ik geef een aantal tips:
Wanneer welke grafiek?
Regelmatig hoor ik van beleidsmedewerkers en andere professionals dat ze een onderzoek hebben laten doen, maar er niets aan hebben gehad. Meestal omdat de onderzoeksresultaten zo onbegrijpelijk zijn opgeschreven, je verdwaald in de hoeveelheid informatie en details, vervolgacties onduidelijk zijn en soms zelfs omdat de verkeerde informatie verzameld is. Jammer van de energie die je er in hebt gestopt en het geld dat het heeft gekost.
Als je een onderzoeksbureau inschakelt, dan wil je wel zeker weten dat je aan het eind van de rit alle relevante informatie boven tafel hebt. Het is dus zaak dat jij het bureau zo aanstuurt, dat je krijgt wat je nodig hebt. Daarom geef ik graag een paar tips voor uitbesteed onderzoek begeleiden:
In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:
Na het formuleren van je doelen, ontwerpen van het onderzoeksinstrument en het verzamelen van informatie is het tijd om de data te analyseren en te rapporteren. Een aantal dingen waarmee je rekening moet houden bij het analyseren en het rapporteren van je onderzoek:
Musea en science centra willen steeds vaker weten of het werkt wat ze doen. Het gaat dan niet over het hebben van zo veel mogelijk bezoekers, maar over de kwaliteit van hun (educatieve) programma. Wordt hun doel, namelijk het beïnvloeden van de interesse voor, de houding naar en de kennis over (bijvoorbeeld) natuur, cultuur, geschiedenis of wetenschap, bereikt? Deze doelen worden op verschillende manieren gemeten.
Eén manier is het houden van een enquête. Bezoekers worden dan schriftelijk bevraagd over hun ervaringen tijdens het bezoek. Omdat musea en science centra vaak niet de kennis (en tijd) in huis hebben over het doen van onderzoek, is het voor hen soms lastig om de juiste vragen te stellen en de resultaten te interpreteren. Wil je daadwerkelijk informatie waar je iets mee kunt, dan is het belangrijk om de juiste indicatoren te bepalen voor de enquête.
Naast de interne enquête worden er ook grootschalige internationale onderzoeken gedaan waar de science centra en musea aan mee kunnen doen. Ook kunnen afgeronde grootschalige onderzoeken dienen als informatiebron voor de musea.
Ook maken veel musea en science centra gebruik van RF-ID (identificatie met radiogolven) bij interactieve opstellingen om effecten te meten. Bezoekers kunnen dan (a.d.h.v. een armbandje) hun activiteiten opslaan en achteraf (online) terug zien wat ze hebben gedaan en hoe ze dit hebben gedaan. Dit is leuk voor de bezoeker, maar dient ook als input voor het museum of science center. Je kunt hier namelijk uithalen hoe lang bezoekers bij een opstelling blijven staan, hoeveel er gebruik van wordt gemaakt en of er meerdere keren gebruik van wordt gemaakt.
Een andere manier om te meten is het analyseren van handelingen van bezoekers op basis van filmopnames. Dit gebeurt vooral bij interactieve opstellingen. Aan de hand van bewegingen, gezichtsuitdrukkingen, handelingen en verblijfsduur wordt het leerpotentieel geanalyseerd.
Science centra en musea kunnen ook van elkaar leren. Door de kwaliteit van hun educatieve programma’s te meten en met elkaar te vergelijken kunnen ze leren van elkaars sterke en zwakke punten.
Dit is een benchmark. Voor de VSC en verschillende science centra hebben wij zo’n benchmark uitgevoerd.
Bij een onderzoekrapportage denken veel mensen, helaas, nog steeds aan een lijvig boekwerk dat leest als een spannend boek (er wordt langzaam toegewerkt naar de conclusie). Er zijn echter ook andere manieren van rapporteren die steeds vaker gebruikt worden. Afhankelijk van de mate waarin je de onderzoeksresultaten wilt verspreiden, staan hieronder enkele mogelijkheden:
Een andere manier van schriftelijk rapporteren is per hoofdstuk een onderzoeksvraag beantwoorden. Binnen deze antwoorden begin je met de conclusie en wordt vervolgens uitgelegd hoe dit antwoord is opgebouwd.
Naast een schriftelijke rapportage is een presentatie ook mogelijk. Veel mensen vinden het prettiger om te luisteren of te kijken dan om te lezen. Met een presentatie krijgen luisteraars de mogelijkheid meteen te reageren en vragen te stellen als iets niet duidelijk is. Om de presentatie te bewaren kun je deze filmen.
Een dashboard is een dynamische manier van presenteren. In Excel kun je met grafieken een mooie presentatie maken. Elke keer dat je nieuwe informatie hebt wordt deze informatie meegenomen in je grafieken. Door gebruik te maken van filters kun je spelen met je data. Het dashboard vernieuwt zich daardoor steeds en laat de informatie zien die jij interessant vindt.
In zo’n rapportage ligt het accent op grafieken en tabellen. Conclusies worden beknopt geformuleerd. Dit is voor de schrijver lastig, omdat zij minder woorden heeft om nuances aan te brengen. Voor de lezer is het overzichtelijker en minder leeswerk. De nuances staan in de grafieken en tabellen en vergt dus soms nog wat interpreteerwerk vanuit de lezer.
Op internet zie je steeds vaker infographics voorbij komen. Het zijn informatieve illustraties waarbij gebruik wordt gemaakt van tekst, grafieken en tekeningen. Het is een snelle manier om informatie te delen.
Om onderzoeksresultaten te verspreiden aan een breder publiek is een animatiefilmpje een mogelijkheid om informatie op een prettige manier te vertellen en tonen, welke vervolgens gemakkelijk te verspreiden is. Door hierbij gebruik te maken van YouTube en social media, kan de informatie breed verspreid worden. Mensen zullen sneller geneigd zijn het te bekijken omdat de informatie toegankelijk en aantrekkelijk aangeboden wordt (bv in vergelijking met een schriftelijke rapportage).
Een andere manier om informatie laagdrempelig en aantrekkelijk te verspreiden is een folder of flyer. De hoofdzaken worden samengevat en aantrekkelijk vormgegeven met grafieken en illustraties. Het voordeel van een folder is dat deze gedrukt kan worden en dan zowel fysiek (bijvoorbeeld bij een bijeenkomst) als digitaal verspreid kan worden.
Een andere laagdrempelige manier om informatie te verspreiden is een tijdschrift. Door de vormgeving wordt de informatie aantrekkelijker gemaakt. De wijze van schrijven (in losse artikels en columns) wordt de informatie laagdrempeliger gemaakt.
Een artikel schrijven en vervolgens publiceren in een tijdschrift zorgt voor een brede verspreiding van je resultaten onder je doelgroep. Kies hierbij in welk tijdschrift je wilt publiceren en pas hierop je artikel aan. Een artikel voor een vaktijdschrift ziet er anders uit dan een artikel voor een populair tijdschrift.
Wil je meer informatie over het formuleren van onderzoeksvragen? Lees dan deze blog: Hoe kom je tot de juiste onderzoeksvraag?
Click on the flag to read this article in English
In gesprekken met medewerkers van musea merk ik dat subsidiërende lokale overheden voornamelijk kijken naar bezoekersaantallen. Want dat is gemakkelijk meetbaar. Maar wat is het doel van deze gemeenten om het museum te subsidiëren? Steunt de gemeente het doel van het museum (mensen iets leren over of interesseren voor een bepaald onderwerp)? Wil de gemeente dat het museum bijdraagt aan de identiteit van de gemeente? Of wil de gemeente zo veel mogelijk bezoekers?
Door het doel dat je als gemeente hebt met een museum (of een andere culturele instelling) samen scherper te formuleren, kun je samen kijken wat er dan wel en wat niet valt onder de activiteiten die ontwikkeld moeten worden om dit doel te bereiken. Twee voorbeelden om te verduidelijken wat ik bedoel.
Eerste voorbeeld: een museum is onderdeel van de identiteit van een gemeente. Op het gebied van binnenschoolse cultuureducatie kan dit betekenen dat het museum samen met de school kijkt naar de geschiedenis van de gemeente of met de leerlingen op zoek gaat naar wat de burgers bindt in deze gemeente. Een museum kan in dit geval ook een bijdrage leveren aan themajaren en zich buiten de muren van het museum profileren.
Tweede voorbeeld: een museum wil mensen binnen de gemeente en daarbuiten interesseren voor een bepaald onderwerp, kunststroming of historische periode. Door niet afgerekend te worden op het aantal bezoekers aan de deur, kunnen ze ook naar de bezoekers toegaan door bijvoorbeeld met een mobiele tentoonstelling te staan op een drukke plaats, zoals het station, een winkelstraat of een ziekenhuis. Mensen die normaliter niet naar het museum komen, maken nu wel op een laagdrempelige manier kennis met het onderwerp, de kunststroming, een kunstenaar of een historische periode en het museum. Door het laagdrempelig en kleinschalig aanbieden van cultuur zullen mensen aangesproken worden die normaliter het museum niet zouden bezoeken. Zo worden nieuwe publieksgroepen iets geleerd over, geïnteresseerd voor een bepaald onderwerp. Wat ze moeilijker lukt als ze naar het museum gelokt moeten worden.
Ik begrijp dat het lastiger te meten is of een museum bijdraagt aan deze doelen, dan bezoekers te tellen. Maar het geeft het museum meer mogelijkheden om naar potentiele bezoekers toe te gaan door minder gebonden te zijn aan hun gebouw. Door elders kennis te maken met het museum gaan mensen het meer waarderen, komt er meer draagvlak en zullen er uiteindelijk meer bezoekers komen omdat niet alleen de bekendheid is toegenomen, maar ook de drempels om het museum te bezoeken verlaagd zijn.
Ps. En ook van deze doelen kan gemeten worden of ze gehaald worden.
