In een ander blog hebben we verteld wat EVI inhoudt en wat je er mee kunt doen. Wanneer een penvoerder van Cultuureducatie met Kwaliteit (CmK) ervoor heeft gekozen om er mee aan de slag te gaan zijn er een aantal zaken de uitgezocht moeten worden. Hierover hebben wij 7 tips om EVI in te voeren verzameld tijdens het doen van een onderzoek naar EVI en de invoering ervan.
Deze tips zijn natuurlijk niet alleen voor het gebruiken van EVI, je zou ze ook bij andere meetinstrumenten kunnen gebruiken die je nieuw wilt gaan inzetten. Kijk dan welke tip van toepassing kan zijn voor je.
gelopen periode hebben we een aantal blogs geschreven over waar goed onderzoek aan moet voldoen. In deze blog brengen we deze criteria nog een keer kort onder de aandacht en verwijzen we naar de blogs per onderwerp.
De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Meer info: wat betekent betrouwbaarheid?
De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag? Meer info: wat is validiteit?
Dat betrouwbaarheid en validiteit met elkaar samenhangen, blijkt uit onderstaand plaatje.
Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie. Meer info: representativiteit: wat is het en hoe krijg je het?
Het onderzoek moet herhaalbaar zijn op een ander tijdstip, met een andere onderzoeker, andere steekproef (wel dezelfde doelgroep) en onder andere omstandigheden. Meer info: onderzoek moet herhaalbaar zijn
Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel. Meer info: objectief blijven bij kwalitatief onderzoek
Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘. Meer info: onafhankelijk onderzoek wat is het?
De data is verzameld en de eerste analyse is gedaan. Er ligt een hoop data voor je en nu is het tijd om dit in een mooi rapport te verwerken.
1. Kies een andere vorm van rapportage:
Bedenk of een traditioneel rapport de juiste vorm is om de resultaten te delen. Andere vormen van rapportage kunnen zijn: Powerpointrapportage, infographic, presentatie, dashboard, animatie, folder/flyer, tijdschrift of artikel in een tijdschrift.
2. Maak als eerste je inhoudsopgave:
Door het opstellen van je inhoudsopgave zie je of je alle deelvragen goed beantwoordt en of alle informatie op de juiste plek terecht komt in je rapport. Houdt er rekening mee dat lezers graag snel de conclusie willen lezen en daarna de uitleg.
3. Begin met schrijven van je rapportage:
Begin met het schrijven van de details in je paragrafen. Daarna schrijf je per hoofdstuk een conclusie. Bij het trekken van de conclusies probeer je de deelvragen te beantwoorden. Uiteindelijk schrijf je de samenvatting, alleen wanneer je een uitgebreide rapportage hebt. Maak de samenvatting niet te lang.
4. Houd het schrijven leuk:
Maak een lijstje van wat je allemaal moet doen. Een goede is om de inhoudsopgave te printen en hierop aan te strepen wat je al gedaan hebt. Op deze manier zie je letterlijk hoe ver je bent. Wanneer je het niet meer ziet, is het handig om even met iemand te sparren over het onderzoek. Vertel waar je mee bezig bent en wat de resultaten zijn. Waarschijnlijk kom je al pratende weer tot inzichten die je kunt gebruiken. Bedenk dat wat voor jou duidelijk en vanzelfsprekend is nog niet voor een ander duidelijk en vanzelfsprekend hoeft te zijn.
5. Neem de tijd:
Maak naast je lijstje een duidelijke planning en neem de tijd om je rapport te schrijven en door iemand te laten lezen. En lukt het even niet, neem even een pauze. Ga muziek luisteren, kijk een filmpje. Als je daarna met een frisse blik naar je data kijkt, kan het zomaar zijn dat je ineens weer ziet wat je aan het doen bent en wat je nog allemaal moet doen. Even afstand nemen werkt vaak beter dan maar door blijven buffelen en het op een gegeven moment niet meer zien.
6. De puntjes op de i:
Pak je analyseschema er nog een laatste keer bij: heb je alle deelvragen beantwoord? Dan ben je echt ver klaar. Dit is het moment om je rapport door een buitenstaander te laten lezen. Diegene kan er spelfouten uithalen en laten weten of het een duidelijk verhaal is. Komt de informatie goed over en zijn de conclusies helder en duidelijk geschreven? Wanneer dat allemaal gedaan is kijk je nog een laatste keer naar de opmaak. Zorg dat de paginanummers goed staan en de bronnen zijn gecheckt.
Tot slot: geniet ervan dat je het geschreven hebt. Je bent al weken, misschien wel maanden bezig met je onderzoek en nu ben je bijna klaar. De laatste loodjes wegen wellicht zwaar, maar de laatste puntjes op de i maken je rapportage helemaal af.
Wil je meer weten over het schrijven van rapportage of heb je hulp nodig bij je scriptie? Kijk hier voor ons e-boek Help ik moet onderzoek doen
Stel: je hebt interviews afgenomen voor je onderzoek. Er is een hoop interessante informatie naar boven gekomen tijdens deze gesprekken. Maar hoe zorg je ervoor dat je die informatie kunt gebruiken om je onderzoeksvraag te beantwoorden?
Stap 1: verslaglegging
Maak een verslag van je interview. Het beste kun je dit doen aan de hand van een geluidsopname van het gesprek of je vraagt iemand die meteen mee typt tijdens het gesprek. Je kunt dit zo gedetailleerd doen als je wilt. Sommige onderzoekers transcriberen een gesprek (een letterlijk gesprek van alles wat wordt gezegd). Ik (laat) meestal een verslag maken waarin staat wat iemand vertelde met enkele sprekende voorbeelden die iemand noemt.
Als je zelf het gesprek uitwerkt vallen er vast al bepaalde passages op. Markeer deze alvast! Dit zal je tijd besparen tijdens het analyseren.
Stap 2: thema’s opstellen
Nadat je je interviews hebt uitgewerkt, is het tijd om te coderen. Bij coderen markeer je bepaalde onderwerpen en thema’s die jouw onderzoeksvraag kunnen beantwoorden. Als je op zoek gaat naar specifieke informatie, codeer je thematisch. Voordat je interviews ging afnemen, heb je vast een (vragen)lijst opgesteld met thema’s die je wilde bespreken. Deze kun je nu weer gebruiken. Stel een lijst met thema’s op. Print hem uit en houdt hem erbij tijdens het coderen.
Stap 3: coderen
Vervolgens ga je coderen. Print je interviews uit en onderstreep elke belangrijke passage. Gebruik een andere kleur voor elk verschillend thema. Soms is een thema echter niet zo eenduidig. Het kan zijn dat meerdere labels onder één thema vallen, bijvoorbeeld het thema ‘creativiteit’. Van te voren heb je opgesteld dat het thema creativiteit meerdere factoren bevat, zoals ‘nieuwsgierigheid’ en ‘experimenteren’. Dan geef je de passages die labels. Vervolgens groepeer je alle labels onder ‘creativiteit’. Het kan dat je er tijdens het coderen achter komt dat ‘vindingrijk zijn’ ook bij ‘creativiteit’ hoort. Maak dan een nieuw label aan. Dit geldt natuurlijk ook voor geheel nieuwe thema’s.
Het komt ook wel eens voor dat je er halverwege achter komt dat je bepaalde passages toch anders moet labelen. Of dat sommige labels niet nuttig zijn.
Stap 4: analyseren en rapporteren
Als het goed is, heb je je data gereduceerd tot een lijst met thema’s en labels, plus bijbehorende passages.
De themalijst kan als leidraad dienen voor je rapport. Beschrijf de thema’s die jouw onderzoeks- of deelvraag beantwoorden. Gebruik, als het kan, daarbij citaten uit de interviews om bepaalde punten te benadrukken. Zo blijft je rapport ook interessant om te lezen.
Een goed onderzoek voldoet aan een aantal criteria. Een aantal criteria hebben we al eerder besproken zoals betrouwbaarheid, onafhankelijk en objectief. Een ander belangrijk criteria is dat het onderzoek herhaalbaar moet zijn.
Het criteria herhaalbaarheid sluit erg aan op de criteria objectief en onafhankelijk. Een onderzoek is herhaalbaar als een andere onderzoeker met hetzelfde onderzoek dezelfde resultaten kan bereiken. Het onderzoek moet dus op een ander tijdstip, met andere respondenten, andere omstandigheden en door een andere onderzoeker gedaan kunnen worden. Het meetinstrument moet dus zo worden ontworpen dat iedereen er mee kan werken en dezelfde resultaten kan bereiken.
In je rapportage wordt een hoofdstuk geschreven over de onderzoeksmethodiek. Hierin wordt beschreven welke methodiek je hebt gebruikt voor het onderzoek. Je beschrijft in dit hoofdstuk ook welke stappen je hebt gezet om de data te verzamelen. Hiermee kan het onderzoek door anderen worden herhaald.
Eén van de onderzoeksmethodes die veel gebruikt wordt, is het houden van een interview. Het is belangrijk om dit goed voor te bereiden, zodat je de juiste informatie krijgt. Hieronder vind je 10 tips om goed beslagen ten ijs te komen.
Mocht je meer informatie willen over de onderzoeksmethode interview kijk dan naar een van deze blogs ‘Welke interviewmethoden zijn er en wanneer gebruik je ze?’ of ‘15 tips voor een goed interview’
Onderzoek doen kan je veel opleveren. Je verkrijgt inzichten waarmee je gefundeerde beslissingen en acties kunt ondernemen. Mits je het goed doet. Pak je het verkeerd aan, dan levert een onderzoek niet (of nauwelijks) op wat je wilt en heeft het enkel onnodig veel tijd gekost. Om je op weg te helpen, noem ik in deze blog een aantal valkuilen van onderzoek waar je voor moet waken:
Onderzoek doen omdat het moet. Je begint aan een onderzoek omdat je informatie nodig hebt waar je iets mee kunt. Bijvoorbeeld om je project te verbeteren, verantwoording af te leggen, besluitvorming te voeden of draagvlak te creëren. Denk echter elke keer weer na, over wat je met het onderzoek wilt bereiken. Doe geen onderzoek omdat het in het proces past of omdat het zo hoort, terwijl je geen informatiebehoefte hebt.
De verkeerde onderzoeksvraag stellen, waardoor je uiteindelijk niet de antwoorden krijgt waarnaar je op zoek bent. Het formuleren van de juiste onderzoeksvraag is essentieel bij het verkrijgen van de informatie die je nodig hebt. Bepaal de onderzoeksvraag aan de hand van de informatie die je nodig hebt. De onderzoeksvraag kan namelijk vaak niet meer aangepast worden gedurende het onderzoek. Als je bepaalde informatie aan het verzamelen bent, kun je gedurende de dataverzameling hier niet meer sterk van afwijken. Realiseer je dit bij het formuleren van je onderzoeksvraag.
Verkeerde onderzoeksmethode kiezen De onderzoeksmethode die je kiest is afhankelijk van het soort informatie dat je nodig hebt. Kies dus niet voor een vragenlijst als je achterliggende motivaties wilt weten. Of: kies niet voor interviews als je veel cijfers en percentages wilt hebben van een grote groep mensen.
Verdwalen in de hoeveelheid informatie. Als je alle informatie verzameld hebt, is het zaak om niet te verdwalen in de informatie en weer terug te gaan naar je onderzoeksvraag. De resultaten van een onderzoek zijn niet een verzameling feiten, maar een samenhangend antwoord op je vraag. De feiten worden dus op zo’n manier geclusterd dat verbanden inzichtelijk zijn (en dus ook geformuleerd worden) en de conclusies een logisch gevolg zijn en antwoord geven op je vraag.
Niets doen met de resultaten. Met alleen het doen van een onderzoek ben je er nog niet. De resultaten moeten geïmplementeerd worden. Hoe je dit doet is afhankelijk van het onderzoek dat je hebt gedaan. Leerpunten of actiepunten vloeien vaak logisch voort uit een onderzoek. Ga hiervoor (met collega’s) zitten om een actieplan of implementatieplan te formuleren. Maak praktische afspraken met collega’s over wat jullie gaan doen met de informatie.
Wil je meer lezen over hoe je de stappen van onderzoek doen wel op een goede manier kunt doorlopen? Lees dan deze eerder verschenen blogs:
Wees creatief bij het kiezen van je onderzoeksmethoden. Er zijn veel manieren om je data te verzamelen. Hierin kun je allerlei combinaties maken. Kijk verder dan de standaard onderzoeksmethoden.
Door standaardmethoden om te buigen kun je het respondenten makkelijk maken, wat je respons vergroot. Mensen vinden het dan ook leuk om mee te werken aan je onderzoek. Scheurkaartjes zijn bijvoorbeeld hele korte vragenlijstjes. En korte interviewtjes zijn vragenlijsten met veel open vragen. Een kort gesprek waarin een respondent zijn/haar verhaal kwijt kan met een kopje koffie is fijner om te doen dan een vragenlijst invullen.
Door gebruik te maken van panels maak je handig gebruik van mensen die mee willen doen met onderzoek en daarvoor vaak beloond worden. Je betaalt per respondent en de beheerder van het panel denkt graag met je mee over representativiteit. Je kunt je doelgroep vaak heel precies selecteren aan de hand van allerlei achtergrondkenmerken.
Het combineren van methoden geeft verdieping aan de informatie die verzameld. Zo kun je de uitkomsten van een vragenlijsten in groepsgesprekken interpreteren. Andersom kun je aan de hand van literatuurstudie een vragenlijst samenstellen. Of eerst bestaande databestanden analyseren en wat dan ontbreekt vragen in een vragenlijst. Op die manier hoef je een aantal zaken niet te vragen in je vragenlijst en kun je dieper ingaan op de materie in je vragenlijst.
Je kunt respondenten een logboek bij laten houden en dit combineren met tracking. Hierbij zie je wat de respondenten doen en wordt het ook beschreven door de respondent. Denk hierbij wel aan de wet rondom de privacy.
Een combinatie die ik zelf graag gebruik zijn observaties en korte gesprekken aan de hand van een vragenlijst. Op basis van wat je hebt gezien, stel je wat vragen. Bijvoorbeeld waarom iets iemand deed of hoe ze dat ervaren hebben.
Als je een representatieve mening van een bepaalde groep Nederlanders nodig hebt, bijvoorbeeld vrouwen tussen de 35 en 60 jaar maar ook ouders van kinderen op de basisschool of inwoners van Amsterdam, kun je kiezen voor een vragenlijst onder een panel.
Een panel wordt gevormd door een representatieve groep Nederlanders die aangegeven heeft dat ze regelmatig willen meedoen aan een onderzoek. Vaak worden deze panels beheerd door marktonderzoekbureaus, maar ook door andere onderzoekbureaus. Je koopt een aantal vragen en respondenten in. De panelbeheerder legt de panelleden een digitale vragenlijst voor. Meestal wordt er binnen een aantal weken een databestand opgeleverd met een weegfactor. Je kunt dan snel met de uitkomsten van het onderzoek aan de slag.
Het kan interessant zijn om gedurende het jaar een aantal keer een panelonderzoek te doen. Als je vaker data verzamelt, kun je vergelijkingen gaan maken bijvoorbeeld over een verandering van houding of bekendheid met een bepaald product of dienst. Als je in dat jaar aanpassingen doet, kan je zien wat de resultaten hiervan zijn.
Tips:
Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.
De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?
• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?
• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.
Hoe mooi en uitgedacht een plan ook is, de realiteit verloopt vaak anders. Je verwacht vlekkeloos van start naar het eindresultaat te gaan. Maar tussen die twee momenten zitten een hoop obstakels die je moet overwinnen. Maar dat betekent niet dat je niet over die obstakels heen kunt komen of dat je je plan niet kunt aanpassen. Hieronder geef ik vijf tips:
1. Probeer vooruit te kijken
Kijk kritisch naar je plan en bedenk waar het fout kan gaan. Probeer vooruit te bedenken waar mogelijk beren op de weg komen. Ben je bijvoorbeeld afhankelijk van iemand, zorg er dan voor dat je tijdig begint met het zorgen voor medewerking. Heb je een samenwerkingspartner met andere belangen, zorg dan voor goed overleg en afstemming.
2. Focus op je onderzoeksdoel en onderzoeksvraag
Antwoord op je vragen is wat telt. Als iets tegen zit, kun je kijken of er andere manieren zijn om antwoord op je vraag te krijgen. Kun je bijvoorbeeld ook deelnemers observeren als je onvoldoende respons krijgt op een vragenlijst. Of zijn ze wel bereid mee te werken aan een telefonisch interview. Het is belangrijk de juiste informatie te verzamelen en dat deze valide is. Welke methode je gebruikt is minder belangrijk.
3. Bedenk een plan B
Stel dat je vierhonderd respondenten nodig hebt voor je vragenlijst. Maar mensen zijn niet zo bereidwillig als je had gehoopt. Wat ga je dan doen? Houd een plan B achter de hand, zodat je onderzoek niet vastloopt op dit punt. Hoe kun je mensen verleiden om mee te doen aan je onderzoek? En waar kun je je respondenten nog meer bereiken?
4. Praat met anderen
Op sommige momenten kun je het niet alleen, maar heb je hulp van anderen nodig. Vooral als je het even niet meer ziet zitten, kan praten met anderen al helpen om je ‘back on track’ te krijgen. En soms kunnen anderen jou helpen om je nieuwe ideeën te geven of een plan B te bedenken. Ook kan het helpen om je onderzoek uit te leggen aan iemand die totaal geen verstand van het onderwerp heeft. Al pratend kun je op nieuwe ideeën of inzichten komen.
5. Het is niet erg om fouten te maken
Bijna geen enkel plan verloopt vlekkeloos. Het gaat met vallen en opstaan. Soms ben je een aantal dagen kwijt met een idee dat uiteindelijk toch niet blijkt te werken. Onderzoek doen kost tijd. Houd daar rekening mee en bedenk dat het niet erg is om fouten te maken.
