Door regelmatig effecten te meten kun je veel leren. Sommige dingen, zoals deelnemersaantallen, zijn makkelijk vast te leggen, maar zeggen niets over daadwerkelijk doelbereik. Kwaliteit en impact van je organisatie monitoren en evalueren levert handvatten voor prestatieverbetering, maar is complexer en vereist meer consistentie in onderzoeksmethodiek. Hierbij ontstaan in de praktijk dan ook vaak drempels. Die zijn met een andere invalshoek echter relatief simpel op te lossen.
Het eerste dat je doet als als je een onderzoek gaat uitvoeren is het doel van het onderzoek en de juiste onderzoeksvraag formuleren. Het doel van het onderzoek en de onderzoeksvraag geven namelijk aan hoe de verdere opzet van het onderzoek eruit zal zien. En een goede onderzoeksvraag zorgt ervoor dat je aan het eind van het onderzoek de juiste informatie in handen hebt waarmee je actie kunt ondernemen. De onderzoeksvraag formuleer je in vijf stappen:
De eerste stap om tot een juiste onderzoeksvraag te komen is het formuleren van het onderzoeksdoel door middel van het beantwoorden van de vraag ‘waarom wil je een onderzoek uitvoeren?’ Het beantwoorden van deze vraag geeft je een beeld van het soort onderzoeksvraag dat je gaat stellen, welke informatie en welke antwoorden je nodig hebt. Wil je een project of proces verbeteren of wil je je project verantwoorden? Bij beide doelen ga je evalueren, maar de antwoorden die je na afloop wilt zijn heel anders. Verbeterpunten versus aangetoonde effecten.
Aan de hand van je doel (stap 1) kun je bepalen welke informatie je nodig hebt om aan dit doel te voldoen. Wat moet je weten om je doel te bereiken? Wil je je doelbereik verbeteren? Dan heb je informatie nodig in de vorm van verbeterpunten (wat gaat er goed en wat kan beter?) Is het doel om je project te legitimeren voor financiers? Dan heb je informatie nodig in de vorm van effecten van het project. Wil je een betere afstemming met de doelgroep en is dit het doel van je onderzoek? Dan heb je informatie nodig in de vorm van kenmerken, wensen en behoeften van de doelgroep. Stel jezelf steeds de vraag; wat ga ik straks doen met deze informatie? Hiermee kun je prioriteiten aanbrengen.
Aan de hand van je onderzoeksdoel en de concrete beschrijving van je informatiebehoefte kun je de onderzoeksvraag of -vragen opstellen. Formuleer deze vragen zo exact mogelijk. Bedenk bij het formuleren van de vragen dat jijzelf of een onderzoeker straks antwoord gaat geven op deze vragen. Kun je met behulp van de antwoorden op de onderzoeksvraag je onderzoeksdoel bereiken? Kun je vervolgactie ondernemen als je antwoord krijgt op deze vragen?
Aan een onderzoek zitten over het algemeen verschillende randvoorwaarden . Het is belangrijk om hier in de fase van het formuleren van de onderzoeksvraag al inzicht in te krijgen. Randvoorwaarden waar je rekening mee moet houden zijn bijvoorbeeld tijd, budget, beschikbaarheid van bepaalde gegevens, privacy regels, etc.
De resultaten van een onderzoek kunnen verschillende vormen aannemen:
Onderzoeksresultaten kunnen in verschillende vormen opgeleverd worden: een rapport, een factsheet, een dashboard, een boek, een filmpje, een artikel, een discussiebijeenkomst, een presentatie, een website, een PowerPointpresentatie, een infographic, een animatie, een tijdschrift, een flyer, etc. Bedenk nu vast wat je daarin wilt communiceren en met wie. Welke vorm gaat je daarbij helpen. Effecten, argumenten of verbeterpunten. Maak vooraf een voorstelling van wat je op het einde van het onderzoek zou willen krijgen en of je daar je voorgenomen actie mee kunt ondernemen (anderen overtuigen, beleid of projecten verbeteren, een beslissing nemen).
Click on the flag to read this article in English
Om valide uitkomsten te hebben van je onderzoek heb je voldoende respons nodig, bijvoorbeeld bij publieks- of klantenonderzoek. Maar hoe motiveer je je publiek om mee te werken aan jouw onderzoek? Een aantal tips:
Er is geen saai onderwerp, er zijn alleen saaie onderzoek vormen. Zet een creatieve werkvorm in (die past bij de doelgroep) om het onbewuste aan te spreken. Voor de ANWB bijvoorbeeld vroeg YoungWorks aan jongeren welk soort schoen zij het beste bij die organisatie vinden passen. De uitleg die jongeren dan geven zegt meer over het beeld dat zij hebben van de ANWB dan wanneer je hier direct naar zou vragen.
Welke verschillende subgroepen zie je? Kijk niet alleen naar de bekende groepen (geslacht), maar kijk bijvoorbeeld ook naar waarden als ambities en interesses. Pas hier vervolgens je benadering naar deze groepen op aan. Door in te spelen op specifieke kenmerken van het publiek wek je hun interesse en zijn zij eerder bereid om mee te werken aan je onderzoek.
Waardeer je publiek als expert. Zij beschikken ten slotte over informatie om jouw project of programma te verbeteren. Dit geeft een gevoel van verantwoordelijkheid. Het publiek krijgt op deze manier echt het gevoel dat zij iets toevoegen, wat motiveert om tijd vrij te maken voor het onderzoek. Leg het publiek uit wat de toegevoegde waarde is van de informatie die je van hen nodig hebt en benadruk het belang van hun medewerking. Zie ook het volgende punt.
Als je publiek de moeite neemt om je te helpen, moet je hun input ook gebruiken. Maak tijdens het onderzoek al duidelijk dat je gaat doen met de uitkomsten en doe dit dan ook. Denk hierbij ook aan hoe dit zichtbaar is voor de mensen die mee hebben gewerkt aan je onderzoek.
Leer je publiek kennen en ga naar de plekken waar zij zich bevinden. Voor jongeren is dit bijvoorbeeld veel online, via social media. Heb je een programma gericht op ouderen? Ga dan eens naar dagactiviteiten in wijkcentra. Zo zijn er voor iedere doelgroep andere plekken waar ze te vinden zijn.
Je publiek wil je graag helpen met je onderzoek, mits ze het gevoel hebben dat het toegevoegde waarde heeft en ze hun mening kwijt kunnen. Val ze dus niet lastig met onnodige of oninteressante vragen (of de wc schoon was), maar spreek ze aan op hun expertise, ervaring of mening.
Geef duidelijk aan wat je vraagt van iemand. Vijf minuten voor een vragenlijst, een kwartier voor een kort gesprek. En houd je hier dan aan. Als een gesprek een half uur duurt, moet je niet aangeven dat het maar een kwartier van hun tijd kost, want dan gaan mensen zich ergeren en haken ze halverwege af.
Meer weten? Lees mijn blog: Hoe kun je de respons voor een vragenlijst verhogen?
Als je een vragenlijst als meetinstrument gebruikt om je onderzoeksvragen te beantwoorden, is het belangrijk dat je iets kunt met de uitkomsten van de vragenlijst. De kwaliteit van de vragenlijst bepaalt de kwaliteit van de verzamelde data. Het goed formuleren van enquêtevragen is daarom belangrijk. Ik geef je een aantal tips/vuistregels die je helpen om goede vragen te formuleren:
We werken regelmatig voor musea die werken met bezoekersprofielen. Door middel van een bezoekersonderzoek kom je namelijk veel te weten over je bezoekers. Met de resultaten van diverse vragen kun je je bezoekers indelen in verschillende profielen. Je kunt de profielen zelf bedenken naar aanleiding van de resultaten, maar er zijn ook bestaande profielen waar je je bezoekers in kunt delen. In deze blog vertel ik je meer over aantal bestaande bezoekersprofielen.
Een van de profielen is Whize, beter bekend als de Mosaic profielen. Het bestaat uit 11 segmenten en 59 sub segmenten. Elk segment is een soort huishouden. Er wordt hierbij gekeken naar de demografische, socio-economische kenmerken, de levensstijl, cultuur gedrag en de mentaliteit. Vaak wordt er gekeken welke profielen bij de organisatie passen en wordt daar beleid op aangepast.
Bij het mentality-model van Motivation worden mensen ingedeeld naar hun levensinstelling. Er zijn 8 sociale milieus waarin mensen worden ingedeeld. Mensen worden ingedeeld naar aanleiding van persoonlijke opvattingen en waarden. Mensen uit hetzelfde milieu delen waarden op het gebied van werk, vrije tijd en politiek. Ze hebben ook overeenkomstige ambities en aspiraties. Elk milieu heeft zijn eigen leefstijl en koopgedrag.
Het BSR-model ontrafelt drijfveren van mensen en wat er moet gebeuren om mensen tot actie over te zetten. Het model kent vier leefstijlen waarin de eigen manier van leven centraal staat. Dit model vertelt over wat je moet doen en waarom je dat moet doen. Door middel van een database hebben ze heel Nederland in kunnen delen in vier groepen: vitaal, harmonieus, controlerend en zekerheid.
De leefstijlvinder is gebaseerd op het BSR model en verder is ontwikkeld richting vrije tijd en vakantie. Hierin worden de behoeften van mensen meegenomen op het gebied van vrije tijd en vakantie. Ook deze maakt gebruik van een database waardoor ze weten welke groepen er waar in Nederland wonen. Op deze manier kun je gericht marketing gaan voeren op de juiste doelgroepen.
Er zijn nog meer bezoekersprofielen waar mee gewerkt kan worden. Daarom is het belangrijk om goed te kijken wat je van je bezoekers moet weten en welk profiel daar het beste bij aansluit. Echter kun je de profielen vaak niet zomaar gebruiken, omdat deze zijn ontwikkeld door onderzoeksbureaus en zij de database hebben. Het is ook mogelijk om zelf bezoekersprofielen op te stellen en wij helpen je daar graag bij met een publieksonderzoek.
Bij iedere onderzoeksvraag hoort een eigen manier van onderzoeken. Bij de ene onderzoeksvraag is het antwoord het beste te vinden door het doen van kwalitatief onderzoek en bij de andere vraag past kwantitatief onderzoek juist beter. Maar wat houden kwalitatief en kwantitatief onderzoek nu precies in? En wanneer kies je voor een kwalitatieve methode en wanneer voor een kwantitatieve? Of maak je een combinatie?
Kwalitatief onderzoek is gericht op het verkrijgen van informatie over wát er leeft en waaróm. Het geeft diepgaande informatie door in te gaan op achterliggende motieven, meningen, gedachtes, wensen en behoeften van de onderzoeksgroep. is kwalitatief onderzoek de beste methode. Typische vragen voor kwalitatief onderzoek zijn vragen die beginnen met Waarom en Hoe.
Voorbeelden van onderzoeksvragen die door middel van kwalitatief onderzoek beantwoord worden:
De volgende methoden zijn passend voor kwalitatief onderzoek:
Kwantitatief onderzoek is gericht op hoeveelheid. Het geeft je cijfermatige resultaten over een bepaalde groep. Denk hierbij aan: 73% van de deelnemers heeft iets geleerd, gemiddeld krijgen we een rapportcijfer van 7,6 van onze bezoekers of 65% van de leerlingen is van mening veranderd. Typische vragen voor kwantitatief onderzoek zijn vragen die beginnen met hoeveel of in hoeverre.
Voorbeelden van onderzoeksvragen die door middel van kwantitatief onderzoek beantwoord worden:
Vaak wordt voor kwantitatief onderzoek gekozen om inzicht te krijgen in de gevolgen van een programma. Bijvoorbeeld als je verandering in attitude/houding aan wilt tonen naar aanleiding van een activiteit, project of programma. Of als je significante verschillen aan wilt kunnen tonen en deze wil generaliseren naar de massa. Ook voor het doen van cijfermatige uitspraken over een bepaalde doelgroep, kies je voor kwantitatief onderzoek.
Om betrouwbare uitspraken te kunnen doen in een kwalitatief onderzoek moet je onderzoek onder andere representatief zijn. Hiervoor heb je een minimaal aantal deelnemers nodig binnen je doelgroep die hun mening geven. Hiervoor kun je een steekproef trekken. Wanneer deze steekproef een bepaalde omvang en kenmerken heeft (afhankelijk van de onderzoeksvraag), kunnen uitspraken gegeneraliseerd worden naar de hele doelgroep.
De volgende methoden zijn passend voor kwalitatief onderzoek:
Voor de verwerking van kwantitatieve data heb je excel of SPSS nodig, waarmee je allerlei berekeningen kunt maken.
Kwalitatief en kwantitatief onderzoek zijn niet per definitie op zichzelf staand. Kwantitatief en kwalitatief onderzoek kunnen aanvullend zijn op elkaar. Zo kun je kwalitatief onderzoek doen om te komen tot een goede vragenlijst die je breder uitzet. Ook kun je de uitkomsten van een kwalitatief onderzoek interpreteren met kwalitatief onderzoek.
Voor meer inspiratie op het gebied van mogelijke onderzoeksmethoden, kun je kijken bij mijn blog: Een overzicht van verschillende onderzoeksmethoden.
De non-profit sector, waaronder de cultuursector, maakt steeds meer kennis met het gebruiken van big data om bezoekers of deelnemers (beter) te bereiken. In het bedrijfsleven wordt al langer gewerkt met big data om het koopgedrag van consumenten te achterhalen. Dit wordt gedaan door online (koop)gedrag precies te volgen en hierop in te spelen. Daarnaast kan klantgedrag gevolgd worden over tijd, doordat mensen een uniek klantnummer of IP-adres hebben. Je krijgt dan inzicht in herhaalbezoeken van bezoekers. Bedrijven krijgen met big data ook inzicht in hun doelgroepen qua leeftijd, geslacht, economische situatie etc. Deze informatie kunnen zij inzetten voor marketingdoeleinden.
Big data zijn databestanden die te groot zijn om met reguliere systemen onderhouden te worden. Het gaat over data die worden opgeslagen door het internet, doordat mensen zelf steeds meer informatie opslaan in de vorm van bestanden, gegevens, foto’s en video’s. Maar ook omdat er steeds meer data automatisch wordt opgeslagen (bijvoorbeeld door online cookies). Ook ticketingsystemen van een museum, bioscoop of theater zijn een bron voor big data.
Big data kan dus veel inzichten verschaffen waarmee je jouw doelgroep (beter) kunt bereiken. Toch zitten er ook wat haken en ogen aan het gebruik van big data:
Door deze onzekerheden en kostbaarheid lijkt het analyseren van big data (nog) een lastige onderzoeksmethode voor de kleine en middelgrote organisaties in de non-profitsector. Toegankelijkere methoden om inzicht te krijgen in je doelgroep zijn bijvoorbeeld observeren, tracking, (groeps-)interviews, scheurkaartjes of vragenlijsten.
Wil je kwantitatieve informatie verzamelen over bijvoorbeeld de populariteit van onderdelen van je tentoonstelling, maar wil je de bezoekers niet belasten met een vragenlijst? Dan kun je kiezen voor tracking als onderzoeksmethode. Tracking is het volgen van bezoekers of klanten via de wifi of bluetooth van hun eigen apparaten (smartphone, tablet, laptop etc.). Het kan ook gedaan worden door mensen een apparaatje mee te geven, waarmee je ze volgt. Het wordt veel in winkels gedaan, maar de techniek is natuurlijk ook beschikbaar voor het museum. Het geeft je kwantitatieve informatie over de looproute, hoelang zij blijven en wat de meest populaire onderdelen van de tentoonstelling.
Bij tracking kun je daadwerkelijke handelingen van bezoekers aan het museum achterhalen, maar het is soms lastig om deze handelingen te interpreteren. Bijvoorbeeld: Als mensen vaak op een bepaald punt stil blijven staan dan lijkt het een teken dat op die plek de tentoonstelling heel interessant is. Maar misschien blijven bezoekers daar wel staan omdat ze daar een goed wifi-signaal hebben met hun telefoon en heeft het dus weinig met de tentoonstelling te maken. Het is belangrijk om rekening te houden met zulke externe factoren. Combineer hiervoor tracking met een kwalitatieve methode van onderzoek, om ook meer informatie over de motivaties van bezoekers voor een bepaalde houding te achterhalen.
Het is belangrijk om van tevoren een analyseplan op te stellen met duidelijke criteria. Door deze lijst interpretatievrij te maken, is de kans kleiner dat er op een subjectieve manier geanalyseerd wordt.
Als je gebruik maakt van het wifi-signaal of bluetooth van de apparaten van bezoekers schaadt je de privacy van je bezoekers nauwelijks, maar als je naast tracking door wifi of bluetooth ook video opnames van bezoekers wilt maken is het wel nodig om toestemming aan deze bezoekers te vragen. Beslis voor jezelf hoe je hier mee omgaat. Het is netjes om je bezoekers te informeren, bijvoorbeeld met een bordje, dat je ze volgt.
Lees meer over hoe musea de effecten van tentoonstellingen kunnen meten.
Jongeren vormen een belangrijke doelgroep voor veel organisaties en projecten. Of het nu gaat om sportactiviteiten, culturele programma's of sociale initiatieven, het is van essentieel belang om te begrijpen hoe jongeren denken en voelen over deze activiteiten. Hierbij spelen geschikte onderzoeksmethoden een sleutelrol. In deze blog beschrijven we enkele effectieve methoden om waardevolle inzichten van jongeren te verkrijgen.
Om effectief met jongeren te communiceren, is het van belang om hun wereld te begrijpen. Jongeren bevinden zich in een unieke fase van hun leven, waarin ze nog volop in ontwikkeling zijn. Deze fase brengt ook uitdagingen met zich mee. Denk hierbij aan: minder concentratie, minder probleemoplossend vermogen, lagere overdrachtssnelheid van informatie én hormonen die bijdragen aan heftigere emoties en minder empathisch vermogen.
Om jongeren effectief te bereiken, is het essentieel om op de hoogte te zijn van de trends die hun gedrag en interesses beïnvloeden. De belangrijkste trends zijn onder andere:
Jongeren zijn goed te bereiken, mits je ze leert kennen en begrijpen. Neem ze serieus en betrek ze.
Bij het uitvoeren van onderzoek onder jongeren is het belangrijk om methoden te kiezen die aansluiten bij hun behoeften en voorkeuren. De volgende elementen zijn daarbij belangrijk:
Enkele onderzoeksmethoden die aan deze voorwaarden voldoen zijn:
Een manier van onderzoeken waar je de jongeren nauwelijks mee belast is observeren. Het kost hen geen tijd, jij observeert werkelijk gedrag en je bent niet afhankelijk van respons. Door te observeren kun je veel informatie verzamelen. Je kunt echter alleen feitelijk gedrag observeren en geen motivaties achterhalen.
Een snelle en makkelijke manier om informatie te verzamelen. Door de jongeren na de activiteit een papiertje te geven met daarop een stelling, hoeven ze alleen nog maar via een scheurtje in het papiertje of door een cijfer te geven laten weten of ze het met de stelling eens zijn. Jongeren kunnen eenvoudig hun mening geven zonder veel tijd of moeite te investeren.
Een andere geschikte onderzoeksmethode voor jongeren is een digitale enquête. Deze wordt ter plekke door een enquêteur afgenomen. Deze stelt de vragen en vult de antwoorden in. Deze methode kost meer tijd, maar op deze manier kan men veel informatie verzamelen met minimale inspanning van de jongeren zelf.
Door de jongeren na afloop een cadeautje te geven als bedankje vergroot je de kans dat ze meewerken.
Hoewel tijdrovend, bieden interviews de mogelijkheid om diepgaande informatie en motivaties van jongeren te achterhalen. Dit kost de jongeren echter veel tijd. Aan de andere kant voelen zij zich gehoord en serieus genomen en zal dit hen motiveren om mee te werken. Ook bij deze onderzoeksmethode is het leuk om ze een cadeautje te geven als bedankje.
Het is altijd belangrijk, om bij het kiezen van een onderzoeksmethode met de eerdergenoemde trends onder jongeren en hun voorkeuren rekening te houden.
Het begrijpen en betrekken van jongeren is essentieel voor het succes van projecten en programma's gericht op deze doelgroep. Door gebruik te maken van effectieve communicatiestrategieën en geschikte onderzoeksmethoden kunnen organisaties waardevolle inzichten verkrijgen van jongeren.
De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij een kwantitatief onderzoek is de vraag bijvoorbeeld of voldoende respondenten de vragenlijst ingevuld hebben?
Het betrouwbaarheidspercentage geeft de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij een betrouwbaarheidspercentage van 95% is er 95% kans bij herhaling dat de antwoorden hetzelfde zullen zijn met andere respondenten binnen deze doelgroep. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.
Hoeveel respondenten nodig zijn, is afhankelijk van hoe groot de onderzoekspopulatie is. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel relatief een groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals foutenmarge*, de homogeniteit van de onderzoekspopulatie**. Hierbij gebruik ik de steekproefcalculator als leidraad en ga vervolgens aan de veilige kant zitten. Verder vind je in deze blog meer informatie over het trekken van een goede steekproef.
De betrouwbaarheid van onderzoek heeft er ook te maken of je de juiste mensen hebt gevraagd? Heb je alleen mensen gevraagd de vragenlijst in te vullen die je kent of waarvan je weet dat ze tevreden zijn? Of heb je willekeurig mensen geselecteerd. Let wel niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen er altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.
Wil je naast betrouwbaarheid ook meer weten over de validiteit van onderzoek? Lees dan ook mijn blog over validiteit.
Foutenmarge:
Het percentage dat het antwoord kan afwijken van de werkelijkheid. Dit is bijvoorbeeld vergelijkbaar met de correctie op snelheidsmetingen. In de snelheidsmeting zit een mogelijke foutenmarge van 5%, waarvoor door CJIb altijd naar beneden wordt gecorrigeerd.
Homogeniteit van de onderzoekspopulatie:
De mate waarop de leden van de onderzoekspopulatie op elkaar lijken. Leerlingen die deelnemen aan een project verschillen bijvoorbeeld sterk van elkaar (ze zijn wel ongeveer even oud, maar verschillen sterk van mening) en zijn dus geen homogene onderzoekspopulatie. De steekproef kan dan beter groter getrokken worden. Daarentegen groepen die elkaar vrijwillig opzoeken en op dat onderwerp bevraagd worden, zullen homogener zijn. De meningen zullen minder extreem uiteen liggen. Dit biedt dan weer de mogelijkheid om gedetailleerder vragen te stellen.
Click on the flag to read this article in English
