Stel je wilt een onderzoek doen onder een doelgroep die uit wel 10.000 mensen bestaat, moet je dan alle 10.000 mensen spreken om tot de juiste resultaten te komen? Zeker niet, slechts een deel van de onderzoekspopulatie hoeft mee te doen aan jouw onderzoek om tot representatieve resultaten te komen. Ik vertel je wat representativiteit inhoudt en wanneer iets representatief is.

Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie.

Een steekproef

Wanneer je een onderzoekspopulatie van 10.000 mensen hebt, zal je uiteindelijk 400 mensen moeten spreken om tot de mening van de grotere groep te komen. Dit houdt niet in dat je maar 400 mensen hoeft te benaderen. Je hebt te maken met een responspercentage. Dit is het percentage mensen dat meedoet aan je onderzoek. Je responspercentage is afhankelijk van het onderwerp dat je onderzoekt, hoe gemakkelijk en leuk het is om mee te doen aan jouw onderzoek en wat mensen ervoor terug krijgen. Ik ga vaak uit van 30% omdat ik vaak naar leuke onderwerpen onderzoek mag doen en inmiddels ervaring heb met het gemakkelijk maken van meedoen aan een onderzoek en ik de opdrachtgever vraag voor een leuk cadeautje voor de mensen die meedoen met het onderzoek. Tips om je respons te verhogen

Doordat niet iedereen mee zal doen aan je onderzoek zal je dus een grotere steekproef moeten trekken. Als je 400 respondenten nodig hebt en je uitgaat van een responspercentage van 30% heb je een steekproef van 400/30%=1.333 mensen nodig trekken.

Wanneer je een onderzoek doet moet je er rekening mee houden dat hoe kleiner de onderzoekspopulatie wordt, hoe groter het aantal respondenten wordt om tot representatieve eindresultaten te komen. Soms is echter de input die respondenten geven waardevoller dan de hoeveelheid mensen die meedoen. Je hebt het dan over kwalitatief onderzoek. In sommige gevallen kan het belangrijker zijn om te focussen op de resultaten van het onderzoek dan de representativiteit. Lees hierover meer in mijn blog ‘Kwalitatief en kwantitatief onderzoek: wat is wat?’.

Wil je weten hoeveel respondenten je nodig hebt voor jouw onderzoekspopulatie: ga dan naar een steekproefcalculator. Vaak geven deze ook meteen aan hoeveel mensen je moet benaderen in je steekproef.

Wanneer je een onderzoek uitvoert is het belangrijk dat de uitkomsten betrouwbaar zijn. Je wilt immers dat ze bruikbaar zijn en dat ze door derden serieus worden genomen. Om dat te bereiken moet het onderzoek onafhankelijk zijn. Maar wat betekent dat? Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: 'Wij van wc-eend, adviseren wc-eend'.

Belangrijk voor onafhankelijk onderzoek is te zorgen voor objectiviteit: jouw mening als onderzoeker, of die van andere belanghebbenden, laat je buiten beschouwing. Het is belangrijk om er zeker van te zijn dat je afstand houdt van het onderwerp en je vragen niet gestuurd zijn. Respondenten voelen zich zo niet gedwongen of gestuurd om een bepaald antwoord te geven. Je kunt testen of je onderzoek onafhankelijk is en daarmee betrouwbaarder door te kijken of het onderzoek herhaalbaar is: een andere onderzoeker kan hetzelfde onderzoek uitvoeren waarbij dezelfde resultaten worden gevonden.

Weten waar je nog meer rekening mee moet houden voor een onafhankelijk onderzoek, en wat voor onderzoeksmethoden er zijn? Lees de blogs Zelf onderzoek (leren) doen en Valkuilen van onderzoek doen of download mijn e-book met een routewijzer voor zelf onderzoek doen.

impact meten van tentoonstellingen

Het Mauritshuis wil graag de impact van haar tentoonstellingen in beeld brengen. Dit om tentoonstellingen te verbeteren en zich te kunnen verantwoorden naar haar bestuur en donateurs. Hiervoor is bij de tentoonstelling ‘Rogier van der Weyden ontsluierd’ een interviewprotocol opgesteld aan de hand van indicatoren die eerder bepaald zijn. Er zijn 10 minuten gesprekken met ruim 100 bezoekers gehouden om aan informatie te komen.
Bij de tentoonstelling ‘Bewogen Beeld’ is er wederom gekozen voor 10 minuten gesprekken met bezoekers om te achterhalen wat bezoekers vinden en leren van de tentoonstelling.

Lees meer:

Medewerkerstevredenheidsonderzoek bij Moooi

Bij Moooi voeren wij om het anderhalf jaar een medewerkerstevredenheidsonderzoek uit. Hiervoor worden enkele standaardonderwerpen bevraagd, welke aangevuld zijn door de directie en inmiddels OR van Moooi. Hierbij gaat het onder andere over creativiteit en werkomstandigheden.

Aan de hand van het onderzoek worden stappen genomen en in de groei van Moooi, zoals het instellen van een OR. Door het medewerkerstevredenheidsonderzoek regelmatig te herhalen kunnen ontwikkelingen in beeld gebracht worden. Effecten van eerdere beslissingen worden zichtbaar.

De resultaten van het onderzoek worden gepresenteerd en besproken met de medewerkers.

Lees meer:

Doen we de dingen goed? OF doen we de goede dingen? Twee vragen die sterk op elkaar lijken, maar die wel degelijk twee verschillende betekenissen hebben. Organisaties die evalueren stellen vaak de eerste vraag: Doen we de dingen goed? Er wordt dan kritisch gekeken naar de huidige activiteiten om ze in de toekomst te verbeteren. Dit is zinvol als je een kwaliteitsslag wil maken in je project. Maar wil je weten of je je doelen daadwerkelijk bereikt? Dan moet je de tweede vraag stellen: Doen we de goede dingen? Je wilt dan weten of de projecten en activiteiten bijdragen aan de geformuleerde doelen, niet of het losstaande project goed wordt uitgevoerd.

Om erachter te komen of je de goede dingen doet is het in de eerste plaats belangrijk om de doelen helder voor ogen te hebben. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten.

Vervolgens vertaal je deze doelen naar meetbare indicatoren (vergeet daarbij niet dat alles meetbaar is). Je kijkt vervolgens welke activiteit in welke mate bijdraagt aan je doelbereik. Zo krijg je inzicht in of je de goede dingen doet. Als je daarnaast verkent welke opties er nog meer zijn om je doelen te bereiken, krijg je inzicht in alternatieven en kun je kritisch kijken naar de mix van activiteiten die er zijn om je doel te bereiken.

In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:

Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.

Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.

Met evalueren wordt het resultaat tegen het licht gehouden. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij worden de succesfactoren en de verbeterpunten benoemd. Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.

Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.

Wil jij ook inzichti in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!

De non-profit sector, waaronder de cultuursector, maakt steeds meer kennis met het gebruiken van big data om bezoekers of deelnemers (beter) te bereiken. In het bedrijfsleven wordt al langer gewerkt met big data om het koopgedrag van consumenten te achterhalen. Dit wordt gedaan door online (koop)gedrag precies te volgen en hierop in te spelen. Daarnaast kan klantgedrag gevolgd worden over tijd, doordat mensen een uniek klantnummer of IP-adres hebben. Je krijgt dan inzicht in herhaalbezoeken van bezoekers. Bedrijven krijgen met big data ook inzicht in hun doelgroepen qua leeftijd, geslacht, economische situatie etc. Deze informatie kunnen zij inzetten voor marketingdoeleinden.

Big data zijn databestanden die te groot zijn om met reguliere systemen onderhouden te worden. Het gaat over data die worden opgeslagen door het internet, doordat mensen zelf steeds meer informatie opslaan in de vorm van bestanden, gegevens, foto’s en video’s. Maar ook omdat er steeds meer data automatisch wordt opgeslagen (bijvoorbeeld door online cookies). Ook ticketingsystemen van een museum, bioscoop of theater zijn een bron voor big data.

Big data kan dus veel inzichten verschaffen waarmee je jouw doelgroep (beter) kunt bereiken. Toch zitten er ook wat haken en ogen aan het gebruik van big data:

Door deze onzekerheden en kostbaarheid lijkt het analyseren van big data (nog) een lastige  onderzoeksmethode voor de kleine en middelgrote organisaties in de non-profitsector. Toegankelijkere methoden om inzicht te krijgen in je doelgroep zijn bijvoorbeeld observeren, tracking, (groeps-)interviews, scheurkaartjes of vragenlijsten.

Wil je kwantitatieve informatie verzamelen over bijvoorbeeld de populariteit van onderdelen van je tentoonstelling, maar wil je de bezoekers niet belasten met een vragenlijst? Dan kun je kiezen voor tracking als onderzoeksmethode. Tracking is het volgen van bezoekers of klanten via de wifi of bluetooth van hun eigen apparaten (smartphone, tablet, laptop etc.). Het kan ook gedaan worden door mensen een apparaatje mee te geven, waarmee je ze volgt. Het wordt veel in winkels gedaan, maar de techniek is natuurlijk ook beschikbaar voor het museum. Het geeft je kwantitatieve informatie over de looproute, hoelang zij blijven en wat de meest populaire onderdelen van de tentoonstelling.

Bij tracking kun je daadwerkelijke handelingen van bezoekers aan het museum achterhalen, maar het is soms lastig om deze handelingen te interpreteren. Bijvoorbeeld: Als mensen vaak op een bepaald punt stil blijven staan dan lijkt het een teken dat op die plek de tentoonstelling heel interessant is. Maar misschien blijven bezoekers daar wel staan omdat ze daar een goed wifi-signaal hebben met hun telefoon en heeft het dus weinig met de tentoonstelling te maken. Het is belangrijk om rekening te houden met zulke externe factoren. Combineer hiervoor tracking met een kwalitatieve methode van onderzoek, om ook meer informatie over de motivaties van bezoekers voor een bepaalde houding te achterhalen.

Het is belangrijk om van tevoren een analyseplan op te stellen met duidelijke criteria. Door deze lijst interpretatievrij te maken, is de kans kleiner dat er op een subjectieve manier geanalyseerd wordt.

Als je gebruik maakt van het wifi-signaal of bluetooth van de apparaten van bezoekers schaadt je de privacy van je bezoekers nauwelijks, maar als je naast tracking door wifi of bluetooth ook video opnames van bezoekers wilt maken is het wel nodig om toestemming aan deze bezoekers te vragen. Beslis voor jezelf hoe je hier mee omgaat. Het is netjes om je bezoekers te informeren, bijvoorbeeld met een bordje, dat je ze volgt.

Lees meer over hoe musea de effecten van tentoonstellingen kunnen meten.

Onderzoek naar familiewanden

Het Van Gogh Museum in Amsterdam wil graag weten of de doelen die het zij hebben met de Familiewanden bereikt worden. Om inzicht te krijgen in de mening en ervaringen van familiegroepen over de Familiewanden heeft het museum ons gevraagd een onderzoek te doen naar deze wanden.

De Familiewanden zijn ontworpen om familiegroepen op een laagdrempelige manier te stimuleren samen beter naar de werken van Van Gogh te kijken met een onderwerp dat stimulerend, meeslepend, verhelderend en betekenisvol is voor het publiek. Het is daarbij belangrijk dat het familieaanbod zichtbaar is op zaal, interessant is voor andere bezoekers én het imago van het museum als toegankelijk en kindvriendelijk wordt versterkt.

Om te achterhalen hoe de drie Familiewanden ontvangen worden, observeren we zowel familiegroepen als andere bezoekers. We achterhalen en registreren feitelijk gedrag en kijken naar spontane reacties. Aansluitend interviewen we de geobserveerde bezoekers om hun meningen en ervaringen over de Familiewanden te achterhalen. We schrijven aan de hand van de resultaten een rapport met bevindingen en concrete aanbevelingen. Met dit onderzoek krijgt het Van Gogh Museum inzicht in het doelbereik van de familiewanden met verbeterpunten om het doel (nog) beter te bereiken.

Lees meer:


effect


Effect van Schoolgruiten




Een op maat gemaakt monitoring systeem om effecten te monitoren


evaluatie


Evaluatie Lekker Fit! (VO)

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 – 2023 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone