Vouchers

Inzicht
in de voortgang en impact van projecten bij OOMT

OOMT heeft dit jaar een voucheractie gehouden voor medewekers in de mobiliteitsbranche. Met de voucher konden zij een e-cursus doen. OOMT wil weten of dit een succes was en waar er verbeterpunten liggen. Hiervoor hebben we gesprekken met de aanbieders van e-cursussen en krijgen de deelnemers een vragenlijst. Er is onderscheid gemaakt tussen mensen die een voucher hebben verzilverd en mensen die de voucher alleen hebben aangevraagd.

Lees meer:

Stel je wilt een onderzoek doen onder een doelgroep die uit wel 10.000 mensen bestaat, moet je dan alle 10.000 mensen spreken om tot de juiste resultaten te komen? Zeker niet, slechts een deel van de onderzoekspopulatie hoeft mee te doen aan jouw onderzoek om tot representatieve resultaten te komen. Ik vertel je wat representativiteit inhoudt en wanneer iets representatief is.

Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie.

Een steekproef

Wanneer je een onderzoekspopulatie van 10.000 mensen hebt, zal je uiteindelijk 400 mensen moeten spreken om tot de mening van de grotere groep te komen. Dit houdt niet in dat je maar 400 mensen hoeft te benaderen. Je hebt te maken met een responspercentage. Dit is het percentage mensen dat meedoet aan je onderzoek. Je responspercentage is afhankelijk van het onderwerp dat je onderzoekt, hoe gemakkelijk en leuk het is om mee te doen aan jouw onderzoek en wat mensen ervoor terug krijgen. Ik ga vaak uit van 30% omdat ik vaak naar leuke onderwerpen onderzoek mag doen en inmiddels ervaring heb met het gemakkelijk maken van meedoen aan een onderzoek en ik de opdrachtgever vraag voor een leuk cadeautje voor de mensen die meedoen met het onderzoek. Tips om je respons te verhogen

Doordat niet iedereen mee zal doen aan je onderzoek zal je dus een grotere steekproef moeten trekken. Als je 400 respondenten nodig hebt en je uitgaat van een responspercentage van 30% heb je een steekproef van 400/30%=1.333 mensen nodig trekken.

Wanneer je een onderzoek doet moet je er rekening mee houden dat hoe kleiner de onderzoekspopulatie wordt, hoe groter het aantal respondenten wordt om tot representatieve eindresultaten te komen. Soms is echter de input die respondenten geven waardevoller dan de hoeveelheid mensen die meedoen. Je hebt het dan over kwalitatief onderzoek. In sommige gevallen kan het belangrijker zijn om te focussen op de resultaten van het onderzoek dan de representativiteit. Lees hierover meer in mijn blog ‘Kwalitatief en kwantitatief onderzoek: wat is wat?’.

Wil je weten hoeveel respondenten je nodig hebt voor jouw onderzoekspopulatie: ga dan naar een steekproefcalculator. Vaak geven deze ook meteen aan hoeveel mensen je moet benaderen in je steekproef.

Wanneer je een onderzoek uitvoert is het belangrijk dat de uitkomsten betrouwbaar zijn. Je wilt immers dat ze bruikbaar zijn en dat ze door derden serieus worden genomen. Om dat te bereiken moet het onderzoek onafhankelijk zijn. Maar wat betekent dat? Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: 'Wij van wc-eend, adviseren wc-eend'.

Belangrijk voor onafhankelijk onderzoek is te zorgen voor objectiviteit: jouw mening als onderzoeker, of die van andere belanghebbenden, laat je buiten beschouwing. Het is belangrijk om er zeker van te zijn dat je afstand houdt van het onderwerp en je vragen niet gestuurd zijn. Respondenten voelen zich zo niet gedwongen of gestuurd om een bepaald antwoord te geven. Je kunt testen of je onderzoek onafhankelijk is en daarmee betrouwbaarder door te kijken of het onderzoek herhaalbaar is: een andere onderzoeker kan hetzelfde onderzoek uitvoeren waarbij dezelfde resultaten worden gevonden.

Weten waar je nog meer rekening mee moet houden voor een onafhankelijk onderzoek, en wat voor onderzoeksmethoden er zijn? Lees de blogs Zelf onderzoek (leren) doen en Valkuilen van onderzoek doen of download mijn e-book met een routewijzer voor zelf onderzoek doen.

impact meten van tentoonstellingen

Het Mauritshuis wil graag de impact van haar tentoonstellingen in beeld brengen. Dit om tentoonstellingen te verbeteren en zich te kunnen verantwoorden naar haar bestuur en donateurs. Hiervoor is bij de tentoonstelling ‘Rogier van der Weyden ontsluierd’ een interviewprotocol opgesteld aan de hand van indicatoren die eerder bepaald zijn. Er zijn 10 minuten gesprekken met ruim 100 bezoekers gehouden om aan informatie te komen.
Bij de tentoonstelling ‘Bewogen Beeld’ is er wederom gekozen voor 10 minuten gesprekken met bezoekers om te achterhalen wat bezoekers vinden en leren van de tentoonstelling.

Lees meer:

Inzicht
in de voortgang en impact van projecten bij OOMT

Voor OOMT (brancheorganisatie voor mobiliteitsbranche) hebben wij een rapportagesysteem ontworpen voor rapportage naar het bestuur op hoofdlijnen en rapportage naar programmaleiders in detail.

Onderdeel hiervan is de impact van de programma’s op de doelen die zij hebben. Hiervoor hebben wij allereerst een model ontworpen aan de hand waarvan de ontwikkelingen van duurzame inzetbaarheid in de branche in beeld kunnen worden gebracht. Vervolgens hebben we een meetinstrumentontworpen, getest en uitgezet om de duurzame inzetbaarheid in de mobiliteitsbranche te meten. Zowel bij medewerkers als werkgevers. Dit hebben we gemeten bij deelnemers aan de verschillende programma's, maar ook bij medewerkers en bedrijven die niet deel hebben genomen aan één van de programma's. Door deze groepen te vergelijken kunnen we de de impact van de programma’s op deze duurzame inzetbaarheid inzichtelijk maken.

Samen wordt gekeken hoe we dit praktisch en regelmatig kunnen blijven meten om zicht te houden op het doelbereik van de verschillende programma's en programma-onderdelen om zo tijdig bij te kunnen sturen.

Lees meer:

Medewerkerstevredenheidsonderzoek bij Moooi

Bij Moooi voeren wij om het anderhalf jaar een medewerkerstevredenheidsonderzoek uit. Hiervoor worden enkele standaardonderwerpen bevraagd, welke aangevuld zijn door de directie en inmiddels OR van Moooi. Hierbij gaat het onder andere over creativiteit en werkomstandigheden.

Aan de hand van het onderzoek worden stappen genomen en in de groei van Moooi, zoals het instellen van een OR. Door het medewerkerstevredenheidsonderzoek regelmatig te herhalen kunnen ontwikkelingen in beeld gebracht worden. Effecten van eerdere beslissingen worden zichtbaar.

De resultaten van het onderzoek worden gepresenteerd en besproken met de medewerkers.

Lees meer:

Doen we de dingen goed? OF doen we de goede dingen? Twee vragen die sterk op elkaar lijken, maar die wel degelijk twee verschillende betekenissen hebben. Organisaties die evalueren stellen vaak de eerste vraag: Doen we de dingen goed? Er wordt dan kritisch gekeken naar de huidige activiteiten om ze in de toekomst te verbeteren. Dit is zinvol als je een kwaliteitsslag wil maken in je project. Maar wil je weten of je je doelen daadwerkelijk bereikt? Dan moet je de tweede vraag stellen: Doen we de goede dingen? Je wilt dan weten of de projecten en activiteiten bijdragen aan de geformuleerde doelen, niet of het losstaande project goed wordt uitgevoerd.

Om erachter te komen of je de goede dingen doet is het in de eerste plaats belangrijk om de doelen helder voor ogen te hebben. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten.

Vervolgens vertaal je deze doelen naar meetbare indicatoren (vergeet daarbij niet dat alles meetbaar is). Je kijkt vervolgens welke activiteit in welke mate bijdraagt aan je doelbereik. Zo krijg je inzicht in of je de goede dingen doet. Als je daarnaast verkent welke opties er nog meer zijn om je doelen te bereiken, krijg je inzicht in alternatieven en kun je kritisch kijken naar de mix van activiteiten die er zijn om je doel te bereiken.

In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:

Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.

Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.

Met evalueren wordt het resultaat tegen het licht gehouden. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij worden de succesfactoren en de verbeterpunten benoemd. Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.

Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.

Wil jij ook inzichti in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!

De non-profit sector, waaronder de cultuursector, maakt steeds meer kennis met het gebruiken van big data om bezoekers of deelnemers (beter) te bereiken. In het bedrijfsleven wordt al langer gewerkt met big data om het koopgedrag van consumenten te achterhalen. Dit wordt gedaan door online (koop)gedrag precies te volgen en hierop in te spelen. Daarnaast kan klantgedrag gevolgd worden over tijd, doordat mensen een uniek klantnummer of IP-adres hebben. Je krijgt dan inzicht in herhaalbezoeken van bezoekers. Bedrijven krijgen met big data ook inzicht in hun doelgroepen qua leeftijd, geslacht, economische situatie etc. Deze informatie kunnen zij inzetten voor marketingdoeleinden.

Big data zijn databestanden die te groot zijn om met reguliere systemen onderhouden te worden. Het gaat over data die worden opgeslagen door het internet, doordat mensen zelf steeds meer informatie opslaan in de vorm van bestanden, gegevens, foto’s en video’s. Maar ook omdat er steeds meer data automatisch wordt opgeslagen (bijvoorbeeld door online cookies). Ook ticketingsystemen van een museum, bioscoop of theater zijn een bron voor big data.

Big data kan dus veel inzichten verschaffen waarmee je jouw doelgroep (beter) kunt bereiken. Toch zitten er ook wat haken en ogen aan het gebruik van big data:

Door deze onzekerheden en kostbaarheid lijkt het analyseren van big data (nog) een lastige  onderzoeksmethode voor de kleine en middelgrote organisaties in de non-profitsector. Toegankelijkere methoden om inzicht te krijgen in je doelgroep zijn bijvoorbeeld observeren, tracking, (groeps-)interviews, scheurkaartjes of vragenlijsten.

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone