Van evalueren kun je leren. Wat je leert is afhankelijk van wat je evalueert. Een aantal mogelijke leerpunten zijn:
Een procesevaluatie gericht is op de manier waarop je werkt en samenwerkt. Van een procesevaluatie profiteer je dus bij alle volgende projecten, maar ook bij doorlopende processen.
Wacht dus niet tot het project is afgelopen met nadenken over evalueren. Plan bij voorkeur al bij de opzet van je project een evaluatie. Op welke momenten wil je evalueren? En wat wil je dan weten. Zijn er bepaalde mijlpalen in het project waarop het slim is om te reflecteren op het verloop van het project? Als je hier bij aanvang over nadenkt, wordt het gemakkelijker deze na afloop te beantwoorden.
Over de verschillende fasen van het proces, kun je de volgende vragen stellen.
Beantwoord deze evaluatievragen samen met het projectteam en zo nodig met externe partijen. Concentreer je niet op wat er niet goed ging, maar op wat er wel goed ging. Mensen leren namelijk meer van successen dan van fouten.
Organisaties vragen zich gedurende evaluaties vaak de vraag 'doen we de dingen goed?'. Een goede vraag, die je wilt beantwoorden om je projecten te verbeteren. Maar als je je doelen wilt bereiken, is de vraag 'doen we de goede dingen?' belangrijker. Een vraag die helaas veel minder vaak wordt gesteld. Je wilt graag weten of de ontwikkelde activiteiten bijdragen aan de beoogde doelstelling en dus het beoogde effect hebben.
Om deze vraag te beantwoorden, kun je effecten van je projecten gaan meten (Tien tips voor het meten van effecten), maar je kunt ook kritisch kijken naar waarom activiteiten worden uitgevoerd.
Veel instellingen hebben een visie en missie. Waarschijnlijk de instelling waar u werkt ook. Deze worden vervolgens vertaald in doelstellingen (en subdoelstellingen), die vervolgens omgezet zijn in activiteiten. Hier komen vaak een aantal aannames om de hoek. Een voorbeeld: Een gemeente die burgers wil stimuleren een gezond leven te leiden, kan besluiten sport te subsidiëren (de activiteit). Immers (verantwoord) bewegen is gezond. Door vervolgens alle sportverenigingen te subsidiëren, wordt de aanname gemaakt dat elke sport leidt tot meer bewegen is dus gezond is. Er zijn echter ook sporten, zoals denksport (bridge, schaken) en vaardigheidssporten (handboogschieten en darts) die niet leiden tot meer bewegen. Dit neemt niet weg dat ze andere positieve effecten hebben.
Als je wilt weten of je de goede dingen doet, kijk dan kritsisch naar de verbindingen tussen je missie, doelstellingen en je activiteiten. Zijn deze logisch met elkaar verbonden? Welke aannames zijn er gemaakt? Kun je werken met deze aannames?
Voor OTIB (het Opleidings- en Ontwikkelingsfonds voor het Technisch InstallatieBedrijf) heb ik de verbanden tussen missie, doelstellingen en meetpunten doorgelicht. Meer informatie over dit project vindt je bij 'wordt het doel bereikt als de meetpunten worden behaald?'. Wil je meer weten over het opstellen van meetpunten, kerncijfers of wil je deze verbanden binnen je organisatie onder het licht houden, kun je contact opnemen met mij via de mail (info@claudiadegraauw.nl) of telefoon (06 42 88 77 29).
Monitoring en evaluatie wordt steeds vaker verplicht gesteld bij subsidieaanvragen. Dit wordt onder andere gedaan omdat monitoren en evalueren de aanvragers helpen zicht te houden op hun project en het bereiken van hun doel.
Door een project te monitoren krijgt een projectleider inzicht in zijn project en weet tijdig wanneer en waar er bijgestuurd moet worden. Door stelselmatig, dus regelmatig, voor het project belangrijke feiten op een rijtje te zetten, houdt de projectleider grip op het project en is de kans groter dat het projectdoel gehaald wordt.
Dit kan zo uitgebreid en dus ook zo praktisch als nodig. Wetenschappelijke onderzoeken zijn hiervoor niet nodig. Ook vergelijkingen met andere soortgelijke projecten niet. (Het gaat ten slotte om het bereiken van jouw projectdoel en niet meer of iets anders te bereiken dan je collega-projectaanvragers). Wel is een duidelijk beeld over het te behalen doel nodig, welke subdoelen hier aan bijdragen en wat hiervoor gedaan moet worden. Dit leidt tot het meetbaar maken van je doel.
Om je doel meetbaar te maken en dus een instrumentarium te krijgen dat je in kunt zetten om te monitoren moet je allereerst je doel duidelijk stellen. Hoe specifieker je dit doet, des te gemakkelijker wordt het dit meetbaar te maken. Splits je doel hiervoor op in subdoelen. En blijf doorvragen (wat, hoe, wanneer, hoeveel, waar). Vertaal container begrippen in concrete doelen en probeer hierbij niet te verzanden in overtreffende woorden (beter, meer), maar maak het specifiek. Stel je doel en subdoelen zo SMART mogelijk op.
Als je je subdoelen hebt vastgesteld en je hebt hierbij in detail doorgevraagd, heb je enerzijds input voor je projectplan en anderzijds een aantal ijkpunten waarop je wilt monitoren. Per ijkpunt moet gekeken worden hoe je je dat gaat meten. Er zijn verschillende manieren van meten: gestructureerde gesprekken, vragenlijsten, documentstudie van aanwezig materiaal zijn enkele voorbeelden. Kun je het zelf doen, zoals het aantal scholen dat mee werkt of heb je hulp nodig. Omdat de subdoelen verschillen per project, is het lastig daar iets algemeens over te zeggen. Mocht je hier behoefte aan hebben, kijk ik graag een keer mee naar het projectplan, de doelen en subdoelen om samen te komen tot manieren waarop iets gemeten kan worden. Kijk ook naar mijn blog: tien tips voor het meten van effecten en enkele cases toegelicht in mijn blog over het meetbaar maken van effecten van projecten of programma.
De eerste meting is bij aanvang. Je wilt ten slotte de beginsituatie weten.
Vervolgens ga je naar behoeve gedurende het project meten. Dit kan halfjaarlijks of jaarlijks. De ijkpunten die je hebt gebruikt bij de eerste meting, ga je gedurende het project regelmatig vaststellen. Indien nodig kun je een informatiesysteem ontwerpen waarin de benodigde informatie op gezette tijden aangeleverd wordt. Je kunt hierbij denken aan halfjaarlijks terugkerende gesprekken met een vast structuur met betrokken partijen of aan het jaarlijks bestuderen van het beleidsplan van de school via een vast stramien.
Zorg er voor dat je telkens weer dezelfde soort informatie krijgt waardoor ontwikkeling zichtbaar is, maar ook die informatie waarop je kunt sturen.
[1] Enkele voorbeelden van vragen: Wat verstaan wij onder een doorgaande leerlijn? Hoe moet deze eruit zien? Wat is een relatie tussen school en culturele instelling (elkaars telefoonnummer hebben, op de hoogte zijn van het aanbod, regelmatig overleggen hoe het cultureel aanbod ingepast kan worden in het curriculum). Over hoeveel scholen gaat het? Wat is het deskundigheidsniveau van leerkrachten nu en wat zou het moeten zijn. Wat definieert het deskundigheidsniveau (inhoudelijke kennis, vaardigheid om cultuur te relateren aan andere lesstof).
Meer informatie over Monitoring
Je hebt je onderzoek gedaan, de data ligt voor je. En dan? Nu begint misschien wel het belangrijkste deel: analyseren en rapporteren. Hoewel analyseren en rapporteren twee aparte stappen zijn, lopen ze in de praktijk vaak door elkaar. Door ze slim te combineren, houd je overzicht en werk je efficiënter. In deze blog lees je hoe je stap voor stap je onderzoeksresultaten verwerkt tot een duidelijke rapportage. Met praktische tips én creatieve vormen van rapporteren.
Begin met het controleren van de uitvoering en registratie van je veldwerk. Is de respons voldoende? Zijn de gegevens betrouwbaar? Vooral bij kwalitatief onderzoek is het belangrijk dat je genoeg informatie hebt verzameld. Daarna start je met analyseren. Bij kwalitatief onderzoek groepeer je antwoorden per onderwerp. Bij kwantitatieve data kijk je naar gemiddelden, percentages en verbanden. Gebruik hiervoor tools als Excel of SPSS om inzicht te krijgen in je data.
Begin met een inhoudsopgave. Zo zie je of je alle vragen beantwoordt en of de opbouw logisch is. Schrijf eerst de inhoud van je paragrafen, daarna de conclusies per hoofdstuk. De samenvatting schrijf je pas als laatste.
De kern van je analyse en rapportage is het beantwoorden van je deelvragen. Vraag jezelf daarom steeds af: beantwoordt deze informatie daadwerkelijk de deelvraag, en voegt het iets toe? Ga vervolgens een stap verder door verbanden te leggen tussen de antwoorden. Welke inzichten versterken elkaar? Waar zie je rode draden door het hele onderzoek heen? Door deze verbanden expliciet te maken, verbind je paragrafen en hoofdstukken tot een logisch en samenhangend geheel.
Maak een takenlijst en vink af wat je hebt gedaan. Print je inhoudsopgave en markeer je voortgang. Kom je vast te zitten? Spar met iemand. Door hardop te vertellen waar je mee bezig bent, krijg je vaak nieuwe inzichten.
Laat je rapport lezen door iemand anders. Die ziet vaak nog spelfouten of onduidelijkheden. Check of je alle deelvragen hebt beantwoord, of de bronnen kloppen en of de opmaak netjes is. Vergeet de paginanummers niet!
Een traditioneel rapport is niet altijd de beste keuze. Denk goed na over je doelgroep en het doel van je rapport. Wil je informeren, overtuigen of aanzetten tot actie?
Mogelijke andere vormen van rapportage zijn:
Voor intern gebruik kun je kiezen voor een visueel rapport, dashboard of infographic. Voor extern gebruik, zoals subsidiegevers, is een traditioneel rapport vaak nodig.
Maar je hoeft niet twee aparte rapporten te maken. Combineer bijvoorbeeld een uitgebreid rapport met een korte factsheet. Of voeg een apart hoofdstuk toe met interne informatie die je later eenvoudig kunt verwijderen.
Voor organisaties die regelmatig nieuwe data verzamelen, is een dashboard ideaal. Een dashboard zet data om in overzichtelijke informatie. Denk aan grafieken, tabellen en filters waarmee je zelf kunt inzoomen op wat jij belangrijk vindt. Je kunt het dashboard steeds verversen en gebruiken voor verantwoording, analyse en inzicht. Of je nu werkt in de cultuursector, zorg, of retail – een dashboard maakt je data bruikbaar.
Over inventarisatie-onderzoek is niet erg veel informatie te vinden. In deze blog beschrijven we in het kort wat inventarisatie-onderzoek nu eigenlijk is en wanneer het zinvol is om het in te zetten.
Wil je meer weten over de verschillende soorten onderzoek die in je in kunt zetten en waar je op moet letten bij de keuze van een onderzoeksmethode, lees dan de volgende blogs:
overzicht van verschillende onderzoeksmethoden
Waar let je op bij de keuze van een onderzoeksmethode?
Met inventarisatie-onderzoek wordt de stand van zaken op een bepaald gebied in kaart gebracht. Het wordt vaak gezien als een soort vooronderzoek waarbij je eerst de situatie in beeld brengt voordat je start met het daadwerkelijke onderzoek. Ook wordt het ingezet om een bepaalde activiteit meer kans van slagen te geven doordat je vooraf informatie hebt verzameld. Inventarisatie-onderzoek valt onder descriptief (beschrijvend) of exploratief (verkennend) onderzoek.
In een ander blog hebben we verteld wat EVI inhoudt en wat je er mee kunt doen. Wanneer een penvoerder van Cultuureducatie met Kwaliteit (CmK) ervoor heeft gekozen om er mee aan de slag te gaan zijn er een aantal zaken de uitgezocht moeten worden. Hierover hebben wij 7 tips om EVI in te voeren verzameld tijdens het doen van een onderzoek naar EVI en de invoering ervan.
Deze tips zijn natuurlijk niet alleen voor het gebruiken van EVI, je zou ze ook bij andere meetinstrumenten kunnen gebruiken die je nieuw wilt gaan inzetten. Kijk dan welke tip van toepassing kan zijn voor je.
Een goed onderzoek dient aan een aantal criteria te voldoen; het moet valide, betrouwbaar, representatief, onafhankelijk, objectief en herhaalbaar zijn. Wat wordt hiermee precies bedoeld?
De validiteit geeft aan in hoeverre het onderzoek meet wat het moet meten. Als je een vragenlijst gebruikt, kun je je bijvoorbeeld het volgende afvragen: Zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag?
Door een vragenlijst te testen, kun je achterhalen of deze valide is. Je kunt de vragen bijvoorbeeld voorleggen aan een testgroep die lijkt op je onderzoekspopulatie. Zijn alle vragen voor hen helder of zijn er onduidelijkheden?
Na deze test ga je de antwoorden analyseren en vraag je advies van een collega-onderzoeker. Zijn de antwoorden consistent? Klopt de logica binnen de vragenlijst? Komen de uitkomsten overeen met soortgelijke onderzoeken?
Bij nieuw te ontwikkelen onderzoeksinstrumenten is het belangrijker om te testen, aan te passen en opnieuw te testen. Met name als je abstractere begrippen wilt meten, zoals houding of ontwikkeling, is uitgebreid testen nodig om een valide vragenlijst te krijgen.
Bij gebruik van een bestaande vragenlijst , moet je even kijken of deze reeds getest is op begrip en consistentie.
Validiteit en betrouwbaarheid hangen nauw met elkaar samen, zoals blijkt uit onderstaand plaatje.
De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat herhaling van het onderzoek dezelfde uitkomsten geeft.
Bij een betrouwbaarheidspercentage van 95% is er bij herhaling 95% kans dat de antwoorden van andere respondenten binnen deze doelgroep hetzelfde zijn. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.
Hoeveel respondenten nodig zijn, is afhankelijk van de grootte van de onderzoekspopulatie. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel een relatief groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals de foutenmarge en de homogeniteit van de onderzoekspopulatie. Je kunt de steekproefcalculator als leidraad gebruiken.
Verder is van belang of je de juiste mensen hebt gevraagd. Heb je alleen mensen gevraagd die je kent en waarvan je weet dat ze tevreden zijn? Of heb je mensen willekeurig geselecteerd? Let wel: niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.
Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Bij (groeps)interviews spreek je vaak met belangrijke spelers in het veld, deelnemers, samenwerkingspartners of andere belanghebbenden. Zorg dat je verschillende mensen spreekt met verschillende standpunten. Je moet je vraagstuk van verschillende kanten kunnen bekijken. Kies je gesprekspartners dus bewust.
Bij literatuurstudie is het belangrijk dat je in de volledige breedte kijkt naar de literatuur. Kijk naar verschillende standpunten en theorieën. Dus niet alleen theorieën die jouw standpunt onderbouwen, maar kijk ook naar criticasters.
Zoals gezegd wordt de betrouwbaarheid van je onderzoek voor een groot deel bepaald door de representativiteit.
Representativiteit betekent de mate waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je wilt dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie.
Stel, je wilt een onderzoek doen onder een doelgroep die uit wel 10.000 mensen bestaat, moet je dan alle 10.000 mensen spreken om tot de juiste resultaten te komen? Zeker niet, slechts een deel van de onderzoekspopulatie hoeft mee te doen aan jouw onderzoek om tot representatieve resultaten te komen.
Wanneer je een onderzoekspopulatie van 10.000 mensen hebt, zal je uiteindelijk 400 mensen moeten spreken om tot de mening van de grotere groep te komen. Dit houdt niet in dat je maar 400 mensen hoeft te benaderen. Je hebt te maken met een responspercentage. Dit is het percentage mensen dat meedoet aan je onderzoek. Je responspercentage is afhankelijk van het onderwerp dat je onderzoekt, hoe gemakkelijk en leuk het is om mee te doen aan jouw onderzoek en wat mensen ervoor terug krijgen. Ik ga vaak uit van 30% omdat ik vaak naar leuke onderwerpen onderzoek mag doen en inmiddels ervaring heb met het gemakkelijk maken van meedoen aan een onderzoek en ik de opdrachtgever vraag voor een leuk cadeautje voor de mensen die meedoen met het onderzoek.
Doordat niet iedereen mee zal doen aan je onderzoek zal je dus een grotere steekproef moeten trekken. Als je 400 respondenten nodig hebt en je uitgaat van een responspercentage van 30% heb je een steekproef van 400/30%=1.333 mensen nodig trekken.
Wanneer je een onderzoek doet moet je er rekening mee houden dat hoe kleiner de onderzoekspopulatie wordt, hoe groter het aantal respondenten wordt om tot representatieve eindresultaten te komen. Soms is echter de input die respondenten geven waardevoller dan de hoeveelheid mensen die meedoen. Je hebt het dan over kwalitatief onderzoek. In sommige gevallen kan het belangrijker zijn om te focussen op de resultaten van het onderzoek dan de representativiteit..
Wil je weten hoeveel respondenten je nodig hebt voor jouw onderzoekspopulatie: ga dan naar een steekproefcalculator. Vaak geven deze ook meteen aan hoeveel mensen je moet benaderen in je steekproef.
Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘.
Belangrijk voor onafhankelijk onderzoek is te zorgen voor objectiviteit: jouw mening als onderzoeker, of die van andere belanghebbenden, laat je buiten beschouwing. Het is belangrijk om er zeker van te zijn dat je afstand houdt van het onderwerp en je vragen niet gestuurd zijn. Respondenten voelen zich zo niet gedwongen of gestuurd om een bepaald antwoord te geven..
Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel.
Het criterium herhaalbaarheid sluit nauw aan op de criteria onafhankelijk en objectief.
Een onderzoek is herhaalbaar als een andere onderzoeker met hetzelfde onderzoek dezelfde resultaten kan bereiken. Het onderzoek moet dus op een ander tijdstip, met andere respondenten, andere omstandigheden en door een andere onderzoeker gedaan kunnen worden. Het meetinstrument moet dus zo worden ontworpen dat iedereen er mee kan werken en dezelfde resultaten kan bereiken.
In je rapportage wordt een hoofdstuk geschreven over de onderzoeksmethodiek. Hierin wordt beschreven welke methodiek je hebt gebruikt voor het onderzoek. Je beschrijft in dit hoofdstuk ook welke stappen je hebt gezet om de data te verzamelen. Hiermee kan het onderzoek door anderen worden herhaald.
Wanneer je bekend bent in de wereld van cultuureducatie hoor je steeds vaker geluiden over EVI. Vooral binnen het primair onderwijs, maar de eerste geluiden over EVI in het voortgezet onderwijs hebben ons ook bereikt. Wat is EVI en niet onbelangrijk: wat heb je aan EVI? In deze blog ga ik je er meer over vertellen.
Stichting Kunst en Cultuur heeft EVI ontwikkeld als zelfevaluatie instrument voor de scholen die gebruik maakten van de CmK-regeling (Cultuureducatie met Kwaliteit). De zelfevaluatie geeft de scholen inzicht en informatie over ontwikkelmogelijkheden. Daarnaast wordt de verzamelde data geanonimiseerd en gebruikt voor de verantwoording voor de CmK-regeling. EVI is samen met de Rijksuniversiteit Groningen ontwikkeld. Dit is doorontwikkeld door LKCA met verschillende cultuureducatie organisaties, zodat deze landelijk ingezet kon worden en EVI 2.0 is ontstaan. Op deze manier is het vooral een ontwikkelingsinstrument geworden voor de scholen.
EVI is een ontwikkelingsinstrument voor scholen om te zien waar ze staan en welke stappen ze nog kunnen ondernemen in de toekomst. EVI is niet oordelend. Het laat zien waar je als school staat en het helpt scholen verder om het beleid uit te voeren. Daarnaast is het een gespreksinstrument voor coaches, adviseurs en begeleiders van cultuureducatie op scholen.
Om EVI goed in te vullen heeft de ICC-er gemiddeld een uur nodig. Vooral de eerste keer kan het tijdsintensief zijn om EVI in te vullen. Een nieuwe ICC’er kan hulp vragen wanneer deze EVI voor de eerste keer moet invullen. Tijdens het invullen kan er een hulpvraag gesteld worden door de school aan de coach, adviseur of begeleider van de penvoerder. Deze komt hier automatisch terecht en kan hierover contact opnemen.
Na het invullen van EVI krijgt de school direct de resultaten te zien en het scenario waar ze inzitten. Ze krijgen tips en suggesties voor vervolgstappen. Scholen gebruiken EVI om na te denken over hun cultuurvisie en het beleid op hun school. De coaches, adviseurs en begeleiders kunnen hierbij helpen.
Voor de penvoerder van Cultuureducatie met Kwaliteit kan er een geanonimiseerde analyse van alle ingevulde EVI’s gemaakt worden door een kennispartner. Dit is een universiteit waar LKCA een samenwerkingsovereenkomst mee heeft. Deze kennispartners werken volgens een vast stramien om de resultaten te analyseren. Naast de rapportage is het is het mogelijk om de scholen te vergelijken, als het er maar minimaal 5 scholen zijn om de anonimiteit te houden. Deze vergelijking is af te zetten op wijkniveau, stadsniveau, maar straks ook landelijk.
Tijdens het invullen van EVI worden kwantitatieve en kwalitatieve gegevens verzameld. Zo zijn er veel open vragen, maar ook een aantal gesloten vragen waar aantallen ingevuld moeten worden. Deze gegevens kan de penvoerder van CmK gebruiken in haar verantwoording naar Fonds Cultuurparticipatie. Niet alle gegevens die nodig zijn voor de verantwoording, zijn terug te vinden in EVI. Er zullen toch extra gegevens verzameld moeten worden naast EVI.
Naast het rapport dat gemaakt wordt door een kennispartner is er een reactie nodig op het rapport om de resultaten te duiden. Denk hierbij aan een begeleidend schrijven met reacties op resultaten.
Een vraag die mij vaak gesteld wordt, is: 'We vermoeden dat we effect hebben met ons project. Hoe kunnen we dat vastleggen?' Het meten van effecten is interessante beleidsinformatie. Kom je dichter bij je doel of moeten activiteiten worden bijgestuurd? Het vastleggen van effecten is ook interessant voor (potentiële) partners en financiers. Hoe het effect vastgesteld wordt, verschilt per project en hangt af van het gewenste effect. Ik zal enkele voorbeelden geven van effectmetingen die ik onlangs heb uitgevoerd, dan wel momenteel uitvoer, om te laten zien wat er mogelijk is.
Museum Volkenkunde heeft de gezinstentoonstelling 'op expeditie' buiten geplaatst omdat ze binnen aan het verbouwen zijn, maar ook om te kijken of buiten exposeren drempelverlagend werkt en zo nieuw publiek aantrekt. Ze wilde graag weten of er nieuw publiek naar de gezinstentoonstelling kwam en zo ja, wat zij interessant vonden aan de tentoonstelling. Naast de analyse van bestaande databestanden door Letty Ranshuysen, heb ik bezoekers geobserveerd en met ze gesproken over de tentoonstelling. Naast dat de tentoonstelling interactief is, zeer gevarieerd en overzichtelijk, vonden bezoekers het fijn veel te leren. Dit sluit aan bij het onderzoek van de Nederlandse Museumvereniging naar de bevordering van museumbezoek door kinderen. Alleen het verlagen van praktische drempels en interactief maken van de tentoonstelling is niet voldoende. Bezoekers en dus ook kinderen willen iets leren. Als ze een museum bezoeken.
Het O&O-fonds van de energiebedrijven voert samen met de energiebedrijven de voorlichtingscampagne WATT? om jongeren te interesseren voor werk in de energiesector. Zij willen graag weten of leerlingen iets opsteken van hun magazine waarin verschillende aspecten van werken bij een energiebedrijf aan bod komt. Dit beoogde effect wordt gemeten door de leerlingen twee keer te bevragen met een bijna gelijke vragenlijst. Voordat ze het magazine krijgen wordt gekeken wat ze weten en welk beeld ze hebben van de energiesector. Een nulmeting om de stand van zaken voor het project vast te stellen. Enkele weken nadat het magazine in de klas is besproken, vullen de jongeren dezelfde vragenlijst nog eens in, deze keer aangevuld met vragen over het magazine. Het onderzoek loopt en ik ben erg benieuwd naar de resultaten. Door de twee vragenlijsten aan elkaar te koppelen per leerlingen, krijgt de opdrachtgever inzicht in de verschillen per leerlingen en zo over het geheel.
KMR coördineert het promotie- en voorlichtingsprogramma om Rotterdamse kinderen en jongeren te informeren over techniek en de haven. Hier is gekozen voor het meten van de attitude t.o.v. techniek en de attitude t.o.v. de Rotterdamse haven. Deze wordt binnenkort voor het eerst gemeten, de nulmeting. Daarna gaat het programma van start en over twee jaar wordt de attitude opnieuw gemeten bij dezelfde groep leerlingen. Omdat er in twee jaar veel gebeurt en we de gemeten verschillen toe willen kunnen schrijven aan het programma, worden er ook metingen gedaan bij een vergelijkbare groep, de controlegroep. Een soortgelijke opzet is ook gebruikt bij het meten van de effecten van de Friek's Techniektruck. Hierbij is gekeken naar het verschil in attitude tov techniek. De onderzoeksrapportage hiervan is openbaar en te downloaden op mijn website. Ik ben erg benieuwd of u effecten van projecten meet. Wat doet u met de onderzoeksresultaten? Wat als helaas blijkt dat u niet de beoogde effecten behaald. Hoe gaat u daar mee om? Bij Museum Volkenkunde worden de onderzoeksresultaten bijvoorbeeld gebruikt voor het tentoonstellingsbeleid voor de komende jaren. ROC West Brabant gebruikt de onderzoeksresultaten bij het inrichten van de opvolger van de truck en communiceert de resultaten met haar (financiële) partners om beslissingen omtrent de voortgang van het project positief te beïnvloeden.
In deze blog gaat het over het organiseren van 1-op-1 interviews. De groepsinterviews laten we voor nu even buiten beschouwing.
Wil je meer weten over waar je allemaal aan moet denken bij een interview, lees de volgende blogs:
Er is een aantal zaken waaraan je moet denken wanneer je interviews gaat organiseren:
Bij het plannen van een onderzoek op basis van interviews, moet je niet onderschatten hoeveel tijd het kost om de afspraken te maken. Bij het maken van de afspraak moet de respondent kunnen kiezen tussen een aantal opties. Je kunt niet verwachten dat iedereen zomaar kan op de datum/tijd die jij voorstelt. Een keuze geven dus. Daarnaast plan je de afspraak ook één of enkele weken van te voren, afhankelijk van hoe druk je de agenda van je gesprekspartner inschat.
Het uitwerken van een interview kost ongeveer net zoveel tijd als het houden van het interview zelf. Houdt hier rekening mee wanneer je de planning maakt van het gehele traject. Een ander aspect bij het plannen is dat het interviewen van een respondent behoorlijk vermoeiend is. Plan er dus niet teveel op een dag. Er is niet echt een regel voor, maar 3 interviews van 1 uur is wel het maximum voor een dag.
Voor de uitwerking van de interviews is het fijn wanneer je kan terugluisteren wat er allemaal gezegd is. Zorg ervoor dat je opnameapparatuur bij je hebt. Bij een interview via team/zoom, enz. is dit makkelijk te regelen. Een live of telefonisch gesprek kan met een smartphone opgenomen worden. Vraag wel altijd toestemming hiervoor en verwijder de gesprekken nadat deze is uitgewerkt.
Bij live gesprekken is de locatie van groot belang. De betrouwbaarheid/veiligheid van de locatie is een factor. Een andere factor is dat het een geluidsarme omgeving is waar je niet gestoord gaat worden. Een derde factor is de neutraliteit. Wanneer je bijvoorbeeld werknemers interviewt over de bedrijfscultuur, dan is een locatie waarbij de leidinggevende in de directe omgeving is, minder geschikt.
Natuurlijk is het van belang dat interviewers objectief en onafhankelijk zijn, echter het is niet te vermijden dat de ene interviewer niet exact dezelfde werkwijze gaat hanteren dan een andere. Hou het daarom bij een klein groepje interviewers (max. 3) en voer de eerste paar interviews samen uit zodat je van elkaar weet hoe de vragen worden gesteld en hoe ver er doorgevraagd moet worden.
Ben je cursist? Log hier in op de Academie voor Onderzoek
