Effectmeting is essentieel als je wilt weten of jouw project, programma of activiteit écht werkt. Maar meten is niet altijd makkelijk. In de praktijk botsen mooie plannen vaak met de realiteit, en onderzoek kent valkuilen. Daarom vind je hier 10 krachtige tips die je helpen te toetsen of je project, evenement, beleid, activiteit of programma het gewenste effect heeft.
Effectmeting begint bij de basis: wat wil je bereiken? Formuleer je doel zo concreet mogelijk. Wil je gedrag veranderen, kennis vergroten of keuzes beïnvloeden? Stel vervolgens een duidelijke hoofdvraag op, en werk die uit in deelvragen. Hoe concreter je vraag, hoe beter je kunt meten.
Doe geen onderzoek omdat het ‘moet’, maar omdat je iets wilt weten waar je ook echt iets mee gaat doen. Wat wil je met de resultaten bereiken? Wil je bijsturen, verantwoorden, verbeteren of stoppen? Deze keuzes bepalen je aanpak en zorgen dat je onderzoek waardevol blijft.
Niet elke methode past bij elke vraag. Wil je cijfers? Dan is een vragenlijst handig. Wil je motivaties begrijpen? Dan zijn interviews of observaties beter. Stem je methode af op wat je wilt weten én op wie je bevraagt. Denk ook aan bereikbaarheid: jongeren bereik je anders dan ouderen.
Een vaste structuur maakt je onderzoek betrouwbaarder. Gebruik steeds dezelfde aanpak, vragen of observatiepunten. Zo kun je resultaten vergelijken en trends herkennen. Ook informele evaluaties kun je structureren door vooraf te bepalen waar je op let.
Zonder startpunt kun je geen verandering meten. Een nulmeting helpt je om effecten zichtbaar te maken. Vergelijk je resultaten op korte én langere termijn met dit startpunt om te zien of je dichter bij je doel komt.
Onderzoek loopt zelden zoals gepland. Mensen reageren niet, partners haken af, of je krijgt minder data dan gehoopt. Voorzie obstakels en denk vooraf na over alternatieven. Een plan B voorkomt dat je vastloopt.
Effectmeting doe je niet alleen. Betrek collega’s, partners of deelnemers bij het opzetten en uitvoeren van je onderzoek. Dat vergroot het draagvlak én de kwaliteit van je data. Samen zie je meer dan alleen.
Stel alleen vragen waar je écht iets mee doet. Laat overbodige vragen weg – dat bespaart tijd en verhoogt de kwaliteit van je data. Kies daarnaast je gesprekspartners zorgvuldig. Spreek niet alleen de enthousiastelingen of de critici, maar zorg voor een evenwichtige en representatieve groep. Dat betekent: mensen met verschillende achtergronden, leeftijden, genders en perspectieven. Zo voorkom je een vertekend beeld en krijg je inzichten die écht iets zeggen over je doelgroep als geheel.
Als je veel data hebt, is het verleidelijk om alles te willen gebruiken. Maar: houd je onderzoeksvraag centraal. Cluster informatie, zoek verbanden en trek conclusies die echt antwoord geven op je vraag.
Onderzoek is pas waardevol als je er iets mee doet. Bespreek de uitkomsten, formuleer actiepunten en maak afspraken. Zo wordt effectmeting een krachtig instrument voor verbetering en groei.
Van je publiek kun je leren. Kom meer over ze te weten, waardoor je je aanbod en je communicatie op ze aan kunt passen en zo aantrekkelijker voor ze wordt. In mijn blog 'hoe klantenonderzoek kan helpen bij het werven van publiek' staan redenen waarom je klantenonderzoek, ook wel publieksonderzoek genoemd, wil doen. In deze blog vertel ik hoe je je publiek kunt onderzoeken.
1. Gebruik van bestaande gegevens
Er is al veel bekend over bezoekers van culturele instellingen. Daarnaast kun je door bestaande databestanden en beschikbare informatie binnen de organisatie (denk aan kassagegevens) slim aan elkaar te koppelen veel informatie op instelling niveau stroomlijnen en analyseren.
Om dit te vergemakkelijken verwacht ik binnenkort samen met pon een dienst aan te bieden waarbij we door bestaande klantgegevens en een nieuw samengesteld databestand meer informatie kunnen geven over het publiek, hun profiel, hun interesses, hun drempels (en hoe deze weg te nemen) en hoe ze te bereiken.
2. Bestaand publiek vragen
* Kwantitatief: Veel organisaties bevragen met bestaande publiek met vragenlijsten, online en offline. Is de bezoeker tevreden? Hoe was hij op de hoogte van de voorstelling/tentoonstelling? Wat vind hij van wat hij gezien/ervaren heeft? Komt hij terug en wat mist hij in het aanbod?
Hierbij kun je aanhaken op bestaande benchmarks of een vragenlijst afstemmen op de eigen organisatie. Er zijn velerlei standaardvragenlijsten hiervoor in omloop.
* Kwalitatief: Om diepgaandere en meer gedetailleerde informatie te krijgen kun je groepsgesprekken voeren, interviews en observaties doen. Hiermee kom je meer te weten over je publiek en komt er meer gedetailleerde informatie naar voren.
3. Potentieel bezoek vragen
Door mensen te vragen die nog niet komen, kom je er achter wat hen tegenhoudt en wat je kunt doen om deze drempels weg te nemen, zodat ze wel komen. Dit kan op verschillende manieren. Je kunt hierbij gebruik maken van bestaande panels.
Culturele instellingen als musea, kunstencentra, theaters, galeries, festivals en bibliotheken, krijgen veel bezoekers over de vloer. Publieksonderzoek helpt u deze bezoekers te leren kennen en aan u te binden. Door meer te weten te komen over uw bezoekers kunt beter inspelen op hun behoeften, ze beter bereiken en uw organisatie leren verbeteren.
1. Beter inspelen op behoeften bestaande bezoekers
Door uw bezoekers beter te kennen kunt u enerzijds beter inspelen op hun behoeften, zonder dat het uw artistieke of historische product aantast. Bezoekers komen namelijk niet alleen voor de theatervoorstelling of een tentoonstelling, maar voor de gehele ervaring. De entree, de horeca, de garderobe, de routing horen hier ook bij. Als dit beter aansluit bij de bezoekers, zullen zij vaker terug komen en zelfs ambassadeur worden.
2. Beter bereik nieuwe bezoekers
Anderzijds leert u hoe u deze mensen kunt bereiken. Doordat u bekend bent met de mediakanalen die zij gebruiken en andere (culturele) instellingen die zij bezoeken, kunt u hen gericht benaderen. Zo kunt u combinatieaanbiedingen doen met een restaurant in de buurt of via bepaalde websites.
3. Verbeteren van uw organisatie
Ten slotte leert u uw organisatie beter kennen. Bezoekers helpen u beter te presteren. Door informatie te verzamelen over waar ze tevreden over zijn en waar niet, leert u de verbeterpunten van uw organisatie kennen. Kan de kaartverkoop verbeterd worden, of sluit het aanbod van de horeca of de museumwinkel niet aan bij de behoeften. Maar ook de punten die hoog gewaardeerd worden en dus verder uit gebuid kunnen worden, door ze bijvoorbeeld meer te benadrukken in uw marketingactiviteiten.
Erfgoededucatie wordt steeds belangrijker op school. Er worden steeds meer projecten en lessen aangeboden door velerlei verschillende aanbieders. Als school, als financier van erfgoed-educatieve projecten, maar ook als aanbieder wil je weten of een project goed is. Wanneer is het een goed project en lessenreeks?
1) Een project of lessenreeks moet een doel hebben. Wat wil je de leerlingen leren? Wil je ze kennis meegeven, vaardigheden aanleren of wil je ze laten nadenken en reflecteren op zaken uit het verleden? Verschillende leerdoelen vragen om verschillende werkvormen.
2) Daarnaast is de positie van educatie binnen de organisatie bepalend voor de kwaliteit die geboden wordt. Is het primaire doel van bijvoorbeeld een museum het delen van kennis en anderen laten leren over hun collectie, zal de kwaliteit van de educatie beter zijn dan van een museum die primair verzameld en binnenschoolse educatieve projecten verzorgt omdat het een verplichting is vanuit het ministerie.
3) De geboden leerstof moet aansluiten op het curriculum, deel uit maken van een doorgaande leerlijn op het gebied van erfgoed en verankerd zijn op school. Als het project los staat van de overige lesstof, zal het geleerde niet blijven hangen, omdat de leerlingen het niet kunnen verbinden met andere dingen die ze leren. Een project moet passen binnen de lesstof op school, maar ook voortbouwen op eerdere erfgoedlessen. Erfgoed moet ook verankerd zijn op school en daarmee een eigen plek hebben op school en binnen het curriculum. Binnen een lessenreeks passen ook bezoeken aan instellingen en expedities door de buurt. Deze moeten echter wel ingekaderd zijn in eerdere lessen en op gereflecteerd worden.
4) De kwaliteit van de inhoud wordt veelal ook bepaald door de deskundigheid van de educatoren en begeleiders. Ook de mate waarin de lesstof aansluit op het niveau van de leerlingen (denk aan taalgebruik) is bepalend voor de kwaliteit.
5) Een organisatie die erfgoededucatieve projecten en lessen organiseert, doet dit beter als ze hierbij samenwerken met anderen, zoals scholen, andere aanbieders in de buurt en tweedelijns instellingen. Samen kom je tot betere projecten dan alleen.
6) Ten slotte bieden evaluerende organisaties beter projecten. Door te evalueren leren zij van eerdere projecten en worden projecten steeds aangescherpt. Je kunt beter voortborduren op eerder opgedane ervaring en samen kijken wat hier aan verbeterd kan worden dan elke keer het wiel opnieuw uit te vinden of door gaan op een manier waarvan je niet weet of deze succesvol is. Bij evaluaties moet echter een duidelijk verschil gemaakt worden tussen leuk en leerzaam. Met een project dat alleen leuk is, leren de leerlingen niets en bereik je je doel niet.
Hulp nodig bij de uitvoering van een onderzoek? Lees hier wat ik voor je kan betekenen.
Steeds vaker hoor ik de roep om kwaliteit voor cultuureducatie. Zo ook op de conferentie ‘Wie doet wat?’ (26 augustus 2011 door Cultuurnetwerk Nederland en Kunstfactor). Volgens Piet Hagenaars (directeur Cultuurnetwerk Nederland) schort het momenteel aan kwaliteit van cultuureducatie op scholen en bezoekers waren het daar mee eens.
Dat kun je op verschillende manieren aanpakken. Je kunt naar doelen kijken van cultuureducatie en die vervolgens SMART formuleren en evalueren. Behaal je de doelen die je hebt gesteld? Cultuureducatie is enerzijds gericht zijn op toekomst cultuurdeelname (wat gemeten kan worden door gedragsvoorspellers zoals attitude te meten) en anderzijds op empowerment en (talent)ontwikkeling.
Om niet elk project aan een uitvoerig onderzoek te onderwerpen of het bijdraagt aan de toekomstige cultuurdeelname en empowerment van leerlingen, kan een keurmerk ontwikkeld worden. Met onderzoek waarbij gekeken wordt naar doelbereik, kunnen succesfactoren gedestilleerd worden. Aan de hand van deze kenmerken kan een keurmerk ontworpen worden samen met expert. Een kwaliteitskeurmerk. Bijvoorbeeld het inspelen op het niveau van de leerlingen op het gebied van de betreffende kunstdiscipline, integraliteit met andere vakken en ouderbetrokkenheid maken de kans op doelbereik groter. Met een keurmerk krijgen cultuurcoördinatoren bij scholen en gemeenten een instrument in handen dat ze helpt bij de keuze tussen verschillende projecten en aanbieders. Het geeft aanbieders een instrument in handen van belangrijke kenmerken die een project moet hebben.
Het vast stellen van kwaliteit kan cultuureducatieve instellingen op meerdere gebieden helpen. Allereerst wordt er kwaliteit geboden, wat belangrijk is voor de leerlingen en de scholen. Ook aan financiers kan aangetoond worden dat er een goed product wordt aangeboden. Voor overheden interessant, maar ook andere partners.
Andere partners dan de overheid worden steeds belangrijker voor de culturele sector. Instellingen moeten kijken naar hun publiek. Maar ook commerciële partijen worden belangrijker. Gekeken moet worden naar andere partijen die dezelfde belangen delen. Ook buiten de sector, bijvoorbeeld de sportsector als het dans betreft.
Hierbij hoort het formuleren van doelen en het afleggen van verantwoording. Hier kunnen het meten van effecten, evaluatie van projecten en het vaststellen en meten van kernpunten een bijdrage aan leveren.
