Musea en science centra willen steeds vaker weten of het werkt wat ze doen. Het gaat dan niet over het hebben van zo veel mogelijk bezoekers, maar over de kwaliteit van hun (educatieve) programma. Wordt hun doel, namelijk het beïnvloeden van de interesse voor, de houding naar en de kennis over (bijvoorbeeld) natuur, cultuur, geschiedenis of wetenschap, bereikt? Deze doelen worden op verschillende manieren gemeten.
Eén manier is het houden van een enquête. Bezoekers worden dan schriftelijk bevraagd over hun ervaringen tijdens het bezoek. Omdat musea en science centra vaak niet de kennis (en tijd) in huis hebben over het doen van onderzoek, is het voor hen soms lastig om de juiste vragen te stellen en de resultaten te interpreteren. Wil je daadwerkelijk informatie waar je iets mee kunt, dan is het belangrijk om de juiste indicatoren te bepalen voor de enquête.
Naast de interne enquête worden er ook grootschalige internationale onderzoeken gedaan waar de science centra en musea aan mee kunnen doen. Ook kunnen afgeronde grootschalige onderzoeken dienen als informatiebron voor de musea.
Ook maken veel musea en science centra gebruik van RF-ID (identificatie met radiogolven) bij interactieve opstellingen om effecten te meten. Bezoekers kunnen dan (a.d.h.v. een armbandje) hun activiteiten opslaan en achteraf (online) terug zien wat ze hebben gedaan en hoe ze dit hebben gedaan. Dit is leuk voor de bezoeker, maar dient ook als input voor het museum of science center. Je kunt hier namelijk uithalen hoe lang bezoekers bij een opstelling blijven staan, hoeveel er gebruik van wordt gemaakt en of er meerdere keren gebruik van wordt gemaakt.
Een andere manier om te meten is het analyseren van handelingen van bezoekers op basis van filmopnames. Dit gebeurt vooral bij interactieve opstellingen. Aan de hand van bewegingen, gezichtsuitdrukkingen, handelingen en verblijfsduur wordt het leerpotentieel geanalyseerd.
Science centra en musea kunnen ook van elkaar leren. Door de kwaliteit van hun educatieve programma’s te meten en met elkaar te vergelijken kunnen ze leren van elkaars sterke en zwakke punten.
Dit is een benchmark. Voor de VSC en verschillende science centra hebben wij zo’n benchmark uitgevoerd.
Bij het uitvoeren van taken, projecten, activiteiten en programma’s wil je graag weten of het werkt wat je doet. Hiervoor heb je relevante informatie nodig, op basis waarvan je weloverwogen beslissingen kunt nemen. Je kunt dan bijsturen waar nodig en eenvoudig verantwoording afleggen. Om aan deze relevante informatie te komen, doe je, afhankelijk van wat je wilt weten en wat je mogelijkheden zijn, een impactmeting of een effectmeting. Deze twee termen worden nogal eens door elkaar gebruikt maar het zijn wel degelijk twee verschillende soorten onderzoeken.
Wil je weten of je je doelen bereikt met het uitgestippelde beleid? En wil je dus concreet inzicht in je doelbereik? Dan doe je een effectmeting. Bij een effectmeting wordt de situatie achteraf vergeleken met de situatie vooraf. Er zijn dus altijd minimaal twee metingen. Daarnaast moeten de waargenomen effecten nog toegeschreven worden aan het project of het beleid. Dat kun je onder andere doen door te werken met controlegroepen. Om te achterhalen of de vooraf opgestelde doelen worden gehaald, richt de effectmeting zich daar voornamelijk op.
Een exacte effectmeting geeft veel informatie en onweerlegbaar. Maar kost ook veel tijd en middelen. Je moet tijdig (voor de start van het beleid of project) beginnen met het onderzoek.
Bij een impactmeting is dat niet per definitie het geval. Impactmetingen richten zich op het vermeende effect. Een impactmeting kan ook achteraf ingezet worden. Daar waar je bij een effectmeting exact het effect meet, maak je bij een impactmeting een schatting van de effecten. Dit kan vooraf of achteraf.
Bij een impactmeting vooraf maak je een inschatting van de mogelijke effecten op basis van literatuur, vergelijkbare projecten/beleid en experts. Een voorbeeld van een impactmeting vooraf is de economische impactmeting die wij voor het themajaar VanGogh2015 hebben gedaan.
Bij een impactmeting achteraf vraag je wat betrokkenen denken wat het effect is geweest. Door voldoende betrokkenen en mogelijk experts te spreken, ontstaat een volledig en subjectief beeld van de ingeschatte effecten. Hierbij kun je je ook richten op het doel dat je vooraf hebt gesteld aan het beleid, maar vaak komen er ook andere effecten boven water. Een voorbeeld van een impactmeting achteraf is het onderzoek dat wij hebben gedaan naar de impact van de cultuurscouts in Schiedam.
Wil je liever meer weten over het doen van een effectmeting? Kijk dan hier voor meer informatie en voorbeelden.
Er wordt vaak gedacht dat een effectmeting zonde is van het geld en dat de (schaars) beschikbare financiële middelen beter direct aan het programma besteed kunnen worden. Een effectmeting is echter een manier om beter en sneller naar je doel te bewegen, waardoor je project uiteindelijk minder zal kosten en meer zal opbrengen. Omdat je weet of je op de juiste koers zit, kun je je financiën binnen het programma gerichter en effectiever besteden. Daarmee is een effectmeting dus geen kostenpost, maar een middel om geld te besparen.
Het belang van het meten van effecten heb ik uitgelegd in mijn blog "Waarom wil je effect meten?". In deze blog een paar vragen om je te helpen bepalen of het voor jou handig is om een effectmeting te doen.
Als je meer van bovenstaande vragen met ja hebt beantwoord, is een effectmeting het overwegen waard. Een effectmeting is namelijk een essentieel onderdeel van je programma. Daarmee weet je of je programma werkt. En hoe je je doel beter kunt bereiken. Je kunt tijdig bijsturen op basis van inhoudelijke informatie.
Inzicht in jouw effecten en doelbereik? Lees hier hoe ik je hierbij kan helpen!
Als je wilt weten of je je doelen bereikt, monitor je deze doelen. Door te monitoren kun je in de gaten houden of je nog op de goede weg zit. En of je je doel gaat bereiken. Hiervoor is het noodzakelijk om één indicator of meerdere indicatoren te formuleren die betrekking hebben op je doelen. Een indicator is een meetbaar begrip dat een signalerende functie heeft en een aanwijzing geeft over de mate van kwaliteit. Wijkt een indicator af van een afgesproken norm dan is bijsturing mogelijk. Het is dus belangrijk om goede indicatoren te kiezen en geen afgeleide indicatoren te gebruiken. Dan meet je namelijk niet wat je wilt meten en kun je niet meer goed bijsturen om je doelen te bereiken.
Een interessant voorbeeld is de bibliotheek. Doelen van de bibliotheek zijn onder andere leesbevordering en mediawijsheid. Vaak monitoren bibliotheken echter op ‘Lenen’, waarbij als indicator het aantal uitleningen gebruikt wordt. Dit geeft misschien ook waardevolle informatie, maar zegt niets over of de bevolking daadwerkelijk meer en beter leest en mediawijzer wordt. Het aantal uitleningen is dus een indicator die geen betrekking heeft op de doelen van de bibliotheek. De bibliotheek weet nu niet of er richting de doelen bewogen wordt en kan hier dus ook niet op sturen. Sterker: sommige bibliotheken reageren averechts op ontwikkelingen zoals de e-reader, omdat deze boeken lenen in de weg staat, maar wel goed is voor de leesbevordering.
In plaats van ‘Lenen’ kan de bibliotheek beter monitoren op ‘Lezen’ en ‘mediawijsheid’. Indicatoren verschuiven dan van het aantal uitleningen naar indicatoren die betrekking hebben op het meer (en beter) lezen en het mediawijzer worden van de bevolking. Bij leesbevordering kun je als indicator denken aan het aantal activiteiten gericht op het signaleren en tegengaan van laag geletterdheid. Bij mediawijsheid kan gedacht worden aan het actief, creatief en sociaal media gebruik naar aanleiding van mediawijsheid activiteiten.
Ik heb nu het voorbeeld van een bibliotheek gegeven, maar het kiezen van de juiste indicator(en) is natuurlijk voor iedere organisatie van belang om het doelbereik goed te kunnen monitoren!
Containerbegrippen worden helaas vaak gebruikt. In een gesprek denk je beide over hetzelfde te hebben. Maar doe je dat ook? Ik vraag het mijn gesprekspartner. Talentontwikkeling is een onderwerp dat regelmatig aan bod komt. Maar talentontwikkeling heb ik je in alle kleuren van de regenboog. Gaat het over het ontwikkelen van toptalenten en deze naar grotere hoogtes brengen of gaat het over het ontdekken van je talenten (iedereen heeft namelijk talenten).
Helaas worden bij beleidsdoelstellingen steeds vaker containerbegrippen gebruikt. Hoe kun je dan kijken of je je beleidsdoelstellingen haalt? Of hoe je als gesubsidieerde organisatie voldoet aan de verwachtingen?
Voer een groepsgesprek met betrokkenen over wat het voor jullie betekent. Stel hierbij vragen als: wat betekent " " volgens jou? Wat valt er wel en wat valt er niet onder? Hoe zou je dit uitleggen aan een buitenstaander (bijvoorbeeld je moeder)? Discussieer door totdat het duidelijk en afgebakend is. Indien nodig voer je dit gesprek ook met je opdrachtgever, subsidiegever, wethouder.
Voorbeeld: kwaliteit van educatie kan bestaan uit verschillende punten:
Bekijk aan de hand van het geconcretiseerde begrippen hoe je dit kunt meten. Doe dit per onderdeel.
Voorbeeld: Je wilt weten of je met je educatieve programma kwaliteit biedt. Onderzoeksvragen die je stelt naar aanleiding van de eerder genoemde discussie-uitkomsten zijn:
Als je per onderdeel hebt bepaald hoe je de vraag kunt beantwoorden, ga je dit operationaliseren. Je maakt het meetbaar.
Voorbeeld:
Veel educatieve projecten van belangenorganisaties en non-profitorganisaties (denk aan musea, technocentra, theatergezelschappen) zijn niet zozeer gericht op het aanleren van vaardigheden, maar op het anders laten kijken naar de wereld of een andere houding bewerkstelligen ten opzichte van een bepaald onderwerp. Bijvoorbeeld een meer vragende of onderzoekende houding.
Of zo’n project succesvol is, bekijk je door een verandering in houding te meten. Het gaat namelijk niet over vaardigheden, maar over een manier van kijken naar de wereld om je heen, de attitude van de leerling ten aanzien van dat onderwerp.
Daarnaast is attitude een goede voorspeller voor toekomstig gedrag. Een attitude zegt iets over iemands grondhouding over een onderwerp. Is het interessant? Gaat iemand er in de toekomst iets mee doen? Technocentra zijn daarom geïnteresseerd deze attitude ten opzichte van techniek (positief) te beïnvloeden, omdat dit iets zegt over toekomstige keuzes ten aanzien van techniek (studie/beroep). Als deze attitude beïnvloed wordt bij een leerling, weet hij/zij beter wat wel/niet bij hem/haar past. Zo worden leerlingen geholpen bewustere keuzes te maken voor hun studie- en beroep.
Het meten van houding en de verandering lijkt heel abstract, maar is al op meerdere onderwerpen geconcretiseerd. Uit wetenschappelijk onderzoek blijkt dat de houding (ook wel attitude genoemd) ten opzichte van een bepaald onderwerp bestaat uit een aantal elementen. Kort een paar factoren die vaak terug keren:
Om deze factoren te kunnen meten, worden deze vertaald in een aantal elementen. Deze kunnen vervolgens op verschillende manieren gemeten worden. Denk aan observeren, een lijst met stellingen waarbij leerlingen aangeven waarin ze zich het meeste vinden.
Om een verandering in attitude waar te kunnen nemen moet meerdere keren gemeten worden: voor deelname aan een project, kort na afloop van het project om te kijken of er op korte termijn effecten zijn waar te nemen en op lange termijn om te kijken of deze effecten blijvend zijn.
Het instrument om attitude te meten is ontworpen door prof. Dr. J.H. Walma van der Molen. Zie hiervoor de publicatie:
Walma van der Molen, J., Wiegerinck, S. (2008) Eindrapportage VTB Attitude Monitor; De ontwikkeling van een attitudeinstrument op het gebied van wetenschap en techniek voor leerlingen in het basisonderwijs (hier te downloaden)
Wij hebben dit instrument inmiddels verschillende keren ingezet voor het meten van impact en het model erachter als aanzet om langdurige verandering te meten.
De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag?
Door een vragenlijst te testen, kun je achterhalen of deze valide is. Dit testen kun je doen door de vragenlijst aan een testpersonen voor te leggen en ze tijdens het invullen hardop te laten denken. Een andere mogelijkheid is de vragenlijst voorleggen en een testgroep en hen vragen te laten stellen zodra een vraag onduidelijk is. Het is hierbij belangrijk dat je testpersonen/-groep lijken op je onderzoekspopulatie. Dus als je de vragenlijst wilt voorleggen bij jongeren van 15 tot 18 jaar, moeten je testpersonen/-groep bestaan uit jongeren van 15 tot 18 jaar.
Na deze test, met name met een testgroep, ga je de antwoorden analyseren en vraag je advies van een collega onderzoeker. Zijn de antwoorden consistent? Klopt de logica binnen de vragenlijst? Komen de uitkomsten overeen met soortgelijke onderzoeken?
Bij nieuw te ontwikkelen onderzoeksinstrumenten is het belangrijker om te testen, aan te passen en opnieuw te testen. Met name als je abstractere begrippen wilt meten zoals houding of ontwikkeling is uitgebreid testen nodig om een valide vragenlijst te krijgen.
Bij gebruik van een bestaande vragenlijst , moet je even kijken of deze reeds getest is op begrip en consistentie.
Naast validiteit spreek je bij het doen van onderzoek ook vaak over het begrip betrouwbaarheid. Wil je hier meer over weten? Lees dan ook mijn blog over betrouwbaarheid.
Effectmeting is essentieel als je wilt weten of jouw project, programma of activiteit écht werkt. Maar meten is niet altijd makkelijk. In de praktijk botsen mooie plannen vaak met de realiteit, en onderzoek kent valkuilen. Daarom vind je hier 10 krachtige tips die je helpen te toetsen of je project, evenement, beleid, activiteit of programma het gewenste effect heeft.
Effectmeting begint bij de basis: wat wil je bereiken? Formuleer je doel zo concreet mogelijk. Wil je gedrag veranderen, kennis vergroten of keuzes beïnvloeden? Stel vervolgens een duidelijke hoofdvraag op, en werk die uit in deelvragen. Hoe concreter je vraag, hoe beter je kunt meten.
Doe geen onderzoek omdat het ‘moet’, maar omdat je iets wilt weten waar je ook echt iets mee gaat doen. Wat wil je met de resultaten bereiken? Wil je bijsturen, verantwoorden, verbeteren of stoppen? Deze keuzes bepalen je aanpak en zorgen dat je onderzoek waardevol blijft.
Niet elke methode past bij elke vraag. Wil je cijfers? Dan is een vragenlijst handig. Wil je motivaties begrijpen? Dan zijn interviews of observaties beter. Stem je methode af op wat je wilt weten én op wie je bevraagt. Denk ook aan bereikbaarheid: jongeren bereik je anders dan ouderen.
Een vaste structuur maakt je onderzoek betrouwbaarder. Gebruik steeds dezelfde aanpak, vragen of observatiepunten. Zo kun je resultaten vergelijken en trends herkennen. Ook informele evaluaties kun je structureren door vooraf te bepalen waar je op let.
Zonder startpunt kun je geen verandering meten. Een nulmeting helpt je om effecten zichtbaar te maken. Vergelijk je resultaten op korte én langere termijn met dit startpunt om te zien of je dichter bij je doel komt.
Onderzoek loopt zelden zoals gepland. Mensen reageren niet, partners haken af, of je krijgt minder data dan gehoopt. Voorzie obstakels en denk vooraf na over alternatieven. Een plan B voorkomt dat je vastloopt.
Effectmeting doe je niet alleen. Betrek collega’s, partners of deelnemers bij het opzetten en uitvoeren van je onderzoek. Dat vergroot het draagvlak én de kwaliteit van je data. Samen zie je meer dan alleen.
Stel alleen vragen waar je écht iets mee doet. Laat overbodige vragen weg – dat bespaart tijd en verhoogt de kwaliteit van je data. Kies daarnaast je gesprekspartners zorgvuldig. Spreek niet alleen de enthousiastelingen of de critici, maar zorg voor een evenwichtige en representatieve groep. Dat betekent: mensen met verschillende achtergronden, leeftijden, genders en perspectieven. Zo voorkom je een vertekend beeld en krijg je inzichten die écht iets zeggen over je doelgroep als geheel.
Als je veel data hebt, is het verleidelijk om alles te willen gebruiken. Maar: houd je onderzoeksvraag centraal. Cluster informatie, zoek verbanden en trek conclusies die echt antwoord geven op je vraag.
Onderzoek is pas waardevol als je er iets mee doet. Bespreek de uitkomsten, formuleer actiepunten en maak afspraken. Zo wordt effectmeting een krachtig instrument voor verbetering en groei.
Erfgoededucatie wordt steeds belangrijker op school. Er worden steeds meer projecten en lessen aangeboden door velerlei verschillende aanbieders. Als school, als financier van erfgoed-educatieve projecten, maar ook als aanbieder wil je weten of een project goed is. Wanneer is het een goed project en lessenreeks?
1) Een project of lessenreeks moet een doel hebben. Wat wil je de leerlingen leren? Wil je ze kennis meegeven, vaardigheden aanleren of wil je ze laten nadenken en reflecteren op zaken uit het verleden? Verschillende leerdoelen vragen om verschillende werkvormen.
2) Daarnaast is de positie van educatie binnen de organisatie bepalend voor de kwaliteit die geboden wordt. Is het primaire doel van bijvoorbeeld een museum het delen van kennis en anderen laten leren over hun collectie, zal de kwaliteit van de educatie beter zijn dan van een museum die primair verzameld en binnenschoolse educatieve projecten verzorgt omdat het een verplichting is vanuit het ministerie.
3) De geboden leerstof moet aansluiten op het curriculum, deel uit maken van een doorgaande leerlijn op het gebied van erfgoed en verankerd zijn op school. Als het project los staat van de overige lesstof, zal het geleerde niet blijven hangen, omdat de leerlingen het niet kunnen verbinden met andere dingen die ze leren. Een project moet passen binnen de lesstof op school, maar ook voortbouwen op eerdere erfgoedlessen. Erfgoed moet ook verankerd zijn op school en daarmee een eigen plek hebben op school en binnen het curriculum. Binnen een lessenreeks passen ook bezoeken aan instellingen en expedities door de buurt. Deze moeten echter wel ingekaderd zijn in eerdere lessen en op gereflecteerd worden.
4) De kwaliteit van de inhoud wordt veelal ook bepaald door de deskundigheid van de educatoren en begeleiders. Ook de mate waarin de lesstof aansluit op het niveau van de leerlingen (denk aan taalgebruik) is bepalend voor de kwaliteit.
5) Een organisatie die erfgoededucatieve projecten en lessen organiseert, doet dit beter als ze hierbij samenwerken met anderen, zoals scholen, andere aanbieders in de buurt en tweedelijns instellingen. Samen kom je tot betere projecten dan alleen.
6) Ten slotte bieden evaluerende organisaties beter projecten. Door te evalueren leren zij van eerdere projecten en worden projecten steeds aangescherpt. Je kunt beter voortborduren op eerder opgedane ervaring en samen kijken wat hier aan verbeterd kan worden dan elke keer het wiel opnieuw uit te vinden of door gaan op een manier waarvan je niet weet of deze succesvol is. Bij evaluaties moet echter een duidelijk verschil gemaakt worden tussen leuk en leerzaam. Met een project dat alleen leuk is, leren de leerlingen niets en bereik je je doel niet.
Hulp nodig bij de uitvoering van een onderzoek? Lees hier wat ik voor je kan betekenen.
Steeds vaker hoor ik de roep om kwaliteit voor cultuureducatie. Zo ook op de conferentie ‘Wie doet wat?’ (26 augustus 2011 door Cultuurnetwerk Nederland en Kunstfactor). Volgens Piet Hagenaars (directeur Cultuurnetwerk Nederland) schort het momenteel aan kwaliteit van cultuureducatie op scholen en bezoekers waren het daar mee eens.
Dat kun je op verschillende manieren aanpakken. Je kunt naar doelen kijken van cultuureducatie en die vervolgens SMART formuleren en evalueren. Behaal je de doelen die je hebt gesteld? Cultuureducatie is enerzijds gericht zijn op toekomst cultuurdeelname (wat gemeten kan worden door gedragsvoorspellers zoals attitude te meten) en anderzijds op empowerment en (talent)ontwikkeling.
Om niet elk project aan een uitvoerig onderzoek te onderwerpen of het bijdraagt aan de toekomstige cultuurdeelname en empowerment van leerlingen, kan een keurmerk ontwikkeld worden. Met onderzoek waarbij gekeken wordt naar doelbereik, kunnen succesfactoren gedestilleerd worden. Aan de hand van deze kenmerken kan een keurmerk ontworpen worden samen met expert. Een kwaliteitskeurmerk. Bijvoorbeeld het inspelen op het niveau van de leerlingen op het gebied van de betreffende kunstdiscipline, integraliteit met andere vakken en ouderbetrokkenheid maken de kans op doelbereik groter. Met een keurmerk krijgen cultuurcoördinatoren bij scholen en gemeenten een instrument in handen dat ze helpt bij de keuze tussen verschillende projecten en aanbieders. Het geeft aanbieders een instrument in handen van belangrijke kenmerken die een project moet hebben.
Het vast stellen van kwaliteit kan cultuureducatieve instellingen op meerdere gebieden helpen. Allereerst wordt er kwaliteit geboden, wat belangrijk is voor de leerlingen en de scholen. Ook aan financiers kan aangetoond worden dat er een goed product wordt aangeboden. Voor overheden interessant, maar ook andere partners.
Andere partners dan de overheid worden steeds belangrijker voor de culturele sector. Instellingen moeten kijken naar hun publiek. Maar ook commerciële partijen worden belangrijker. Gekeken moet worden naar andere partijen die dezelfde belangen delen. Ook buiten de sector, bijvoorbeeld de sportsector als het dans betreft.
Hierbij hoort het formuleren van doelen en het afleggen van verantwoording. Hier kunnen het meten van effecten, evaluatie van projecten en het vaststellen en meten van kernpunten een bijdrage aan leveren.
Ben je cursist? Log hier in op de Academie voor Onderzoek
