Musea en science centra willen steeds vaker weten of het werkt wat ze doen. Het gaat dan niet over het hebben van zo veel mogelijk bezoekers, maar over de kwaliteit van hun (educatieve) programma. Wordt hun doel, namelijk het beïnvloeden van de interesse voor, de houding naar en de kennis over (bijvoorbeeld) natuur, cultuur, geschiedenis of wetenschap, bereikt? Deze doelen worden op verschillende manieren gemeten.
Eén manier is het houden van een enquête. Bezoekers worden dan schriftelijk bevraagd over hun ervaringen tijdens het bezoek. Omdat musea en science centra vaak niet de kennis (en tijd) in huis hebben over het doen van onderzoek, is het voor hen soms lastig om de juiste vragen te stellen en de resultaten te interpreteren. Wil je daadwerkelijk informatie waar je iets mee kunt, dan is het belangrijk om de juiste indicatoren te bepalen voor de enquête.
Naast de interne enquête worden er ook grootschalige internationale onderzoeken gedaan waar de science centra en musea aan mee kunnen doen. Ook kunnen afgeronde grootschalige onderzoeken dienen als informatiebron voor de musea.
Ook maken veel musea en science centra gebruik van RF-ID (identificatie met radiogolven) bij interactieve opstellingen om effecten te meten. Bezoekers kunnen dan (a.d.h.v. een armbandje) hun activiteiten opslaan en achteraf (online) terug zien wat ze hebben gedaan en hoe ze dit hebben gedaan. Dit is leuk voor de bezoeker, maar dient ook als input voor het museum of science center. Je kunt hier namelijk uithalen hoe lang bezoekers bij een opstelling blijven staan, hoeveel er gebruik van wordt gemaakt en of er meerdere keren gebruik van wordt gemaakt.
Een andere manier om te meten is het analyseren van handelingen van bezoekers op basis van filmopnames. Dit gebeurt vooral bij interactieve opstellingen. Aan de hand van bewegingen, gezichtsuitdrukkingen, handelingen en verblijfsduur wordt het leerpotentieel geanalyseerd.
Science centra en musea kunnen ook van elkaar leren. Door de kwaliteit van hun educatieve programma’s te meten en met elkaar te vergelijken kunnen ze leren van elkaars sterke en zwakke punten.
Dit is een benchmark. Voor de VSC en verschillende science centra hebben wij zo’n benchmark uitgevoerd.
Evalueren doe je niet om te evalueren. Je evalueert (tijdens en/of na afloop van een project) om iets te leren van je project, programma of activiteit. Vaak zien culturele instellingen het evalueren van hun activiteiten echter als een ding dat moet gebeuren, maar is de toegevoegde waarde ervan niet duidelijk. Evalueren is waardevol voor de interne organisatie, maar ook naar buiten toe (mits de goede vragen gesteld worden in de evaluatie). In dit blog geef ik een aantal redenen waarom evalueren meer is dan een administratieve afvinkoefening. Door te evalueren:
Hulp nodig bij evalueren? Ik kan je hierbij helpen!
Wat bereik jij met de subsidie die je hebt gekregen? Subsidieverstrekkers willen graag weten wat wordt gerealiseerd met het geld dat zij hebben verstrekt. Er is veel discussie over hoe en wat hierover teruggekoppeld wordt naar de subsidieverstrekker en het verschilt dan ook sterk per gemeente of fonds hoe erover gerapporteerd moet worden. Sommigen willen weten wat je doet. Anderen willen weten wat je bereikt en bijdraagt aan het gezamenlijke doel.
Een voorbeeld van het aan tonen van wat je bereikt en bijdraagt aan het gezamenlijke doel is Natuurmuseum Brabant. Zij vertellen bij hun verantwoording iets over wat ze bereiken door hun manier van werken. En dan gaat het niet over het aantal bezoekers of het aantal leerlingen dat met school deelneemt aan een activiteit, maar over wat zo’n activiteit met school te weeg brengt bij de leerlingen.
Natuurmuseum Brabant heeft meegedaan aan een gezamenlijke benchmark vanuit de VSC waar natuurmusea, wetenschapscentra en techniekmusea samen met mij een meetinstrument hebben samengesteld. Hiermee worden de kwaliteit van binnenschoolse projecten en de effecten ervan bij de leerlingen gemeten. De deelnemende musea hebben aangegeven wat in hun vakgebied zorgt voor kwaliteit en welke doelen zij willen bereiken. Op basis van deze input heb ik een meetinstrument gemaakt, waarmee de deelnemende musea data hebben verzameld.
De analyses van de data worden veelzijdig ingezet. Natuurmuseum Brabant heeft hun analyse gebruikt bij de verantwoording naar de gemeente, maar ook om de activiteiten verder te verbeteren om nog beter hun doelen te bereiken: bezoekers en leerlingen leren over de natuur, interesseren voor de natuur, verwondering op te wekken en zelfs waardering voor de natuur te weeg brengen.
Kun jij aantonen wat je bereikt met je activiteiten?
Als organisatie wil je voortdurend zicht hebben op je doelbereik. Om dit inzicht te verkrijgen wil je als het ware een TomTom-systeem dat jouw organisatie de weg wijst. Je voert in waar je over een paar jaar wilt zijn en het systeem helpt je dit te bereiken.
Hiervoor moet je indicatoren vaststellen die informatie geven over je doelbereik. Een deel van deze indicatoren zouden kunnen bestaan uit meetbare items die automatisch worden gegenereerd. Ook indicatoren die moeilijker te meten zijn, zoals, zoals positieve bedrijfscultuur, verandering van houding van leerlingen en een betere samenwerking kunnen in dit monitorsysteem opgenomen worden.
Door dit monitoring systeem verzamel je meer gestructureerd informatie die je inzicht geeft of je de goede kant op gaat, net als een TomTom. Zit je op de juiste koers of moet je bijsturen? Komt het doel dichterbij?
Omdat je via dit monitoring systeem regelmatig feedback krijg over het bereik van je (sub)doelen, kun je gemakkelijk doelen en activiteiten voor de komende periode formuleren. Zo kom je stapje voor stapje dichter bij jouw stip op de horizon.
Wil je ook zo'n tomtom voor jouw organisatie, programma of project? Dat kan. Belangrijk hiervoor is het bepalen van de juiste indicatoren die vast stellen of je al dichter bij je stip op de horizon komt.
Ik deel graag mijn kennis en heb daarom een e-book geschreven: Tom Tom voor onderzoek. Je kunt mijn e-book downloaden door je in te schrijven voor de nieuwsbrief op de homepage.
Er wordt vaak gedacht dat een effectmeting zonde is van het geld en dat de (schaars) beschikbare financiële middelen beter direct aan het programma besteed kunnen worden. Een effectmeting is echter een manier om beter en sneller naar je doel te bewegen, waardoor je project uiteindelijk minder zal kosten en meer zal opbrengen. Omdat je weet of je op de juiste koers zit, kun je je financiën binnen het programma gerichter en effectiever besteden. Daarmee is een effectmeting dus geen kostenpost, maar een middel om geld te besparen.
Het belang van het meten van effecten heb ik uitgelegd in mijn blog "Waarom wil je effect meten?". In deze blog een paar vragen om je te helpen bepalen of het voor jou handig is om een effectmeting te doen.
Als je meer van bovenstaande vragen met ja hebt beantwoord, is een effectmeting het overwegen waard. Een effectmeting is namelijk een essentieel onderdeel van je programma. Daarmee weet je of je programma werkt. En hoe je je doel beter kunt bereiken. Je kunt tijdig bijsturen op basis van inhoudelijke informatie.
Inzicht in jouw effecten en doelbereik? Lees hier hoe ik je hierbij kan helpen!
Als je wilt weten of je je doelen bereikt, monitor je deze doelen. Door te monitoren kun je in de gaten houden of je nog op de goede weg zit. En of je je doel gaat bereiken. Hiervoor is het noodzakelijk om één indicator of meerdere indicatoren te formuleren die betrekking hebben op je doelen. Een indicator is een meetbaar begrip dat een signalerende functie heeft en een aanwijzing geeft over de mate van kwaliteit. Wijkt een indicator af van een afgesproken norm dan is bijsturing mogelijk. Het is dus belangrijk om goede indicatoren te kiezen en geen afgeleide indicatoren te gebruiken. Dan meet je namelijk niet wat je wilt meten en kun je niet meer goed bijsturen om je doelen te bereiken.
Een interessant voorbeeld is de bibliotheek. Doelen van de bibliotheek zijn onder andere leesbevordering en mediawijsheid. Vaak monitoren bibliotheken echter op ‘Lenen’, waarbij als indicator het aantal uitleningen gebruikt wordt. Dit geeft misschien ook waardevolle informatie, maar zegt niets over of de bevolking daadwerkelijk meer en beter leest en mediawijzer wordt. Het aantal uitleningen is dus een indicator die geen betrekking heeft op de doelen van de bibliotheek. De bibliotheek weet nu niet of er richting de doelen bewogen wordt en kan hier dus ook niet op sturen. Sterker: sommige bibliotheken reageren averechts op ontwikkelingen zoals de e-reader, omdat deze boeken lenen in de weg staat, maar wel goed is voor de leesbevordering.
In plaats van ‘Lenen’ kan de bibliotheek beter monitoren op ‘Lezen’ en ‘mediawijsheid’. Indicatoren verschuiven dan van het aantal uitleningen naar indicatoren die betrekking hebben op het meer (en beter) lezen en het mediawijzer worden van de bevolking. Bij leesbevordering kun je als indicator denken aan het aantal activiteiten gericht op het signaleren en tegengaan van laag geletterdheid. Bij mediawijsheid kan gedacht worden aan het actief, creatief en sociaal media gebruik naar aanleiding van mediawijsheid activiteiten.
Ik heb nu het voorbeeld van een bibliotheek gegeven, maar het kiezen van de juiste indicator(en) is natuurlijk voor iedere organisatie van belang om het doelbereik goed te kunnen monitoren!
Veel educatieve projecten van belangenorganisaties en non-profitorganisaties (denk aan musea, technocentra, theatergezelschappen) zijn niet zozeer gericht op het aanleren van vaardigheden, maar op het anders laten kijken naar de wereld of een andere houding bewerkstelligen ten opzichte van een bepaald onderwerp. Bijvoorbeeld een meer vragende of onderzoekende houding.
Of zo’n project succesvol is, bekijk je door een verandering in houding te meten. Het gaat namelijk niet over vaardigheden, maar over een manier van kijken naar de wereld om je heen, de attitude van de leerling ten aanzien van dat onderwerp.
Daarnaast is attitude een goede voorspeller voor toekomstig gedrag. Een attitude zegt iets over iemands grondhouding over een onderwerp. Is het interessant? Gaat iemand er in de toekomst iets mee doen? Technocentra zijn daarom geïnteresseerd deze attitude ten opzichte van techniek (positief) te beïnvloeden, omdat dit iets zegt over toekomstige keuzes ten aanzien van techniek (studie/beroep). Als deze attitude beïnvloed wordt bij een leerling, weet hij/zij beter wat wel/niet bij hem/haar past. Zo worden leerlingen geholpen bewustere keuzes te maken voor hun studie- en beroep.
Het meten van houding en de verandering lijkt heel abstract, maar is al op meerdere onderwerpen geconcretiseerd. Uit wetenschappelijk onderzoek blijkt dat de houding (ook wel attitude genoemd) ten opzichte van een bepaald onderwerp bestaat uit een aantal elementen. Kort een paar factoren die vaak terug keren:
Om deze factoren te kunnen meten, worden deze vertaald in een aantal elementen. Deze kunnen vervolgens op verschillende manieren gemeten worden. Denk aan observeren, een lijst met stellingen waarbij leerlingen aangeven waarin ze zich het meeste vinden.
Om een verandering in attitude waar te kunnen nemen moet meerdere keren gemeten worden: voor deelname aan een project, kort na afloop van het project om te kijken of er op korte termijn effecten zijn waar te nemen en op lange termijn om te kijken of deze effecten blijvend zijn.
Het instrument om attitude te meten is ontworpen door prof. Dr. J.H. Walma van der Molen. Zie hiervoor de publicatie:
Walma van der Molen, J., Wiegerinck, S. (2008) Eindrapportage VTB Attitude Monitor; De ontwikkeling van een attitudeinstrument op het gebied van wetenschap en techniek voor leerlingen in het basisonderwijs (hier te downloaden)
Wij hebben dit instrument inmiddels verschillende keren ingezet voor het meten van impact en het model erachter als aanzet om langdurige verandering te meten.
Onlangs had ik een evaluatie met een opdrachtnemer welke anders liep dan ik gewend was. De persoon in kwestie had zich goed voorbereid en stak van wal. Ze vertelde wat volgens haar het doel van de evaluatie was, wat de mogelijkheden waren en wat er was bereikt. Wat ik ook probeerde, ze was niet van haar stuk te brengen. Na een half uur was haar monoloog afgerond en kreeg ik ruimte om te vertellen wat ik wilde met de evaluatie.
Het leermoment van deze evaluatie kwam uit een andere hoek dan verwacht. Ik heb namelijk weinig geleerd over het project dat we samen hebben gedaan of over onze manier van samenwerken. Wil je iets leren als persoon of als organisatie van evalueren, let dan op de volgende punten:
Hulp nodig bij een evaluatie? Lees hier hoe ik hierbij kan helpen
Op school worden schoolgruiten (groenten en fruit) uitgedeeld. De dienst Sport & Recreatie van de gemeente Rotterdam financierde dit project om de groenten- en fruitconsumptie van kinderen te stimuleren. Ik heb daarom naar het effect op de groenten- en fruitconsumptie op de lange termijn, gekeken. Met een nul-, effect- en nameting is is vastgesteld dat er blijvend meer groenten en fruit werd geconsumeerd, en niet alleen tijdens het project.
Aangezien de opdrachtgever een beknopte rapportage wilde, zijn de resultaten in een factsheet gepubliceerd.
[elementor-template id="6009"]
Dit geldt persoonlijk, voor groepen, organisaties, projecten en beleid. Toch worden doelstellingen vaak vaag en vrijblijvend geformuleerd als wensen, intenties of goede voornemens. Een doel is echter een gewenste situatie die je wilt bereiken, zelf, met de organisatie, met overheidsbeleid of met een project. In deze blog richt ik mij specifiek op het stellen van projectdoelen, maar veel gaat ook op voor andersoortige doelen.
Waarom moet je projectdoelen stellen?
Waar moet je op letten bij het stellen van projectdoelen?
Begin met het stellen van het hoofddoel. Denk na over de gewenste situatie. Formuleer dit doel Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden. Dan kan het doel sturend zijn voor het project. Ik heb een blog geschreven over SMART.
Vervolgens formuleer je subdoelen, door het hoofddoel op te delen in onderdelen die gedaan moeten worden. Elk onderdeel vormt één of meerdere subdoelen. Een subdoel kun je verder uitsplitsen in werkdoelen, mocht dit nodig zijn.
Meer informatie over het stellen van doelen voor een effectmeting
