De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.

Ex ante evaluatie

Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.

Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.

Ex durante evaluatie

Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.

Ex post evaluatie

Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen.  Een goed instrument voor ex post evaluatie is een effectmeting.

Musea en science centra willen steeds vaker weten of het werkt wat ze doen. Het gaat dan niet over het hebben van zo veel mogelijk bezoekers, maar over de kwaliteit van hun (educatieve) programma. Wordt hun doel, namelijk het beïnvloeden van de interesse voor, de houding naar en de kennis over (bijvoorbeeld) natuur, cultuur, geschiedenis of wetenschap, bereikt? Deze doelen worden op verschillende manieren gemeten.

Eén manier is het houden van een enquête. Bezoekers worden dan schriftelijk bevraagd over hun ervaringen tijdens het bezoek. Omdat musea en science centra vaak niet de kennis (en tijd) in huis hebben over het doen van onderzoek, is het voor hen soms lastig om de juiste vragen te stellen en de resultaten te interpreteren. Wil je daadwerkelijk informatie waar je iets mee kunt, dan is het belangrijk om de juiste indicatoren te bepalen voor de enquête.

Naast de interne enquête worden er ook grootschalige internationale onderzoeken gedaan waar de science centra en musea aan mee kunnen doen. Ook kunnen afgeronde grootschalige onderzoeken dienen als informatiebron voor de musea.

Ook maken veel musea en science centra gebruik van RF-ID (identificatie met radiogolven) bij interactieve opstellingen om effecten te meten. Bezoekers kunnen dan (a.d.h.v. een armbandje) hun activiteiten opslaan en achteraf (online) terug zien wat ze hebben gedaan en hoe ze dit hebben gedaan. Dit is leuk voor de bezoeker, maar dient ook als input voor het museum of science center. Je kunt hier namelijk uithalen hoe lang bezoekers bij een opstelling blijven staan, hoeveel er gebruik van wordt gemaakt en of er meerdere keren gebruik van wordt gemaakt.

Een andere manier om te meten is het analyseren van handelingen van bezoekers op basis van filmopnames. Dit gebeurt vooral bij interactieve opstellingen. Aan de hand van bewegingen, gezichtsuitdrukkingen, handelingen en verblijfsduur wordt het leerpotentieel geanalyseerd.

Science centra en musea kunnen ook van elkaar leren. Door de kwaliteit van hun educatieve programma’s te meten en met elkaar te vergelijken kunnen ze leren van elkaars sterke en zwakke punten.

Dit is een benchmark. Voor de VSC en verschillende science centra hebben wij zo’n benchmark uitgevoerd.

Zo kun je met een gezamenlijk meetinstrument je kwaliteit aantonen én van elkaar leren.

Voor organisaties binnen dezelfde branche met vergelijkbare activiteiten is het interessant om de kwaliteit van deze activiteiten met elkaar te vergelijken door middel van een benchmark. Hierdoor kun je van elkaar leren: Wat lukt de één wel en de ander niet? Daarnaast bepaal je gezamenlijk wat de criteria voor kwaliteit van jullie activiteiten bepaald. Hiermee breng je een eenduidig en duidelijk geluid naar buiten over de kwaliteit die je biedt naar subsidiegevers en het publiek.

Wat is een benchmark?

Een benchmark is een vergelijkend onderzoek waarbij de prestaties van organisaties, producten, diensten of programma’s op identieke wijze worden onderzocht en met elkaar worden vergeleken. Hoe de benchmark precies wordt ingericht is afhankelijk van de kwaliteitscriteria die gemeten worden. De kwaliteitscriteria worden bepaald door de meewerkende organisaties en door ons vertaald in onderzoeksinstrumenten. Als de onderzoeksinstrumenten zijn vastgesteld, worden alle organisaties, diensten, producten, activiteiten, programma’s op dezelfde manier gemeten en langs dezelfde meetlat gelegd.

Zelf criteria bepalen

Als je de benchmark zelf inricht met je collega-organisaties, bepalen jullie als sector wat de criteria voor kwaliteit zijn voor jullie producten. Is kwaliteit bepaald door de manier van leren waar je op inzet, de gebruikte werkvormen of door wat je bewerkstelligt bij je publiek? Door dit op te nemen beoordeel je je diensten en activiteiten op kwaliteitscriteria die jullie als sector belangrijk vinden.

Het resultaat van een benchmark

Met een benchmark leer je welke kwaliteit jij biedt en wat vergelijkbare organisaties bieden. Dit helpt je ook om je beter te positioneren. Afhankelijk van hoe de benchmark is ingestoken, kun je zo leren wat jouw publiek bij jou komt halen. En hier vervolgens beter op inspelen. Het geeft je een interessant instrument in handen naar je subsidiegever en andere financiers. Met zo’n benchmark heb je een instrument in handen waarmee je de kwaliteit die jouw organisatie biedt, kunt aantonen. Ook ten opzichte van andere organisaties. Wat jouw sterke punten zijn. En in hoeverre jij jouw doelen bereikt

Voorbeelden van Benchmarking bij opdrachtgevers:

Meer informatie?

Wil jij samen met collega-organisaties een benchmark uitvoeren om je eigen kwaliteit aan te tonen én om van elkaar te leren? Vul dan onderstaand contactformulier in, dan maken we een (vrijblijvende) afspraak.

[contact-form-7 id="1296" title="Products"]

Voor organisaties binnen dezelfde branche met vergelijkbare activiteiten (bijvoorbeeld musea of toneelgezelschappen) is het interessant om de kwaliteit van deze activiteiten  met elkaar te vergelijken door middel van een benchmark. Hierdoor kun je van elkaar leren: Wat lukt de één wel en de ander niet? Daarnaast bepaal je gezamenlijk wat de criteria voor kwaliteit van jullie activiteiten bepaald; bijvoorbeeld een verandering in houding, bijdrage aan de creativiteit. Hiermee breng je een eenduidig en duidelijk geluid naar buiten over de kwaliteit die je biedt naar subsidiegevers en je publiek.

Een benchmark is een vergelijkend onderzoek waarbij de prestaties van organisaties, producten, diensten of programma’s op identieke wijze worden onderzocht en met elkaar worden vergeleken. Hoe de benchmark precies wordt ingericht is afhankelijk van de kwaliteitscriteria die gemeten worden. Als dit is vastgesteld worden alle organisaties, diensten, producten, activiteiten, programma’s op dezelfde manier gemeten en langs dezelfde  meetlat gelegd. Als de vergelijking anoniem is, worden de verschillende organisaties, diensten, producten, activiteiten vergeleken met het gemiddelde. Als de vergelijking niet anoniem is, worden de organisaties naast elkaar gezet. Dan wordt duidelijk wie welke sterke punten heeft. Over deze sterke punten kunnen de verschillende organisaties dan van elkaar leren.  Met een benchmark leer je dus welke kwaliteit jij biedt en wat vergelijkbare organisaties bieden. Dit helpt je ook om je beter te positioneren. Afhankelijk van hoe de benchmark is ingestoken, kun je zo leren wat jouw publiek bij jou komt halen. En hier vervolgens beter op inspelen.

Als je de benchmark zelf inricht met je collega-organisaties, bepalen jullie als sector wat de criteria voor kwaliteit is voor jullie producten. Is kwaliteit bepaald door het aantal bezoekers, het aantal uitvoeringen of door wat je bewerkstelligt bij je publiek? Door dit op te nemen in de benchmark beoordeel je je diensten en activiteiten op kwaliteitscriteria die jullie als sector belangrijk vinden.

Dit geeft je een interessant instrument in handen naar je subsidiegever en andere financiers. Zij stellen steeds vaker vragen over de kwaliteit die je biedt en de mate waarin je hierin je doel bereikt. Met zo’n benchmark heb je een instrument in handen waarmee je de kwaliteit die jouw organisatie biedt, kunt aantonen. Ook ten opzichte van andere organisaties. Wat jouw sterke punten zijn. En in hoeverre jij jouw doelen bereikt.

Een voorbeeld van een benchmark? Voor diverse science centra en de VSC heb ik een benchmark uitgevoerd Om de kwaliteit van hun binnenschoolse activiteiten te meten en met elkaar te vergelijken. 

benchmark zinvol

Benchmark: kwaliteit meten van educatieve activiteiten

Veel science centra en wetenschapsmusea organiseren en verzorgen educatieve activiteiten voor het onderwijs. Vanuit de science centra en de VSC is de vraag gekomen wat de kwaliteit is van deze activiteiten. Hoe verhoudt deze zich onderling? Waar vullen de science centra elkaar aan en waar beconcurreren ze elkaar? We hebben een meetinstrument ontwikkeld en uitgerold om de kwaliteit van allerlei educatieve activiteiten voor het onderwijs te meten. De kwaliteit wordt vervolgens van verschillende musea en science centra met elkaar vergeleken. De resultaten zijn gebruikt  om1) meer inzicht te krijgen in de kwaliteit en effecten van de activiteiten op basis waarvan keuzes gemaakt zijn over deze activiteiten (uitbreiden, wijzigen),2) antwoorden te geven aan financiers over deze activiteiten en3) zich beter te positioneren en zo profileren ten opzichte van elkaar.Dit laatste helpt scholen beter te kiezen aan de hand van hun wensen en doelen. De metingen hebben vaker plaatsgevonden. Na afloop van elke ronde (meten, analyseren, vergelijken en rapporteren) is een gezamenlijke sessie georganiseerd met de deelnemers om van elkaar te leren. Hierbij hebben deelnemers die op bepaalde onderdelen goed preseteren uitgelegd hoe zij het aanpassen.  Wil jij ook samen met collega-organisaties een benchmark uitvoeren om je eigen kwaliteit aan te tonen én om van elkaar te leren? Lees dan hier hoe ik je hierbij kan helpen.

Lees meer:

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone