De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.
Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.
Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.
Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.
Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen. Een goed instrument voor ex post evaluatie is een effectmeting.
Voor organisaties binnen dezelfde branche met vergelijkbare activiteiten (bijvoorbeeld musea of toneelgezelschappen) is het interessant om de kwaliteit van deze activiteiten met elkaar te vergelijken door middel van een benchmark. Hierdoor kun je van elkaar leren: Wat lukt de één wel en de ander niet? Daarnaast bepaal je gezamenlijk wat de criteria voor kwaliteit van jullie activiteiten bepaald; bijvoorbeeld een verandering in houding, bijdrage aan de creativiteit. Hiermee breng je een eenduidig en duidelijk geluid naar buiten over de kwaliteit die je biedt naar subsidiegevers en je publiek.
Een benchmark is een vergelijkend onderzoek waarbij de prestaties van organisaties, producten, diensten of programma’s op identieke wijze worden onderzocht en met elkaar worden vergeleken. Hoe de benchmark precies wordt ingericht is afhankelijk van de kwaliteitscriteria die gemeten worden. Als dit is vastgesteld worden alle organisaties, diensten, producten, activiteiten, programma’s op dezelfde manier gemeten en langs dezelfde meetlat gelegd. Als de vergelijking anoniem is, worden de verschillende organisaties, diensten, producten, activiteiten vergeleken met het gemiddelde. Als de vergelijking niet anoniem is, worden de organisaties naast elkaar gezet. Dan wordt duidelijk wie welke sterke punten heeft. Over deze sterke punten kunnen de verschillende organisaties dan van elkaar leren. Met een benchmark leer je dus welke kwaliteit jij biedt en wat vergelijkbare organisaties bieden. Dit helpt je ook om je beter te positioneren. Afhankelijk van hoe de benchmark is ingestoken, kun je zo leren wat jouw publiek bij jou komt halen. En hier vervolgens beter op inspelen.
Als je de benchmark zelf inricht met je collega-organisaties, bepalen jullie als sector wat de criteria voor kwaliteit is voor jullie producten. Is kwaliteit bepaald door het aantal bezoekers, het aantal uitvoeringen of door wat je bewerkstelligt bij je publiek? Door dit op te nemen in de benchmark beoordeel je je diensten en activiteiten op kwaliteitscriteria die jullie als sector belangrijk vinden.
Dit geeft je een interessant instrument in handen naar je subsidiegever en andere financiers. Zij stellen steeds vaker vragen over de kwaliteit die je biedt en de mate waarin je hierin je doel bereikt. Met zo’n benchmark heb je een instrument in handen waarmee je de kwaliteit die jouw organisatie biedt, kunt aantonen. Ook ten opzichte van andere organisaties. Wat jouw sterke punten zijn. En in hoeverre jij jouw doelen bereikt.
Een voorbeeld van een benchmark? Voor diverse science centra en de VSC heb ik een benchmark uitgevoerd Om de kwaliteit van hun binnenschoolse activiteiten te meten en met elkaar te vergelijken.
