Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.

De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?

Als de subsidiegever het onderzoek verzorgt:

• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?

Subsidienemer:

• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.

1. Breng een heldere structuur aan in je manier van evalueren die je iedere keer op dezelfde manier toepast. Alleen dan kun je resultaten door de tijd heen vergelijken en kun je ze dus beter beoordelen. Ook als je alleen evalueert door te observeren, kun je een structuur aanbrengen. Vaak kijk je tijdens een activiteit rond en weet je of iets aanslaat of niet. Waar zie je dat aan? Waarschijnlijk let je op een aantal dingen, bijvoorbeeld of leerlingen geconcentreerd zijn, of ze vragen stellen, of … Schrijf eens op waar je op let zodat je een puntenlijstje krijgt wat je iedere keer kunt aflopen. Ook bij een informele gesprekken na een activiteit kun je vooraf helder opschrijven wat je elke keer zult vragen, zodat je gestructureerd steeds dezelfde informatie verzameld.
2. Betrek je collega's bij je evaluatie en vraag of zij op dezelfde punten willen letten. Daarmee kun je beter je bevindingen bespreken en als jij eens een keer niet aanwezig bent kunnen je collega's je evaluatie van je overnemen.
3. Leg je bevindingen vast ook als je alleen evalueert door achteraf na te praten. Schrijf dan op wat er uit kwam zodat je ook nu weer je bevindingen kunt vergelijken en bewaren. Probeer hierbij weer een heldere structuur aan te houden.
4. Als je evalueert door achteraf een aantal mensen te spreken, wees je er dan bewust van wie je spreekt. Zorg dat je niet alleen de enthousiastelingen of juist de herrieschoppers eruit pikt. En als je wilt weten waarom een school voor jouw aanbod heeft gekozen, kan het zijn dat het geen nut heeft met de docentbegeleiders die mee zijn te praten. Soms kiest de cultuurcoördinator van een school het aanbod, maar gaat hij/zij niet mee en is bij de voorstelling aanwezig die toch al niet naar toneel wilde en het vooral vervelend vindt dat zijn lesuren hierdoor zijn vervallen. Hij zal je niet kunnen vertellen waarom juist jouw aanbod is gekozen.
5. Misschien wel het belangrijkste aandachtspunt van allemaal, vraag dat wat je echt wilt weten. En daarbij hoort ook, vraag dus niet wat je eigenlijk niet nodig hebt of wilt weten of waar je toch niets mee gaat doen. Je hoeft helemaal niet alles te bevragen in een evaluatie, bespaar jezelf en de ander tijd door alleen dat te evalueren waar je nu echt mee aan de slag wilt.
6. Stap af van containerbegrippen, maar formuleer zo exact mogelijk.

Eén van onze meest gelezen blogs gaat over de vragen die je moet stellen bij een procesevaluatie. Zo’n evaluatie is gericht op de manier waarop je werkt en samen (hebt) gewerkt. Maar bij de start van het project heb je ook vragen en tussentijds en/of na afloop van een project wil je de effecten inzichtelijk maken: Wat is de beginsituatie? Welke aannames doen we en kloppen deze wel? Is het doel bereikt? In hoeverre is de doelgroep bereikt? Wat zijn de succesfactoren van het project? En wat zijn verbeterpunten? Bij een projectevaluatie houdt je het resultaat tegen het licht. Met deze informatie kun je het project en/of toekomstige projecten verbeteren. Vragen die je kunt stellen tijdens de verschillende fases van het project:

Projectevaluatie fase 1: Bij de start van het project

• Hoe ziet de doelgroep eruit?
• Wat zijn de behoeften?
• Wat zijn actuele ontwikkelingen waar je op in wilt spelen?
• Wat zijn prioriteiten van stakeholders waar je rekening mee moet houden?
• Wat is de beginsituatie?
• Wat is de gewenste situatie en welke doelen vloeien hieruit voort?
• Wat zijn leerpunten van vorige projecten?
• Welk probleem wil je oplossen met het project?
• Hoe doe je dat het beste?/Wat is het meest geschikte instrument?
• Wat zijn de kansen/mogelijkheden, bedreigingen, sterktes en zwaktes? (SWOT)

 Projectevaluatie fase 2: Tussentijds

• Wat is je doelbereik vergeleken met de beginsituatie? (onderzocht bij de start van
• de regeling)
• Welke effecten heeft het project tot nu toe?
• Welke aanpassingen moet je doen om je doelen beter te bereiken?
• Wat heb je tot nu toe geleerd van het project en waar kun je dat toepassen?

 Projectevaluatie fase 3: Na afloop van het project

• Wat is je doelbereik vergeleken met de beginsituatie en halverwege het project?
• Welke effecten heeft het project?
• Wat zijn succesfactoren van het project?
• Wat heb je geleerd van het project (verbeterpunten) en waar kun je dat toepassen?

Beantwoord deze vragen binnen het projectteam, maar betrek ook andere partijen, zoals de doelgroep, samenwerkingspartners en andere stakeholders.

Click on the flag to read this article in English

In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:

• Om de legitimiteit van je project, programma of activiteit aan te tonen. Door te monitoren en evalueren krijg je inzicht in de effecten van je project of programma. Met deze effecten kun je aantonen waarom jouw project of programma belangrijk is en dus de legitimiteit aantonen. Dit is belangrijk om zowel intern als extern draagvlak te creëren voor je project.
• Ter verantwoording van het project, programma of activiteit. Subsidieverstrekkers willen graag weten wat wordt gerealiseerd met het geld dat zij hebben verstrekt. Zij willen weten wat je bereikt en bijdraagt aan het gezamenlijke doel. De resultaten van monitoring en evalueren geven je de informatie in handen waarmee je kunt verantwoorden naar de gemeente of andere subsidieverstrekker.
• Ter verbetering van het project, programma of activiteit. Evalueren kun je ook doen om zelf te leren van je project, programma of activiteit. Je wilt dan tijdens het proces weten of je richting je doel aan het bewegen bent en of je bij moet sturen. Daarnaast krijg je door te monitoren en evalueren inzicht in je succes- en verbeterpunten. Hiermee kun je het huidige project verbeteren en/of de leerpunten meenemen naar een volgend project.
• Om besluitvorming te voeden. Monitoring en evaluatie geeft je essentiële informatie voor het nemen van beslissingen op een weloverwogen manier. Eerder genoemde succesfactoren kunnen factoren zijn die al binnen de organisatie aanwezig waren en waarop gefocust moet worden. Of dit kunnen nieuwe dingen zijn die door het project aan het licht zijn gekomen en die doorgevoerd moeten worden. Ten tweede geven de resultaten van je project inzicht in verbeterpunten. Je kunt dan bijsturen waar nodig.

Organisaties binnen de non-profit sector willen steeds vaker inzicht in hun doelbereik. Dit willen zij enerzijds om te achterhalen of zij met hun activiteiten bereiken wat ze willen bereiken (en zo nodig bij kunnen sturen). Anderzijds wordt vanuit de gemeente en andere subsidieverstrekkers meer gevraagd. Het wordt voor gemeenten namelijk steeds belangrijker om aan te tonen dat subsidies die verstrekt worden, daadwerkelijk  bijdragen aan de  doelen van de gemeente. Het gaat er dan meer om wat je bereikt en wat je bijdraagt aan het gezamenlijke doel, dan enkel rapporteren over wat je doet met bijbehorende cijfers.

Je wilt dan een monitor- en evaluatie instrument dat inzicht geeft in het bereik van je eigen doelen én de doelen van de gemeente. Door de (gezamenlijke) doelen te formuleren, deze te vertalen naar meetbare indicatoren én de juiste onderzoeksmethoden te kiezen, ontwerp je een meetinstrument, waarmee je data kunt verzamelen over je doelbereik.

Door een monitor- en evaluatie instrument op deze manier in te richten (op basis van de gezamenlijke doelen) verzamel je informatie waar je iets mee kunt. Het geeft zicht aan de bijdrage van jouw activiteiten aan de gezamenlijke doelen. Waarmee je kunt bijsturen indien nodig en verantwoording kunt afleggen aan subsidieverstrekkers en aan het publiek.

De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.

Ex ante evaluatie

Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.

Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.

Ex durante evaluatie

Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.

Ex post evaluatie

Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen.  Een goed instrument voor ex post evaluatie is een effectmeting.

Een evaluatie kan je goede handvatten geven om lopende of toekomstige projecten te verbeteren. Evalueren geeft namelijk informatie over jezelf, je organisatie én je project. De evaluatie brengt helder in kaart wat de resultaten van je project zijn. Daarbij kunnen de succesfactoren en verbeterpunten benoemd worden. Je kunt een lopend traject dan bijsturen en weet bij toekomstige projecten waar je aandachtspunten liggen.

Maar, om goed te kunnen evalueren moet je wel weten wat het doel is van je project. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten. Een doel is namelijk een gewenste situatie die je wilt bereiken. Een evaluatie laat zien hoe ver je bent. Zonder het formuleren van een doel is een evaluatie dus eigenlijk nietszeggend.

Zorg ervoor dat je doelen niet vaag en vrijblijvend geformuleerd worden, maar dat ze onder andere specifiek en meetbaar zijn. Methoden die je hierbij helpen zijn bijvoorbeeld SMART, PRISMA of RUMBA. Een goede formulering van je doelen maakt het evalueren makkelijker.

Evalueren zonder vooraf geformuleerde doelen heeft dus weinig zin. Evalueren op basis van vooraf gestelde doelen heeft daarentegen heel veel zin! Je komt dan te weten of je richting je doel aan het bewegen bent en kunt zo nodig bijsturen.

Containerbegrippen worden helaas vaak gebruikt. In een gesprek denk je beide over hetzelfde te hebben. Maar doe je dat ook? Ik vraag het mijn gesprekspartner. Talentontwikkeling is een onderwerp dat regelmatig aan bod komt. Maar talentontwikkeling heb ik je in alle kleuren van de regenboog. Gaat het over het ontwikkelen van toptalenten en deze naar grotere hoogtes brengen of gaat het over het ontdekken van je talenten (iedereen heeft namelijk talenten).

Helaas worden bij beleidsdoelstellingen steeds vaker containerbegrippen gebruikt. Hoe kun je dan kijken of je je beleidsdoelstellingen haalt? Of hoe je als gesubsidieerde organisatie voldoet aan de verwachtingen?

Stap 1: Maak het containerbegrip concreet

Voer een groepsgesprek met betrokkenen over wat het voor jullie betekent. Stel hierbij vragen als: wat betekent " " volgens jou? Wat valt er wel en wat valt er niet onder? Hoe zou je dit uitleggen aan een buitenstaander (bijvoorbeeld je moeder)? Discussieer door totdat het duidelijk en afgebakend is. Indien nodig voer je dit gesprek ook met je opdrachtgever, subsidiegever, wethouder.

Voorbeeld: kwaliteit van educatie kan bestaan uit verschillende punten:

• Aansluiten op het begripsniveau van de leerlingen (niet te moeilijk, maar ook niet te gemakkelijk)
• Leerlingen weten na afloop meer over het onderwerp of hebben bepaalde specifieke kennis.
• Leerlingen hebben na afloop bepaalde vaardigheden opgedaan
• Leerlingen hebben na afloop een meer vragende houding

Stap 2: Stel vragen over je beleid aan de hand van het geconcretiseerde begrip

Bekijk aan de hand van het geconcretiseerde begrippen hoe je dit kunt meten. Doe dit per onderdeel.

Voorbeeld: Je wilt weten of je met je educatieve programma kwaliteit biedt. Onderzoeksvragen die je stelt naar aanleiding van de eerder genoemde discussie-uitkomsten zijn:

• Sluit het begripsniveau dat wij bieden, aan bij de leerlingen die we hebben?
• Hebben de leerlingen na afloop de kennis, vaardigheden opgedaan die we willen overbrengen?
• Hebben de leerlingen na afloop een meer vragende houding?

Stap 3: Dit splits je, indien nodig, uit naar deelvragen

Als je per onderdeel hebt bepaald hoe je de vraag kunt beantwoorden, ga je dit operationaliseren. Je maakt het meetbaar.

Voorbeeld:

• Begrijpen de leerlingen wat we ze proberen te leren? (lesstof is niet te moeilijk)
• Is de aangeboden lesstof uitdagend genoeg? (lesstof is niet te makkelijk)

Veel culturele instellingen ontwikkelen activiteiten op het gebied van cultuureducatie. Maar wat is de kwaliteit hiervan? Dit is voor de culturele instelling interessant om zo je kwaliteit te verbeteren. Maar dit is ook voor subsidiegevers interessant. Gemeenschapsgeld moet ten slotte doelmatig besteed worden.

De volgende vijf indicatoren zijn van belang bij het vaststellen en verbeteren van de kwaliteit van cultuureducatie:

1. Positie: In hoeverre is cultuureducatie geïntegreerd in de bedrijfsvoering en de organisatie? Zijn er bijvoorbeeld middelen (geld en manuren) gereserveerd voor cultuureducatie?
2. Samenwerking: Wordt er samen gewerkt met andere partijen? Wie zijn dit? En hoe ziet deze samenwerking er uit?
3. Bereik: Hoeveel mensen worden bereikt? En wie zijn dit? (leerlingen, volwassenen, mensen die veel of weinig aan cultuur doen)
4. Doelstelling: Waarom biedt een instelling cultuureducatieve instellingen? Wordt voornamelijk naar de eigen instelling gekeken (binnenhalen van meer bezoekers) of wordt er een breder doel nagestreefd zoals een bijdrage leveren aan cultureel burgerschap?
5. Evaluatie: Wordt er geëvalueerd? Leert een instelling van eerdere activiteiten? Hoe doen ze dit? Is dit structureel?

Deze vijf indicatoren hangen samen. Dat betekent dat als je op een van deze punten je organisatie verbetert, andere punten zullen volgen. Door bijvoorbeeld projecten structureel te evalueren, zul je leren van projecten uit het verleden. Door je verbeterpunten te kennen (en er aan te werken), krijg je inzicht hoe je beter en met meer partijen kunt samenwerken (en hier meer profijt uit te halen), zal je bereik verbeteren (omdat je beter leert inspelen op behoeften, maar ook beter je (potentiele) cursisten leert bereiken).

Onlangs heb ik een artikel geschreven voor beleidsmedewerkers cultuur over deze vijf indicatoren voor cultuureducatie naar aanleiding van de analyse van de bis-aanvragen die ik heb gedaan voor het Ministerie van OCW en de Raad voor Cultuur.

Onlangs had ik een evaluatie met een opdrachtnemer welke anders liep dan ik gewend was. De persoon in kwestie had zich goed voorbereid en stak van wal. Ze vertelde wat volgens haar het doel van de evaluatie was, wat de mogelijkheden waren en wat er was bereikt. Wat ik ook probeerde, ze was niet van haar stuk te brengen. Na een half uur was haar monoloog afgerond en kreeg ik ruimte om te vertellen wat ik wilde met de evaluatie.

Het leermoment van deze evaluatie kwam uit een andere hoek dan verwacht. Ik heb namelijk weinig geleerd over het project dat we samen hebben gedaan of over onze manier van samenwerken. Wil je iets leren als persoon of als organisatie van evalueren, let dan op de volgende punten:

• Zorg voor een gesprek, geen monologen. Luister naar elkaar en reageer op wat de ander zegt.
• Zorg voor een veilige sfeer, waarin mensen zich open en kwetsbaar op durven te stellen.
• Ga de ander niet de les lezen. Als je verwijten gaat maken, gaan mensen zich verdedigen en luisteren ze niet meer.
• Concentreer je op wat je zelf kunt leren en niet wat je vindt dat de ander moet leren. Dat neigt namelijk snel naar verwijten.
• Kijk naar alle aspecten, en concentreer je niet op goed of fout. Spreek van te voren ook samen af wat de onderwerpen zijn die je wilt bespreken.
• Het gaat om het proces, niet om wie er wat goed of niet goed deed.
• Maak gevoelige onderwerpen bespreekbaar. Anders blijft de olifant in de kamer zitten en laat hij zich de volgende keer weer zien.

 Hulp nodig bij een evaluatie? Lees hier hoe ik hierbij kan helpen