Onze blog over procesevaluatie wordt veel gelezen. In een procesevaluatie draait het om hoe je samenwerkt en hoe het proces verloopt. Maar ook aan het begin van een project heb je belangrijke vragen. En tijdens of na afloop wil je weten wat het project heeft opgeleverd. Denk aan vragen als: Wat was de startsituatie? Welke aannames hadden we? Zijn die uitgekomen? Hebben we ons doel bereikt? En wie hebben we eigenlijk bereikt?
Een projectevaluatie helpt je om het resultaat goed te bekijken. Je ontdekt wat werkte, wat beter kon en wat je meeneemt naar een volgend project. Zo blijf je leren en verbeteren. Met deze checklist ontdek je welke vragen je kunt stellen bij de verschillende fases van een project.
Een goede voorbereiding is het halve werk. Stel daarom aan het begin van je project de juiste vragen. Zo breng je de situatie helder in beeld en voorkom je verrassingen.
• Hoe ziet de doelgroep eruit?
• Wat zijn de behoeften?
• Wat zijn actuele ontwikkelingen waar je op in wilt spelen?
• Wat zijn prioriteiten van stakeholders waar je rekening mee moet houden?
• Wat is de beginsituatie?
• Wat is de gewenste situatie en welke doelen vloeien hieruit voort?
• Wat zijn leerpunten van vorige projecten?
• Welk probleem wil je oplossen met het project?
• Wat is het meest geschikte instrument?
• Wat zijn de sterktes, zwaktes, kansen en bedreigingen? (SWOT)
Tijdens het project is het belangrijk om te checken of je nog op koers ligt. Door tussentijds te evalueren kun je bijsturen waar nodig.
Stel jezelf vragen als:
Na afloop kijk je terug:
Beantwoord deze vragen niet alleen met je projectteam. Vraag ook om input van de doelgroep, partners en andere betrokkenen. Zo krijg je een compleet beeld van het project.
In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:
Organisaties binnen de non-profit sector willen steeds vaker inzicht in hun doelbereik. Dit willen zij enerzijds om te achterhalen of zij met hun activiteiten bereiken wat ze willen bereiken (en zo nodig bij kunnen sturen). Anderzijds wordt vanuit de gemeente en andere subsidieverstrekkers meer gevraagd. Het wordt voor gemeenten namelijk steeds belangrijker om aan te tonen dat subsidies die verstrekt worden, daadwerkelijk bijdragen aan de doelen van de gemeente. Het gaat er dan meer om wat je bereikt en wat je bijdraagt aan het gezamenlijke doel, dan enkel rapporteren over wat je doet met bijbehorende cijfers.
Je wilt dan een monitor- en evaluatie instrument dat inzicht geeft in het bereik van je eigen doelen én de doelen van de gemeente. Door de (gezamenlijke) doelen te formuleren, deze te vertalen naar meetbare indicatoren én de juiste onderzoeksmethoden te kiezen, ontwerp je een meetinstrument, waarmee je data kunt verzamelen over je doelbereik.
Door een monitor- en evaluatie instrument op deze manier in te richten (op basis van de gezamenlijke doelen) verzamel je informatie waar je iets mee kunt. Het geeft zicht aan de bijdrage van jouw activiteiten aan de gezamenlijke doelen. Waarmee je kunt bijsturen indien nodig en verantwoording kunt afleggen aan subsidieverstrekkers en aan het publiek.
De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.
Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.
Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.
Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.
Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen. Een goed instrument voor ex post evaluatie is een effectmeting.
Containerbegrippen worden helaas vaak gebruikt. In een gesprek denk je beide over hetzelfde te hebben. Maar doe je dat ook? Ik vraag het mijn gesprekspartner. Talentontwikkeling is een onderwerp dat regelmatig aan bod komt. Maar talentontwikkeling heb ik je in alle kleuren van de regenboog. Gaat het over het ontwikkelen van toptalenten en deze naar grotere hoogtes brengen of gaat het over het ontdekken van je talenten (iedereen heeft namelijk talenten).
Helaas worden bij beleidsdoelstellingen steeds vaker containerbegrippen gebruikt. Hoe kun je dan kijken of je je beleidsdoelstellingen haalt? Of hoe je als gesubsidieerde organisatie voldoet aan de verwachtingen?
Voer een groepsgesprek met betrokkenen over wat het voor jullie betekent. Stel hierbij vragen als: wat betekent " " volgens jou? Wat valt er wel en wat valt er niet onder? Hoe zou je dit uitleggen aan een buitenstaander (bijvoorbeeld je moeder)? Discussieer door totdat het duidelijk en afgebakend is. Indien nodig voer je dit gesprek ook met je opdrachtgever, subsidiegever, wethouder.
Voorbeeld: kwaliteit van educatie kan bestaan uit verschillende punten:
Bekijk aan de hand van het geconcretiseerde begrippen hoe je dit kunt meten. Doe dit per onderdeel.
Voorbeeld: Je wilt weten of je met je educatieve programma kwaliteit biedt. Onderzoeksvragen die je stelt naar aanleiding van de eerder genoemde discussie-uitkomsten zijn:
Als je per onderdeel hebt bepaald hoe je de vraag kunt beantwoorden, ga je dit operationaliseren. Je maakt het meetbaar.
Voorbeeld:
Veel culturele instellingen ontwikkelen activiteiten op het gebied van cultuureducatie. Maar wat is de kwaliteit hiervan? Dit is voor de culturele instelling interessant om zo je kwaliteit te verbeteren. Maar dit is ook voor subsidiegevers interessant. Gemeenschapsgeld moet ten slotte doelmatig besteed worden.
De volgende vijf indicatoren zijn van belang bij het vaststellen en verbeteren van de kwaliteit van cultuureducatie:
Deze vijf indicatoren hangen samen. Dat betekent dat als je op een van deze punten je organisatie verbetert, andere punten zullen volgen. Door bijvoorbeeld projecten structureel te evalueren, zul je leren van projecten uit het verleden. Door je verbeterpunten te kennen (en er aan te werken), krijg je inzicht hoe je beter en met meer partijen kunt samenwerken (en hier meer profijt uit te halen), zal je bereik verbeteren (omdat je beter leert inspelen op behoeften, maar ook beter je (potentiele) cursisten leert bereiken).
Onlangs heb ik een artikel geschreven voor beleidsmedewerkers cultuur over deze vijf indicatoren voor cultuureducatie naar aanleiding van de analyse van de bis-aanvragen die ik heb gedaan voor het Ministerie van OCW en de Raad voor Cultuur.
Onlangs had ik een evaluatie met een opdrachtnemer welke anders liep dan ik gewend was. De persoon in kwestie had zich goed voorbereid en stak van wal. Ze vertelde wat volgens haar het doel van de evaluatie was, wat de mogelijkheden waren en wat er was bereikt. Wat ik ook probeerde, ze was niet van haar stuk te brengen. Na een half uur was haar monoloog afgerond en kreeg ik ruimte om te vertellen wat ik wilde met de evaluatie.
Het leermoment van deze evaluatie kwam uit een andere hoek dan verwacht. Ik heb namelijk weinig geleerd over het project dat we samen hebben gedaan of over onze manier van samenwerken. Wil je iets leren als persoon of als organisatie van evalueren, let dan op de volgende punten:
Hulp nodig bij een evaluatie? Lees hier hoe ik hierbij kan helpen
Erfgoededucatie wordt steeds belangrijker op school. Er worden steeds meer projecten en lessen aangeboden door velerlei verschillende aanbieders. Als school, als financier van erfgoed-educatieve projecten, maar ook als aanbieder wil je weten of een project goed is. Wanneer is het een goed project en lessenreeks?
1) Een project of lessenreeks moet een doel hebben. Wat wil je de leerlingen leren? Wil je ze kennis meegeven, vaardigheden aanleren of wil je ze laten nadenken en reflecteren op zaken uit het verleden? Verschillende leerdoelen vragen om verschillende werkvormen.
2) Daarnaast is de positie van educatie binnen de organisatie bepalend voor de kwaliteit die geboden wordt. Is het primaire doel van bijvoorbeeld een museum het delen van kennis en anderen laten leren over hun collectie, zal de kwaliteit van de educatie beter zijn dan van een museum die primair verzameld en binnenschoolse educatieve projecten verzorgt omdat het een verplichting is vanuit het ministerie.
3) De geboden leerstof moet aansluiten op het curriculum, deel uit maken van een doorgaande leerlijn op het gebied van erfgoed en verankerd zijn op school. Als het project los staat van de overige lesstof, zal het geleerde niet blijven hangen, omdat de leerlingen het niet kunnen verbinden met andere dingen die ze leren. Een project moet passen binnen de lesstof op school, maar ook voortbouwen op eerdere erfgoedlessen. Erfgoed moet ook verankerd zijn op school en daarmee een eigen plek hebben op school en binnen het curriculum. Binnen een lessenreeks passen ook bezoeken aan instellingen en expedities door de buurt. Deze moeten echter wel ingekaderd zijn in eerdere lessen en op gereflecteerd worden.
4) De kwaliteit van de inhoud wordt veelal ook bepaald door de deskundigheid van de educatoren en begeleiders. Ook de mate waarin de lesstof aansluit op het niveau van de leerlingen (denk aan taalgebruik) is bepalend voor de kwaliteit.
5) Een organisatie die erfgoededucatieve projecten en lessen organiseert, doet dit beter als ze hierbij samenwerken met anderen, zoals scholen, andere aanbieders in de buurt en tweedelijns instellingen. Samen kom je tot betere projecten dan alleen.
6) Ten slotte bieden evaluerende organisaties beter projecten. Door te evalueren leren zij van eerdere projecten en worden projecten steeds aangescherpt. Je kunt beter voortborduren op eerder opgedane ervaring en samen kijken wat hier aan verbeterd kan worden dan elke keer het wiel opnieuw uit te vinden of door gaan op een manier waarvan je niet weet of deze succesvol is. Bij evaluaties moet echter een duidelijk verschil gemaakt worden tussen leuk en leerzaam. Met een project dat alleen leuk is, leren de leerlingen niets en bereik je je doel niet.
Hulp nodig bij de uitvoering van een onderzoek? Lees hier wat ik voor je kan betekenen.
Steeds vaker hoor ik de roep om kwaliteit voor cultuureducatie. Zo ook op de conferentie ‘Wie doet wat?’ (26 augustus 2011 door Cultuurnetwerk Nederland en Kunstfactor). Volgens Piet Hagenaars (directeur Cultuurnetwerk Nederland) schort het momenteel aan kwaliteit van cultuureducatie op scholen en bezoekers waren het daar mee eens.
Dat kun je op verschillende manieren aanpakken. Je kunt naar doelen kijken van cultuureducatie en die vervolgens SMART formuleren en evalueren. Behaal je de doelen die je hebt gesteld? Cultuureducatie is enerzijds gericht zijn op toekomst cultuurdeelname (wat gemeten kan worden door gedragsvoorspellers zoals attitude te meten) en anderzijds op empowerment en (talent)ontwikkeling.
Om niet elk project aan een uitvoerig onderzoek te onderwerpen of het bijdraagt aan de toekomstige cultuurdeelname en empowerment van leerlingen, kan een keurmerk ontwikkeld worden. Met onderzoek waarbij gekeken wordt naar doelbereik, kunnen succesfactoren gedestilleerd worden. Aan de hand van deze kenmerken kan een keurmerk ontworpen worden samen met expert. Een kwaliteitskeurmerk. Bijvoorbeeld het inspelen op het niveau van de leerlingen op het gebied van de betreffende kunstdiscipline, integraliteit met andere vakken en ouderbetrokkenheid maken de kans op doelbereik groter. Met een keurmerk krijgen cultuurcoördinatoren bij scholen en gemeenten een instrument in handen dat ze helpt bij de keuze tussen verschillende projecten en aanbieders. Het geeft aanbieders een instrument in handen van belangrijke kenmerken die een project moet hebben.
Het vast stellen van kwaliteit kan cultuureducatieve instellingen op meerdere gebieden helpen. Allereerst wordt er kwaliteit geboden, wat belangrijk is voor de leerlingen en de scholen. Ook aan financiers kan aangetoond worden dat er een goed product wordt aangeboden. Voor overheden interessant, maar ook andere partners.
Andere partners dan de overheid worden steeds belangrijker voor de culturele sector. Instellingen moeten kijken naar hun publiek. Maar ook commerciële partijen worden belangrijker. Gekeken moet worden naar andere partijen die dezelfde belangen delen. Ook buiten de sector, bijvoorbeeld de sportsector als het dans betreft.
Hierbij hoort het formuleren van doelen en het afleggen van verantwoording. Hier kunnen het meten van effecten, evaluatie van projecten en het vaststellen en meten van kernpunten een bijdrage aan leveren.
Ben je cursist? Log hier in op de Academie voor Onderzoek
