Bij sommige organisaties is evalueren heel gewoon, anderen doen er niet aan. Dat kan om verschillende redenen zijn, zoals het spannend vinden om kritiek te krijgen, het ingewikkeld vinden of het te veel werk/gedoe te vinden. Wat zijn dan zes slimme stappen om het evalueren van projecten in te voeren?
Van evalueren kun je leren. Wat je leert is afhankelijk van wat je evalueert. Een aantal mogelijke leerpunten zijn:
Een procesevaluatie gericht is op de manier waarop je werkt en samenwerkt. Van een procesevaluatie profiteer je dus bij alle volgende projecten, maar ook bij doorlopende processen.
Wacht dus niet tot het project is afgelopen met nadenken over evalueren. Plan bij voorkeur al bij de opzet van je project een evaluatie. Op welke momenten wil je evalueren? En wat wil je dan weten. Zijn er bepaalde mijlpalen in het project waarop het slim is om te reflecteren op het verloop van het project? Als je hier bij aanvang over nadenkt, wordt het gemakkelijker deze na afloop te beantwoorden.
Over de verschillende fasen van het proces, kun je de volgende vragen stellen.
Beantwoord deze evaluatievragen samen met het projectteam en zo nodig met externe partijen. Concentreer je niet op wat er niet goed ging, maar op wat er wel goed ging. Mensen leren namelijk meer van successen dan van fouten.
Een zelfreflectie of evaluatie betekent onder andere dat je jezelf een spiegel voorhoudt om zo stil te staan bij hoe je werkt. Ik heb het al vaker gehad over waarom je evalueert. Een evaluatie brengt in kaart wat de resultaten en/of effecten van je project of proces zijn. Er worden succesfactoren en verbeterpunten genoemd. Waardoor je efficiënt en effectief actie kunt ondernemen. In dit blog ga ik in op wat een zelfreflectie nu eigenlijk betekent.
Zelfreflectie betekent dat je jezelf een spiegel voorhoudt. Je staat stil bij hoe je werkt door naar jezelf te kijken over een bepaalde periode. Je denkt daarbij na over de keuzes die je hebt gemaakt binnen je werk. Waarom heb ik het toen zo aangepakt? En waarom ging dit goed? Of juist minder goed? Ook sta je stil bij de vaardigheden je inzet. Waar ben ik goed in en wat kan er juist beter? Je stelt jezelf daarbij ook de vraag hoe je je daarbij voelde. Werd ik er blij van of juist niet? Vond ik het spannend? Zelfreflectie is een moment om kritisch naar jezelf te kijken om jezelf te verbeteren en te ontwikkeling.
Iedereen kan aan zelfreflectie doen en reflecteren kan op verschillende manieren. Op de werkvloer wordt geëvalueerd door middel van het maken van bijvoorbeeld persoonlijke ontwikkelplannen en het voeren van functioneringsgesprekken.
Op school wordt ook gereflecteerd. Leerlingen kunnen samen met de leerkracht evalueren. Dit kan zijn door middel van gesprekken, zelfreflectieformulieren of het bijhouden van een portfolio. Ook kan de leerkracht de leerling observeren. Als je meer wilt weten over evalueren in de klas, bekijk dan ons project voor Kunstbalie. Voor de cultuurloper zijn we een volginstrument aan het ontwerpen om de culturele ontwikkeling van de leerling te volgen/evalueren. Wil je hier meer over weten? Lees dan op deze pagina meer over dit project.
Het is zowel voor de deelnemers als voor de trainer achteraf fijn om te weten of het doel van een workshop is bereikt. Voor de deelnemers is het een terugblik naar wat zij geleerd hebben tijdens de workshop. Voor de trainer is het een moment van feedback. Door te evalueren komen succesfactoren en verbeterpunten boven tafel die de inhoud van de workshop kunnen verbeteren. Ik heb al veel evaluatieformulieren langs zien komen waarvan ik me afvraag wat er precies mee wordt gedaan, terwijl deelnemers de moeite nemen om ze in te vullen. Vaak zijn ze lang en kennen veel standaardvragen en algemene rapportcijfers.
Maar, evalueren kan ook op andere manieren, om de cursus leuk en luchtig af te sluiten. Omdat je bij deze vormen van evaluatie maar enkele vragen hebt, moet je goed nadenken over wat je wilt weten. Je hebt na afloop dan wel de informatie die je nodig hebt. Praktische informatie (was er voldoende catering? waren de toiletten schoon?) kun je ook achterhalen door zelf goed te kijken.
Na afloop van de workshop krijgt iedere deelnemer een ansichtkaart waarop hij/zij zijn/haar leerpunten schrijft. Ook vult iedereen zijn/haar naam op de ansichtkaart. De trainer neemt alle kaarten weer terug in en zorgt ervoor dat de deelnemers de kaart een paar weken na de workshop naar hen toegestuurd wordt. Op deze manier krijgen de deelnemers na een tijdje een reminder over wat zij geleerd hebben én kan de trainer nagaan of de deelnemers geleerd hebben wat hij/zij tijdens de training graag mee wilde geven.
De deelnemers schrijven op een A4’tje wat ze vandaag geleerd hebben. Ze maken hiervan een prop. Als de trainer het zegt mogen ze deze door de ruimte gooien. Dan pakt elke deelnemer een prop, vouwt deze open en schrijft of ze de doelen van vandaag behaald hebben. Er worden weer ballen van gemaakt en opnieuw als de docent het zegt door de klas gegooid. Dan pakt elke deelnemer weer een sneeuwbal, vouwt deze open en schrijft een tip op voor de inhoud van de les van vandaag. Er worden weer ballen van gemaakt en deze worden op het teken van de docent opnieuw door de klas gegooid.
Dan pakt elke deelnemer weer een sneeuwbal, vouwt deze open en schrijft een tip op voor de docent. Er worden weer ballen van gemaakt en nu worden alle sneeuwballen naar de docent gegooid.
Door deze werkvorm gaan deelnemers nog even bewust nadenken wat ze nu gedaan hebben, wat ze geleerd hebben en hoe ze dit kunnen toepassen. Een ander voordeel van deze vorm van evalueren is dat het anoniem is, waardoor deelnemers de vragen op een eerlijke manier beantwoorden
De evaluatiethermometer is een werkvorm om deelnemers uit te dagen hun vooruitgang tijdens de training concreet te beschrijven. Je vraagt de deelnemers hoe competent zij zich voelen t.a.v. het onderwerp van de training. Bijvoorbeeld: Welk cijfer geef jij jezelf nu als het gaat om het voeren van functioneringsgesprekken? De cursisten zetten een streepje in de thermometer, of nemen langs de thermometer op de wand een positie in. Deze evaluatiethermometer is het meest effectief als je ook aan het begin van de training de temperatuur opneemt. Dan valt er iets te vergelijken. De kern van de werkvorm zit in het gesprek dat volgt. De trainer daagt de cursisten uit om zo concreet mogelijk te verwoorden wat er aan het einde van de training anders is dan aan het begin. Doordat het een werkvorm is waarbij de deelnemers aangeven wat zij wél geleerd hebben en niet wat ze gemist hebben, sluit je de training altijd op een positieve manier af.
Door te stemmen krijg je snel een goed beeld over hoe de workshop in het algemeen is ontvangen en of cursisten ervaren dat hun doel is bereikt. Aan de hand van een paar stellingen laat je de groep stemmen met een groene (mee eens) en rode kaart (niet mee eens). Vraag een paar cursisten hun stemming toe te lichten. Doordat deze werkvorm niet anoniem is, maar juist heel direct kan het zijn dat deelnemers wat terughoudender de vragen beantwoorden.
Meer weten? Lees één van de volgende blogs:
In gesprekken met medewerkers van musea merk ik dat subsidiërende lokale overheden voornamelijk kijken naar bezoekersaantallen. Want dat is gemakkelijk meetbaar. Maar wat is het doel van deze gemeenten om het museum te subsidiëren? Steunt de gemeente het doel van het museum (mensen iets leren over of interesseren voor een bepaald onderwerp)? Wil de gemeente dat het museum bijdraagt aan de identiteit van de gemeente? Of wil de gemeente zo veel mogelijk bezoekers?
Door het doel dat je als gemeente hebt met een museum (of een andere culturele instelling) samen scherper te formuleren, kun je samen kijken wat er dan wel en wat niet valt onder de activiteiten die ontwikkeld moeten worden om dit doel te bereiken. Twee voorbeelden om te verduidelijken wat ik bedoel.
Eerste voorbeeld: een museum is onderdeel van de identiteit van een gemeente. Op het gebied van binnenschoolse cultuureducatie kan dit betekenen dat het museum samen met de school kijkt naar de geschiedenis van de gemeente of met de leerlingen op zoek gaat naar wat de burgers bindt in deze gemeente. Een museum kan in dit geval ook een bijdrage leveren aan themajaren en zich buiten de muren van het museum profileren.
Tweede voorbeeld: een museum wil mensen binnen de gemeente en daarbuiten interesseren voor een bepaald onderwerp, kunststroming of historische periode. Door niet afgerekend te worden op het aantal bezoekers aan de deur, kunnen ze ook naar de bezoekers toegaan door bijvoorbeeld met een mobiele tentoonstelling te staan op een drukke plaats, zoals het station, een winkelstraat of een ziekenhuis. Mensen die normaliter niet naar het museum komen, maken nu wel op een laagdrempelige manier kennis met het onderwerp, de kunststroming, een kunstenaar of een historische periode en het museum. Door het laagdrempelig en kleinschalig aanbieden van cultuur zullen mensen aangesproken worden die normaliter het museum niet zouden bezoeken. Zo worden nieuwe publieksgroepen iets geleerd over, geïnteresseerd voor een bepaald onderwerp. Wat ze moeilijker lukt als ze naar het museum gelokt moeten worden.
Ik begrijp dat het lastiger te meten is of een museum bijdraagt aan deze doelen, dan bezoekers te tellen. Maar het geeft het museum meer mogelijkheden om naar potentiele bezoekers toe te gaan door minder gebonden te zijn aan hun gebouw. Door elders kennis te maken met het museum gaan mensen het meer waarderen, komt er meer draagvlak en zullen er uiteindelijk meer bezoekers komen omdat niet alleen de bekendheid is toegenomen, maar ook de drempels om het museum te bezoeken verlaagd zijn.
Ps. En ook van deze doelen kan gemeten worden of ze gehaald worden.
Eén van onze meest gelezen blogs gaat over de vragen die je moet stellen bij een procesevaluatie. Zo’n evaluatie is gericht op de manier waarop je werkt en samen (hebt) gewerkt. Maar bij de start van het project heb je ook vragen en tussentijds en/of na afloop van een project wil je de effecten inzichtelijk maken: Wat is de beginsituatie? Welke aannames doen we en kloppen deze wel? Is het doel bereikt? In hoeverre is de doelgroep bereikt? Wat zijn de succesfactoren van het project? En wat zijn verbeterpunten? Bij een projectevaluatie houdt je het resultaat tegen het licht. Met deze informatie kun je het project en/of toekomstige projecten verbeteren. Vragen die je kunt stellen tijdens de verschillende fases van het project:
Beantwoord deze vragen binnen het projectteam, maar betrek ook andere partijen, zoals de doelgroep, samenwerkingspartners en andere stakeholders.
Click on the flag to read this article in English
De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.
Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.
Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.
Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.
Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen. Een goed instrument voor ex post evaluatie is een effectmeting.
Een evaluatie kan je goede handvatten geven om lopende of toekomstige projecten te verbeteren. Evalueren geeft namelijk informatie over jezelf, je organisatie én je project. De evaluatie brengt helder in kaart wat de resultaten van je project zijn. Daarbij kunnen de succesfactoren en verbeterpunten benoemd worden. Je kunt een lopend traject dan bijsturen en weet bij toekomstige projecten waar je aandachtspunten liggen.
Maar, om goed te kunnen evalueren moet je wel weten wat het doel is van je project. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten. Een doel is namelijk een gewenste situatie die je wilt bereiken. Een evaluatie laat zien hoe ver je bent. Zonder het formuleren van een doel is een evaluatie dus eigenlijk nietszeggend.
Zorg ervoor dat je doelen niet vaag en vrijblijvend geformuleerd worden, maar dat ze onder andere specifiek en meetbaar zijn. Methoden die je hierbij helpen zijn bijvoorbeeld SMART, PRISMA of RUMBA. Een goede formulering van je doelen maakt het evalueren makkelijker.
Evalueren zonder vooraf geformuleerde doelen heeft dus weinig zin. Evalueren op basis van vooraf gestelde doelen heeft daarentegen heel veel zin! Je komt dan te weten of je richting je doel aan het bewegen bent en kunt zo nodig bijsturen.
Onlangs had ik een evaluatie met een opdrachtnemer welke anders liep dan ik gewend was. De persoon in kwestie had zich goed voorbereid en stak van wal. Ze vertelde wat volgens haar het doel van de evaluatie was, wat de mogelijkheden waren en wat er was bereikt. Wat ik ook probeerde, ze was niet van haar stuk te brengen. Na een half uur was haar monoloog afgerond en kreeg ik ruimte om te vertellen wat ik wilde met de evaluatie.
Het leermoment van deze evaluatie kwam uit een andere hoek dan verwacht. Ik heb namelijk weinig geleerd over het project dat we samen hebben gedaan of over onze manier van samenwerken. Wil je iets leren als persoon of als organisatie van evalueren, let dan op de volgende punten:
Hulp nodig bij een evaluatie? Lees hier hoe ik hierbij kan helpen
