Je start een project om iets te bereiken. Dan wil je na afloop weten of het is gelukt. Sterker: Gedurende het proces wil je weten of je richting je doel aan het bewegen bent en of je bij moet sturen.

Maar er zijn meer redenen waarom je de effecten van je project wilt meten. De effecten van het project geven je inzicht in je succes- en verbeterpunten en in je doelbereik.

De belangrijkste les die je van het inzicht in de effecten van een project kunt leren is of je het doel bereikt hebt. Heeft je project er daadwerkelijk voor gezorgd dat bijvoorbeeld je dichter bij het bereiken van de beleidsdoelen bent of dat leerlingen echt iets leren van het onderwijsproject? Als je op deze manier naar je resultaten kijkt, dan ben je aan het evalueren. Je houdt de resultaten tegen het licht en bekijkt of de doelen zijn bereikt. Heeft het project het beoogde effect geleverd?

Het inzicht in de effecten van je project geeft je essentiële informatie voor het nemen van beslissingen. Zo krijg je ten eerste inzicht in succesfactoren. Dit kunnen factoren zijn die al binnen de organisatie aanwezig waren en waarop gefocust moet worden. Of dit kunnen nieuwe dingen zijn die door het project aan het licht zijn gekomen en die doorgevoerd moeten worden. Ten tweede geven de resultaten van je project inzicht in verbeterpunten. Je kunt dan bijsturen waar nodig.

De leerpunten van het verkrijgen van inzicht in effecten van je project nog eens op een rijtje. Aan de hand van de gemeten effecten kun je:

 Wil je informatie over het meetbaar maken van de effecten van je project? Lees dan ook eens deze blog.

Een zelfreflectie of evaluatie betekent onder andere dat je jezelf een spiegel voorhoudt om zo stil te staan bij hoe je werkt. Ik heb het al vaker gehad over waarom je evalueert. Een evaluatie brengt in kaart wat de resultaten en/of effecten van je project of proces zijn. Er worden succesfactoren en verbeterpunten genoemd. Waardoor je efficiënt en effectief actie kunt ondernemen. In dit blog ga ik in op wat een zelfreflectie nu eigenlijk betekent.

Zelfreflectie betekent dat je jezelf een spiegel voorhoudt. Je staat stil bij hoe je werkt door naar jezelf te kijken over een bepaalde periode. Je denkt daarbij na over de keuzes die je hebt gemaakt binnen je werk. Waarom heb ik het toen zo aangepakt? En waarom ging dit goed? Of juist minder goed? Ook sta je stil bij de vaardigheden je inzet. Waar ben ik goed in en wat kan er juist beter? Je stelt jezelf daarbij ook de vraag hoe je je daarbij voelde. Werd ik er blij van of juist niet? Vond ik het spannend? Zelfreflectie is een moment om kritisch naar jezelf te kijken om jezelf te verbeteren en te ontwikkeling.

Iedereen kan aan zelfreflectie doen en reflecteren kan op verschillende manieren. Op de werkvloer wordt geëvalueerd door middel van het maken van bijvoorbeeld persoonlijke ontwikkelplannen en het voeren van functioneringsgesprekken.

Op school wordt ook gereflecteerd. Leerlingen kunnen samen met de leerkracht evalueren. Dit kan zijn door middel van gesprekken, zelfreflectieformulieren of het bijhouden van een portfolio. Ook kan de leerkracht de leerling observeren. Als je meer wilt weten over evalueren in de klas, bekijk dan ons project voor Kunstbalie. Voor de cultuurloper zijn we een volginstrument aan het ontwerpen om de culturele ontwikkeling van de leerling te volgen/evalueren.  Wil je hier meer over weten? Lees dan op deze pagina meer over dit project.

Een evaluatie kan je goede handvatten geven om lopende of toekomstige projecten te verbeteren. Evalueren geeft namelijk informatie over jezelf, je organisatie én je project. De evaluatie brengt helder in kaart wat de resultaten van je project zijn. Daarbij kunnen de succesfactoren en verbeterpunten benoemd worden. Je kunt een lopend traject dan bijsturen en weet bij toekomstige projecten waar je aandachtspunten liggen.

Maar, om goed te kunnen evalueren moet je wel weten wat het doel is van je project. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten. Een doel is namelijk een gewenste situatie die je wilt bereiken. Een evaluatie laat zien hoe ver je bent. Zonder het formuleren van een doel is een evaluatie dus eigenlijk nietszeggend.

Zorg ervoor dat je doelen niet vaag en vrijblijvend geformuleerd worden, maar dat ze onder andere specifiek en meetbaar zijn. Methoden die je hierbij helpen zijn bijvoorbeeld SMART, PRISMA of RUMBA. Een goede formulering van je doelen maakt het evalueren makkelijker.

Evalueren zonder vooraf geformuleerde doelen heeft dus weinig zin. Evalueren op basis van vooraf gestelde doelen heeft daarentegen heel veel zin! Je komt dan te weten of je richting je doel aan het bewegen bent en kunt zo nodig bijsturen.

Evalueersysteem dat geautomatiseerd rapporten maakt

Sien heeft in het kader van de regeling Cultuureducatie met Kwaliteit onder andere een marktplaats ingericht waar scholen hun vragen kunnen plaatsen en culturele instellingen kunnen hierop reageren. Maar hoe verloopt deze samenwerking? Begrijpen de scholen en de culturele instellingen elkaar? En wat kunnen anderen leren van afgeronde projecten?

Om scholen en culturele instellingen te helpen bij de evaluatie van de samenwerking en om leerpunten die interessant zijn om te delen met anderen er uit te pikken, wordt een evaluatieformulier ontworpen, welke digitaal automatisch geanalyseerd wordt. Door dit evalueersysteem wordt er automatisch regelmatig gerapporteerd over de samenwerkingen bij de medewerkers van Sien, komen knelpunten die aandacht nodig hebben naar voren en worden leerpunten gegenereerd ie vervolgens gedeeld kunnen worden.

Lees meer:

Begeleiding moneva kunst centraal

Kunst Centraal is een organisatie op het gebied van kunst- en cultuureducatie. Zij stimuleren de vraag naar en versterken het aanbod van cultuureducatie in de provincie Utrecht. Kunst Centraal doet mee met het landelijk programma 'Cultuureducatie met Kwaliteit' en heeft mij gevraagd hen te begeleiden bij hun moneva (monitoring & evaluatie).

De medewerkers van Kunst Centraal en Landschap Erfgoed Utrecht (partner bij het programma 'Cultuureducatie met Kwaliteit') hebben zelf de nulmeting van hun moneva uitgevoerd. Ik heb ze hierbij begeleid, richting gegeven, gecoacht zodat zij de verzamelde informatie om konden zetten in praktische beleidsinformatie waarmee zij hun programma kunnen voeden. Doordat ze het zelf hebben gedaan onder mijn begeleiding hebben ze nu een goede meting met nuttige informatie en kunnen ze het de volgende keer zelf.

Lees meer:

Om een goed beoordelingsinstrument te ontwikkelen is het belangrijk om de volgende stappen te doorlopen:

  1. Je geeft niet zomaar les, maar je wilt iets bereiken. Bepaal daarom het doel van de lessen: Wat wil je ze leren? Gebruik dit doel altijd als leidraad in de ontwikkeling van je beoordeling.
  2. Afhankelijk van de doelstelling die de beoordeling heeft, moet je bepalen of je summatief of formatief gaat beoordelen. Een summatieve beoordeling is gericht op een beoordeling van leerprestaties, leeruitkomsten of leerproducten aan het einde van het onderwijsleerproces. Een formatieve beoordeling is gericht op een tussentijdse vorm van evaluatie, waarbij het gaat om het identificeren van gebieden waar leerlingen extra uitleg en begeleiding nodig hebben.
  3. Het is belangrijk dat de criteria waar je op gaat beoordelen ‘voortvloeien’ uit het vooraf gestelde doel. Formuleer daarom de criteria aan de hand van het doel. Op deze manier meet je wat je wilt weten en kun je nagaan of je je doelen bereikt.
  4. Denk goed na over het niveau dat je verwacht dat de leerling presteert. Een beginner heeft een ander niveau en andere verwachtingen dan een gevorderde leerling.
  5. Het is van belang om te bepalen welke waardes je gaat toekennen in de beoordeling en wat deze waardes betekenen. Ga je beoordelen met een 10-puntschaal of beoordeel je door middel van ‘onvoldoende’, ‘voldoende’ of ‘goed’? En wat betekent het als een leerling een ‘7’ of een ‘goed’ scoort? Wat zegt dit over de prestatie van de leerling?

Tot slot zijn er een aantal voorwaarden waar het beoordelingsinstrument aan moet voldoen:

Hulp nodig bij het maken van een goede beoordeling? Neem contact op om te kijken wat ik voor je kan betekenen.

Containerbegrippen worden helaas vaak gebruikt. In een gesprek denk je beide over hetzelfde te hebben. Maar doe je dat ook? Ik vraag het mijn gesprekspartner. Talentontwikkeling is een onderwerp dat regelmatig aan bod komt. Maar talentontwikkeling heb ik je in alle kleuren van de regenboog. Gaat het over het ontwikkelen van toptalenten en deze naar grotere hoogtes brengen of gaat het over het ontdekken van je talenten (iedereen heeft namelijk talenten).

Helaas worden bij beleidsdoelstellingen steeds vaker containerbegrippen gebruikt. Hoe kun je dan kijken of je je beleidsdoelstellingen haalt? Of hoe je als gesubsidieerde organisatie voldoet aan de verwachtingen?

Stap 1: Maak het containerbegrip concreet

Voer een groepsgesprek met betrokkenen over wat het voor jullie betekent. Stel hierbij vragen als: wat betekent " " volgens jou? Wat valt er wel en wat valt er niet onder? Hoe zou je dit uitleggen aan een buitenstaander (bijvoorbeeld je moeder)? Discussieer door totdat het duidelijk en afgebakend is. Indien nodig voer je dit gesprek ook met je opdrachtgever, subsidiegever, wethouder.

Voorbeeld: kwaliteit van educatie kan bestaan uit verschillende punten:

containerbegrippen meetbaar maken

Stap 2: Stel vragen over je beleid aan de hand van het geconcretiseerde begrip

Bekijk aan de hand van het geconcretiseerde begrippen hoe je dit kunt meten. Doe dit per onderdeel.

Voorbeeld: Je wilt weten of je met je educatieve programma kwaliteit biedt. Onderzoeksvragen die je stelt naar aanleiding van de eerder genoemde discussie-uitkomsten zijn:

Stap 3: Dit splits je, indien nodig, uit naar deelvragen

Als je per onderdeel hebt bepaald hoe je de vraag kunt beantwoorden, ga je dit operationaliseren. Je maakt het meetbaar.

Voorbeeld:

Veel culturele instellingen ontwikkelen activiteiten op het gebied van cultuureducatie. Maar wat is de kwaliteit hiervan? Dit is voor de culturele instelling interessant om zo je kwaliteit te verbeteren. Maar dit is ook voor subsidiegevers interessant. Gemeenschapsgeld moet ten slotte doelmatig besteed worden.

De volgende vijf indicatoren zijn van belang bij het vaststellen en verbeteren van de kwaliteit van cultuureducatie:

  1. Positie: In hoeverre is cultuureducatie geïntegreerd in de bedrijfsvoering en de organisatie? Zijn er bijvoorbeeld middelen (geld en manuren) gereserveerd voor cultuureducatie?
  2. Samenwerking: Wordt er samen gewerkt met andere partijen? Wie zijn dit? En hoe ziet deze samenwerking er uit?
  3. Bereik: Hoeveel mensen worden bereikt? En wie zijn dit? (leerlingen, volwassenen, mensen die veel of weinig aan cultuur doen)
  4. Doelstelling: Waarom biedt een instelling cultuureducatieve instellingen? Wordt voornamelijk naar de eigen instelling gekeken (binnenhalen van meer bezoekers) of wordt er een breder doel nagestreefd zoals een bijdrage leveren aan cultureel burgerschap?
  5. Evaluatie: Wordt er geëvalueerd? Leert een instelling van eerdere activiteiten? Hoe doen ze dit? Is dit structureel?

Deze vijf indicatoren hangen samen. Dat betekent dat als je op een van deze punten je organisatie verbetert, andere punten zullen volgen. Door bijvoorbeeld projecten structureel te evalueren, zul je leren van projecten uit het verleden. Door je verbeterpunten te kennen (en er aan te werken), krijg je inzicht hoe je beter en met meer partijen kunt samenwerken (en hier meer profijt uit te halen), zal je bereik verbeteren (omdat je beter leert inspelen op behoeften, maar ook beter je (potentiele) cursisten leert bereiken).

Onlangs heb ik een artikel geschreven voor beleidsmedewerkers cultuur over deze vijf indicatoren voor cultuureducatie naar aanleiding van de analyse van de bis-aanvragen die ik heb gedaan voor het Ministerie van OCW en de Raad voor Cultuur.

De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij een kwantitatief onderzoek is de vraag bijvoorbeeld of voldoende respondenten de vragenlijst ingevuld hebben?

Het betrouwbaarheidspercentage geeft de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij een betrouwbaarheidspercentage van 95% is er 95% kans bij herhaling dat de antwoorden hetzelfde zullen zijn met andere respondenten binnen deze doelgroep. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.

Hoeveel respondenten nodig zijn, is afhankelijk van hoe groot de onderzoekspopulatie is. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel relatief een groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals foutenmarge*, de homogeniteit van de onderzoekspopulatie**. Hierbij gebruik ik de steekproefcalculator als leidraad en ga vervolgens aan de veilige kant zitten. Verder vind je in deze blog meer informatie over het trekken van een goede steekproef.

De betrouwbaarheid van onderzoek heeft er ook te maken of je de juiste mensen hebt gevraagd? Heb je alleen mensen gevraagd de vragenlijst in te vullen die je kent of waarvan je weet dat ze tevreden zijn? Of heb je willekeurig mensen geselecteerd. Let wel niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen er altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.

betrouwbaarheid

Wil je naast betrouwbaarheid ook meer weten over de validiteit van onderzoek? Lees dan ook mijn blog over validiteit.

Foutenmarge: 

Het percentage dat het antwoord kan afwijken van de werkelijkheid. Dit is bijvoorbeeld vergelijkbaar met de correctie op snelheidsmetingen. In de snelheidsmeting zit een mogelijke foutenmarge van 5%, waarvoor door CJIb altijd naar beneden wordt gecorrigeerd.

Homogeniteit van de onderzoekspopulatie:

De mate waarop de leden van de onderzoekspopulatie op elkaar lijken. Leerlingen die deelnemen aan een project verschillen bijvoorbeeld sterk van elkaar (ze zijn wel ongeveer even oud, maar verschillen sterk van mening) en zijn dus geen homogene onderzoekspopulatie. De steekproef kan dan beter groter getrokken worden. Daarentegen groepen die elkaar vrijwillig opzoeken en op dat onderwerp bevraagd worden, zullen homogener zijn. De meningen zullen minder extreem uiteen liggen. Dit biedt dan weer de mogelijkheid om gedetailleerder vragen te stellen.

Til je projectresultaten naar een hoger plan

Een evaluatie: dat klinkt misschien als mosterd na de maaltijd. Maar pak je het goed aan, dan geeft een evaluatie je uitstekende handvatten om lopende of toekomstige projecten naar een hoger plan te tillen. Want een evaluatie geeft je informatie over jezelf, je organisatie én je project. Drie aspecten die je kunt verbeteren, waardoor je betere resultaten bereikt. Wij helpen je op weg!

Vormen van evaluatie

Je kunt een evaluatie zowel tijdens als na afloop van een project laten uitvoeren. Aan de hand van jouw project of beleid kiezen we in overleg welke insteek de beste is. Daarbij maak je een keuze voor kwalitatief of kwantitatief onderzoek en voor project- of procesevaluatie. Wellicht wordt het ook een combinatie van beide.

1. Projectevaluatie
Hierbij houden we het resultaat tegen het licht. Is het doel bereikt? Levert dit het beoogde effect?  Resultaten zijn vaak cijfermatig meetbaar (meer omzet, hogere bezoekersaantallen), maar ook veranderingen in gedrag, houding of betrokkenheid zijn wel degelijk te meten.

2. Procesevaluatie
Hoe verliep het proces? Hoe zijn we hier gekomen? Wat ging er goed? Wat kan er beter?

Het resultaat van evaluatie

De evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij worden de succesfactoren en de verbeterpunten benoemd. Met die kennis én de praktische suggesties die we geven, bereik jij voortaan efficiënter je doelen. Je kunt een lopend traject bijsturen en weet bij toekomstige trajecten waar je aandachtspunten liggen.

Voorbeelden van evaluatie voor opdrachtgevers:

Toch liever zelf evalueren?

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone