Je start een project om iets te bereiken. Dan wil je na afloop weten of het is gelukt. Sterker: Gedurende het proces wil je weten of je richting je doel aan het bewegen bent en of je bij moet sturen.

Maar er zijn meer redenen waarom je de effecten van je project wilt meten. De effecten van het project geven je inzicht in je succes- en verbeterpunten en in je doelbereik.

De belangrijkste les die je van het inzicht in de effecten van een project kunt leren is of je het doel bereikt hebt. Heeft je project er daadwerkelijk voor gezorgd dat bijvoorbeeld je dichter bij het bereiken van de beleidsdoelen bent of dat leerlingen echt iets leren van het onderwijsproject? Als je op deze manier naar je resultaten kijkt, dan ben je aan het evalueren. Je houdt de resultaten tegen het licht en bekijkt of de doelen zijn bereikt. Heeft het project het beoogde effect geleverd?

Het inzicht in de effecten van je project geeft je essentiële informatie voor het nemen van beslissingen. Zo krijg je ten eerste inzicht in succesfactoren. Dit kunnen factoren zijn die al binnen de organisatie aanwezig waren en waarop gefocust moet worden. Of dit kunnen nieuwe dingen zijn die door het project aan het licht zijn gekomen en die doorgevoerd moeten worden. Ten tweede geven de resultaten van je project inzicht in verbeterpunten. Je kunt dan bijsturen waar nodig.

De leerpunten van het verkrijgen van inzicht in effecten van je project nog eens op een rijtje. Aan de hand van de gemeten effecten kun je:

 Wil je informatie over het meetbaar maken van de effecten van je project? Lees dan ook eens deze blog.

Een evaluatie kan je goede handvatten geven om lopende of toekomstige projecten te verbeteren. Evalueren geeft namelijk informatie over jezelf, je organisatie én je project. De evaluatie brengt helder in kaart wat de resultaten van je project zijn. Daarbij kunnen de succesfactoren en verbeterpunten benoemd worden. Je kunt een lopend traject dan bijsturen en weet bij toekomstige projecten waar je aandachtspunten liggen.

Maar, om goed te kunnen evalueren moet je wel weten wat het doel is van je project. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten. Een doel is namelijk een gewenste situatie die je wilt bereiken. Een evaluatie laat zien hoe ver je bent. Zonder het formuleren van een doel is een evaluatie dus eigenlijk nietszeggend.

Zorg ervoor dat je doelen niet vaag en vrijblijvend geformuleerd worden, maar dat ze onder andere specifiek en meetbaar zijn. Methoden die je hierbij helpen zijn bijvoorbeeld SMART, PRISMA of RUMBA. Een goede formulering van je doelen maakt het evalueren makkelijker.

Evalueren zonder vooraf geformuleerde doelen heeft dus weinig zin. Evalueren op basis van vooraf gestelde doelen heeft daarentegen heel veel zin! Je komt dan te weten of je richting je doel aan het bewegen bent en kunt zo nodig bijsturen.

Begeleiding moneva kunst centraal

Kunst Centraal is een organisatie op het gebied van kunst- en cultuureducatie. Zij stimuleren de vraag naar en versterken het aanbod van cultuureducatie in de provincie Utrecht. Kunst Centraal doet mee met het landelijk programma 'Cultuureducatie met Kwaliteit' en heeft mij gevraagd hen te begeleiden bij hun moneva (monitoring & evaluatie).

De medewerkers van Kunst Centraal en Landschap Erfgoed Utrecht (partner bij het programma 'Cultuureducatie met Kwaliteit') hebben zelf de nulmeting van hun moneva uitgevoerd. Ik heb ze hierbij begeleid, richting gegeven, gecoacht zodat zij de verzamelde informatie om konden zetten in praktische beleidsinformatie waarmee zij hun programma kunnen voeden. Doordat ze het zelf hebben gedaan onder mijn begeleiding hebben ze nu een goede meting met nuttige informatie en kunnen ze het de volgende keer zelf.

Lees meer:

Om een goed beoordelingsinstrument te ontwikkelen is het belangrijk om de volgende stappen te doorlopen:

  1. Je geeft niet zomaar les, maar je wilt iets bereiken. Bepaal daarom het doel van de lessen: Wat wil je ze leren? Gebruik dit doel altijd als leidraad in de ontwikkeling van je beoordeling.
  2. Afhankelijk van de doelstelling die de beoordeling heeft, moet je bepalen of je summatief of formatief gaat beoordelen. Een summatieve beoordeling is gericht op een beoordeling van leerprestaties, leeruitkomsten of leerproducten aan het einde van het onderwijsleerproces. Een formatieve beoordeling is gericht op een tussentijdse vorm van evaluatie, waarbij het gaat om het identificeren van gebieden waar leerlingen extra uitleg en begeleiding nodig hebben.
  3. Het is belangrijk dat de criteria waar je op gaat beoordelen ‘voortvloeien’ uit het vooraf gestelde doel. Formuleer daarom de criteria aan de hand van het doel. Op deze manier meet je wat je wilt weten en kun je nagaan of je je doelen bereikt.
  4. Denk goed na over het niveau dat je verwacht dat de leerling presteert. Een beginner heeft een ander niveau en andere verwachtingen dan een gevorderde leerling.
  5. Het is van belang om te bepalen welke waardes je gaat toekennen in de beoordeling en wat deze waardes betekenen. Ga je beoordelen met een 10-puntschaal of beoordeel je door middel van ‘onvoldoende’, ‘voldoende’ of ‘goed’? En wat betekent het als een leerling een ‘7’ of een ‘goed’ scoort? Wat zegt dit over de prestatie van de leerling?

Tot slot zijn er een aantal voorwaarden waar het beoordelingsinstrument aan moet voldoen:

Hulp nodig bij het maken van een goede beoordeling? Neem contact op om te kijken wat ik voor je kan betekenen.

Containerbegrippen worden helaas vaak gebruikt. In een gesprek denk je beide over hetzelfde te hebben. Maar doe je dat ook? Ik vraag het mijn gesprekspartner. Talentontwikkeling is een onderwerp dat regelmatig aan bod komt. Maar talentontwikkeling heb ik je in alle kleuren van de regenboog. Gaat het over het ontwikkelen van toptalenten en deze naar grotere hoogtes brengen of gaat het over het ontdekken van je talenten (iedereen heeft namelijk talenten).

Helaas worden bij beleidsdoelstellingen steeds vaker containerbegrippen gebruikt. Hoe kun je dan kijken of je je beleidsdoelstellingen haalt? Of hoe je als gesubsidieerde organisatie voldoet aan de verwachtingen?

Stap 1: Maak het containerbegrip concreet

Voer een groepsgesprek met betrokkenen over wat het voor jullie betekent. Stel hierbij vragen als: wat betekent " " volgens jou? Wat valt er wel en wat valt er niet onder? Hoe zou je dit uitleggen aan een buitenstaander (bijvoorbeeld je moeder)? Discussieer door totdat het duidelijk en afgebakend is. Indien nodig voer je dit gesprek ook met je opdrachtgever, subsidiegever, wethouder.

Voorbeeld: kwaliteit van educatie kan bestaan uit verschillende punten:

containerbegrippen meetbaar maken

Stap 2: Stel vragen over je beleid aan de hand van het geconcretiseerde begrip

Bekijk aan de hand van het geconcretiseerde begrippen hoe je dit kunt meten. Doe dit per onderdeel.

Voorbeeld: Je wilt weten of je met je educatieve programma kwaliteit biedt. Onderzoeksvragen die je stelt naar aanleiding van de eerder genoemde discussie-uitkomsten zijn:

Stap 3: Dit splits je, indien nodig, uit naar deelvragen

Als je per onderdeel hebt bepaald hoe je de vraag kunt beantwoorden, ga je dit operationaliseren. Je maakt het meetbaar.

Voorbeeld:

Veel culturele instellingen ontwikkelen activiteiten op het gebied van cultuureducatie. Maar wat is de kwaliteit hiervan? Dit is voor de culturele instelling interessant om zo je kwaliteit te verbeteren. Maar dit is ook voor subsidiegevers interessant. Gemeenschapsgeld moet ten slotte doelmatig besteed worden.

De volgende vijf indicatoren zijn van belang bij het vaststellen en verbeteren van de kwaliteit van cultuureducatie:

  1. Positie: In hoeverre is cultuureducatie geïntegreerd in de bedrijfsvoering en de organisatie? Zijn er bijvoorbeeld middelen (geld en manuren) gereserveerd voor cultuureducatie?
  2. Samenwerking: Wordt er samen gewerkt met andere partijen? Wie zijn dit? En hoe ziet deze samenwerking er uit?
  3. Bereik: Hoeveel mensen worden bereikt? En wie zijn dit? (leerlingen, volwassenen, mensen die veel of weinig aan cultuur doen)
  4. Doelstelling: Waarom biedt een instelling cultuureducatieve instellingen? Wordt voornamelijk naar de eigen instelling gekeken (binnenhalen van meer bezoekers) of wordt er een breder doel nagestreefd zoals een bijdrage leveren aan cultureel burgerschap?
  5. Evaluatie: Wordt er geëvalueerd? Leert een instelling van eerdere activiteiten? Hoe doen ze dit? Is dit structureel?

Deze vijf indicatoren hangen samen. Dat betekent dat als je op een van deze punten je organisatie verbetert, andere punten zullen volgen. Door bijvoorbeeld projecten structureel te evalueren, zul je leren van projecten uit het verleden. Door je verbeterpunten te kennen (en er aan te werken), krijg je inzicht hoe je beter en met meer partijen kunt samenwerken (en hier meer profijt uit te halen), zal je bereik verbeteren (omdat je beter leert inspelen op behoeften, maar ook beter je (potentiele) cursisten leert bereiken).

Onlangs heb ik een artikel geschreven voor beleidsmedewerkers cultuur over deze vijf indicatoren voor cultuureducatie naar aanleiding van de analyse van de bis-aanvragen die ik heb gedaan voor het Ministerie van OCW en de Raad voor Cultuur.

De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij een kwantitatief onderzoek is de vraag bijvoorbeeld of voldoende respondenten de vragenlijst ingevuld hebben?

Het betrouwbaarheidspercentage geeft de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij een betrouwbaarheidspercentage van 95% is er 95% kans bij herhaling dat de antwoorden hetzelfde zullen zijn met andere respondenten binnen deze doelgroep. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.

Hoeveel respondenten nodig zijn, is afhankelijk van hoe groot de onderzoekspopulatie is. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel relatief een groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals foutenmarge*, de homogeniteit van de onderzoekspopulatie**. Hierbij gebruik ik de steekproefcalculator als leidraad en ga vervolgens aan de veilige kant zitten. Verder vind je in deze blog meer informatie over het trekken van een goede steekproef.

De betrouwbaarheid van onderzoek heeft er ook te maken of je de juiste mensen hebt gevraagd? Heb je alleen mensen gevraagd de vragenlijst in te vullen die je kent of waarvan je weet dat ze tevreden zijn? Of heb je willekeurig mensen geselecteerd. Let wel niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen er altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.

betrouwbaarheid

Wil je naast betrouwbaarheid ook meer weten over de validiteit van onderzoek? Lees dan ook mijn blog over validiteit.

Foutenmarge: 

Het percentage dat het antwoord kan afwijken van de werkelijkheid. Dit is bijvoorbeeld vergelijkbaar met de correctie op snelheidsmetingen. In de snelheidsmeting zit een mogelijke foutenmarge van 5%, waarvoor door CJIb altijd naar beneden wordt gecorrigeerd.

Homogeniteit van de onderzoekspopulatie:

De mate waarop de leden van de onderzoekspopulatie op elkaar lijken. Leerlingen die deelnemen aan een project verschillen bijvoorbeeld sterk van elkaar (ze zijn wel ongeveer even oud, maar verschillen sterk van mening) en zijn dus geen homogene onderzoekspopulatie. De steekproef kan dan beter groter getrokken worden. Daarentegen groepen die elkaar vrijwillig opzoeken en op dat onderwerp bevraagd worden, zullen homogener zijn. De meningen zullen minder extreem uiteen liggen. Dit biedt dan weer de mogelijkheid om gedetailleerder vragen te stellen.

English flag Click on the flag to read this article in English

Onlangs had ik een evaluatie met een opdrachtnemer welke anders liep dan ik gewend was. De persoon in kwestie had zich goed voorbereid en stak van wal. Ze heeft haar verhaal vertelt: wat volgens haar het doel van de evaluatie was, wat de mogelijkheden waren en wat er was bereikt. Wat ik ook probeerde, ze was niet van haar stuk te brengen. Na een half uur was haar monoloog afgerond en kreeg ik ruimte om te vertellen wat ik wilde met de evaluatie.

Het leermoment van deze evaluatie kwam uit een andere hoek dan verwacht. Ik heb namelijk weinig geleerd over het project dat we samen hebben gedaan of over onze manier van samenwerken. Wil je iets leren als persoon of als organisatie van evalueren, let dan op de volgende punten:

 Hulp nodig bij een evaluatie? Lees hier hoe ik hierbij kan helpen

Erfgoededucatie wordt steeds belangrijker op school. Er worden steeds meer projecten en lessen aangeboden door velerlei verschillende aanbieders. Als school,  als financier van erfgoed-educatieve projecten, maar ook als aanbieder wil je weten of een project goed is. Wanneer is het een goed project en lessenreeks?

Organisatie

1)         Een project of lessenreeks moet een doel hebben. Wat wil je de leerlingen leren? Wil je ze kennis meegeven, vaardigheden aanleren of wil je ze laten nadenken en reflecteren op zaken uit het verleden? Verschillende leerdoelen vragen om verschillende werkvormen.

2)        Daarnaast is de positie van educatie binnen de organisatie bepalend voor de kwaliteit die geboden wordt. Is het primaire doel van bijvoorbeeld een museum het delen van kennis en anderen laten leren over hun collectie, zal de kwaliteit van de educatie beter zijn dan van een museum die primair verzameld en binnenschoolse educatieve projecten verzorgt omdat het een verplichting is vanuit het ministerie.

Inhoud

3)        De geboden leerstof moet aansluiten op het curriculum, deel uit maken van een doorgaande leerlijn op het gebied van erfgoed en verankerd zijn op school. Als het project los staat van de overige lesstof, zal het geleerde niet blijven hangen, omdat de leerlingen het niet kunnen verbinden met andere dingen die ze leren. Een project moet passen binnen de lesstof op school, maar ook voortbouwen op eerdere erfgoedlessen. Erfgoed moet ook verankerd zijn op school en daarmee een eigen plek hebben op school en binnen het curriculum. Binnen een lessenreeks passen ook bezoeken aan instellingen en expedities door de buurt. Deze moeten echter wel ingekaderd zijn in eerdere lessen en op gereflecteerd worden.

4)       De kwaliteit van de inhoud wordt veelal ook bepaald door de deskundigheid van de educatoren en begeleiders. Ook de mate waarin de lesstof aansluit op het niveau van de leerlingen (denk aan taalgebruik) is bepalend voor de kwaliteit.

Lerend vermogen van de organisatie

5)        Een organisatie die erfgoededucatieve projecten en lessen organiseert, doet dit beter als ze hierbij samenwerken met anderen, zoals scholen, andere aanbieders in de buurt en tweedelijns instellingen. Samen kom je tot betere projecten dan alleen.

6)        Ten slotte bieden evaluerende organisaties beter projecten. Door te evalueren leren zij van eerdere projecten en worden projecten steeds aangescherpt. Je kunt beter voortborduren op eerder opgedane ervaring en samen kijken wat hier aan verbeterd kan worden dan elke keer het wiel opnieuw uit te vinden of door gaan op een manier waarvan je niet weet of deze succesvol is. Bij evaluaties moet echter een duidelijk verschil  gemaakt worden tussen leuk en leerzaam. Met een project dat alleen leuk is, leren de leerlingen niets en bereik je je doel niet.

Hulp nodig bij de uitvoering van een onderzoek? Lees hier wat ik voor je kan betekenen.

Steeds vaker hoor ik de roep om kwaliteit voor cultuureducatie. Zo ook op de conferentie ‘Wie doet wat?’ (26 augustus 2011 door Cultuurnetwerk Nederland en Kunstfactor). Volgens Piet Hagenaars (directeur Cultuurnetwerk Nederland) schort het momenteel aan kwaliteit van cultuureducatie op scholen en bezoekers waren het daar mee eens.

Maar wat is kwaliteit? En kun je dat meetbaar maken?

Dat kun je op verschillende manieren aanpakken. Je kunt naar doelen kijken van cultuureducatie en die vervolgens SMART formuleren en evalueren. Behaal je de doelen die je hebt gesteld? Cultuureducatie is enerzijds gericht zijn op toekomst cultuurdeelname (wat gemeten kan worden door gedragsvoorspellers zoals attitude te meten) en anderzijds op empowerment en (talent)ontwikkeling.

Om niet elk project aan een uitvoerig onderzoek te onderwerpen of het bijdraagt aan de toekomstige cultuurdeelname en empowerment van leerlingen, kan een keurmerk ontwikkeld worden. Met onderzoek waarbij gekeken wordt naar doelbereik, kunnen succesfactoren gedestilleerd worden. Aan de hand van deze kenmerken kan een keurmerk ontworpen worden samen met expert. Een kwaliteitskeurmerk. Bijvoorbeeld het inspelen op het niveau van de leerlingen op het gebied van de betreffende kunstdiscipline, integraliteit met andere vakken en ouderbetrokkenheid maken de kans op doelbereik groter. Met een keurmerk krijgen cultuurcoördinatoren bij scholen en gemeenten een instrument in handen dat ze helpt bij de keuze tussen verschillende projecten en aanbieders. Het geeft aanbieders een instrument in handen van belangrijke kenmerken die een project moet hebben.

Het vast stellen van kwaliteit kan cultuureducatieve instellingen op meerdere gebieden helpen. Allereerst wordt er kwaliteit geboden, wat belangrijk is voor de leerlingen en de scholen. Ook aan financiers kan aangetoond worden dat er een goed product wordt aangeboden. Voor overheden interessant, maar ook andere partners.

Andere partners dan de overheid worden steeds belangrijker voor de culturele sector. Instellingen moeten kijken naar hun publiek. Maar ook commerciële partijen worden belangrijker. Gekeken moet worden naar andere partijen die dezelfde belangen delen. Ook buiten de sector, bijvoorbeeld de sportsector als het dans betreft.

Hierbij hoort het formuleren van doelen en het afleggen van verantwoording. Hier kunnen het meten van effecten, evaluatie van projecten en het vaststellen en meten van kernpunten een bijdrage aan leveren.

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 – 2024 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone