Onze blog over procesevaluatie wordt veel gelezen. In een procesevaluatie draait het om hoe je samenwerkt en hoe het proces verloopt. Maar ook aan het begin van een project heb je belangrijke vragen. En tijdens of na afloop wil je weten wat het project heeft opgeleverd. Denk aan vragen als: Wat was de startsituatie? Welke aannames hadden we? Zijn die uitgekomen? Hebben we ons doel bereikt? En wie hebben we eigenlijk bereikt?
Een projectevaluatie helpt je om het resultaat goed te bekijken. Je ontdekt wat werkte, wat beter kon en wat je meeneemt naar een volgend project. Zo blijf je leren en verbeteren. Met deze checklist ontdek je welke vragen je kunt stellen bij de verschillende fases van een project.
Een goede voorbereiding is het halve werk. Stel daarom aan het begin van je project de juiste vragen. Zo breng je de situatie helder in beeld en voorkom je verrassingen.
• Hoe ziet de doelgroep eruit?
• Wat zijn de behoeften?
• Wat zijn actuele ontwikkelingen waar je op in wilt spelen?
• Wat zijn prioriteiten van stakeholders waar je rekening mee moet houden?
• Wat is de beginsituatie?
• Wat is de gewenste situatie en welke doelen vloeien hieruit voort?
• Wat zijn leerpunten van vorige projecten?
• Welk probleem wil je oplossen met het project?
• Wat is het meest geschikte instrument?
• Wat zijn de sterktes, zwaktes, kansen en bedreigingen? (SWOT)
Tijdens het project is het belangrijk om te checken of je nog op koers ligt. Door tussentijds te evalueren kun je bijsturen waar nodig.
Stel jezelf vragen als:
Na afloop kijk je terug:
Beantwoord deze vragen niet alleen met je projectteam. Vraag ook om input van de doelgroep, partners en andere betrokkenen. Zo krijg je een compleet beeld van het project.
In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:
Wil je op een snelle manier kwantitatieve informatie verzamelen van een grote groep mensen? Dan kun je scheurkaartjes als onderzoeksmethode gebruiken. Het principe van scheurkaartjes werkt als volgt: Je geeft het publiek voor een voorstelling, tentoonstelling of andere activiteit een papiertje met een vraag/stelling erop. Door een scheurtje in het papiertje te maken geven zij aan het eens te zijn met de stelling of geven ze een cijfer op een schaal. Na de voorstelling, tentoonstelling of andere activiteit leveren ze het kaartje in bij de uitgang. Je kunt hierbij denken aan de filmbeoordelingen van IFFR.
Door gebruik te maken van scheurkaartjes kun je gemakkelijk en snel informatie van veel respondenten krijgen, waardoor je uitspraken kan doen over percentages en verhoudingen binnen de gehele onderzoeksgroep. Je hebt een hoge respons met scheurkaartjes omdat voor respondenten een kleine moeite is om na afloop van een voorstelling of tentoonstelling een kaartje in te scheuren. Daarbij blijven de respondenten ook anoniem.
Het werken met scheurkaartjes als onderzoeksmethode is geschikt als je een eerste reactie van de onderzoeksgroep wilt achterhalen. Je kunt ten slotte maar 1 of 2 vragen stellen. Ben je op zoek naar uitgebreidere informatie? Dan is het slimmer om te kiezen voor een vragenlijst. Wil je juist meer diepgaande informatie en achterliggende motivaties achterhalen? Dan is het houden van interviews wellicht een betere onderzoeksmethode.
De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.
Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.
Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.
Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.
Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen. Een goed instrument voor ex post evaluatie is een effectmeting.
Evalueren doe je niet om te evalueren. Je evalueert (tijdens en/of na afloop van een project) om iets te leren van je project, programma of activiteit. Vaak zien culturele instellingen het evalueren van hun activiteiten echter als een ding dat moet gebeuren, maar is de toegevoegde waarde ervan niet duidelijk. Evalueren is waardevol voor de interne organisatie, maar ook naar buiten toe (mits de goede vragen gesteld worden in de evaluatie). In dit blog geef ik een aantal redenen waarom evalueren meer is dan een administratieve afvinkoefening. Door te evalueren:
Hulp nodig bij evalueren? Ik kan je hierbij helpen!
Kunst Centraal is een organisatie op het gebied van kunst- en cultuureducatie. Zij stimuleren de vraag naar en versterken het aanbod van cultuureducatie in de provincie Utrecht. Kunst Centraal doet mee met het landelijk programma 'Cultuureducatie met Kwaliteit' en heeft mij gevraagd hen te begeleiden bij hun moneva (monitoring & evaluatie).
De medewerkers van Kunst Centraal en Landschap Erfgoed Utrecht (partner bij het programma 'Cultuureducatie met Kwaliteit') hebben zelf de nulmeting van hun moneva uitgevoerd. Ik heb ze hierbij begeleid, richting gegeven, gecoacht zodat zij de verzamelde informatie om konden zetten in praktische beleidsinformatie waarmee zij hun programma kunnen voeden. Doordat ze het zelf hebben gedaan onder mijn begeleiding hebben ze nu een goede meting met nuttige informatie en kunnen ze het de volgende keer zelf.
Om een goed beoordelingsinstrument te ontwikkelen is het belangrijk om de volgende stappen te doorlopen:
Tot slot zijn er een aantal voorwaarden waar het beoordelingsinstrument aan moet voldoen:
Hulp nodig bij het maken van een goede beoordeling? Neem contact op om te kijken wat ik voor je kan betekenen.
Containerbegrippen worden helaas vaak gebruikt. In een gesprek denk je beide over hetzelfde te hebben. Maar doe je dat ook? Ik vraag het mijn gesprekspartner. Talentontwikkeling is een onderwerp dat regelmatig aan bod komt. Maar talentontwikkeling heb ik je in alle kleuren van de regenboog. Gaat het over het ontwikkelen van toptalenten en deze naar grotere hoogtes brengen of gaat het over het ontdekken van je talenten (iedereen heeft namelijk talenten).
Helaas worden bij beleidsdoelstellingen steeds vaker containerbegrippen gebruikt. Hoe kun je dan kijken of je je beleidsdoelstellingen haalt? Of hoe je als gesubsidieerde organisatie voldoet aan de verwachtingen?
Voer een groepsgesprek met betrokkenen over wat het voor jullie betekent. Stel hierbij vragen als: wat betekent " " volgens jou? Wat valt er wel en wat valt er niet onder? Hoe zou je dit uitleggen aan een buitenstaander (bijvoorbeeld je moeder)? Discussieer door totdat het duidelijk en afgebakend is. Indien nodig voer je dit gesprek ook met je opdrachtgever, subsidiegever, wethouder.
Voorbeeld: kwaliteit van educatie kan bestaan uit verschillende punten:
Bekijk aan de hand van het geconcretiseerde begrippen hoe je dit kunt meten. Doe dit per onderdeel.
Voorbeeld: Je wilt weten of je met je educatieve programma kwaliteit biedt. Onderzoeksvragen die je stelt naar aanleiding van de eerder genoemde discussie-uitkomsten zijn:
Als je per onderdeel hebt bepaald hoe je de vraag kunt beantwoorden, ga je dit operationaliseren. Je maakt het meetbaar.
Voorbeeld:
De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij een kwantitatief onderzoek is de vraag bijvoorbeeld of voldoende respondenten de vragenlijst ingevuld hebben?
Het betrouwbaarheidspercentage geeft de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij een betrouwbaarheidspercentage van 95% is er 95% kans bij herhaling dat de antwoorden hetzelfde zullen zijn met andere respondenten binnen deze doelgroep. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.
Hoeveel respondenten nodig zijn, is afhankelijk van hoe groot de onderzoekspopulatie is. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel relatief een groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals foutenmarge*, de homogeniteit van de onderzoekspopulatie**. Hierbij gebruik ik de steekproefcalculator als leidraad en ga vervolgens aan de veilige kant zitten. Verder vind je in deze blog meer informatie over het trekken van een goede steekproef.
De betrouwbaarheid van onderzoek heeft er ook te maken of je de juiste mensen hebt gevraagd? Heb je alleen mensen gevraagd de vragenlijst in te vullen die je kent of waarvan je weet dat ze tevreden zijn? Of heb je willekeurig mensen geselecteerd. Let wel niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen er altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.
Wil je naast betrouwbaarheid ook meer weten over de validiteit van onderzoek? Lees dan ook mijn blog over validiteit.
Foutenmarge:
Het percentage dat het antwoord kan afwijken van de werkelijkheid. Dit is bijvoorbeeld vergelijkbaar met de correctie op snelheidsmetingen. In de snelheidsmeting zit een mogelijke foutenmarge van 5%, waarvoor door CJIb altijd naar beneden wordt gecorrigeerd.
Homogeniteit van de onderzoekspopulatie:
De mate waarop de leden van de onderzoekspopulatie op elkaar lijken. Leerlingen die deelnemen aan een project verschillen bijvoorbeeld sterk van elkaar (ze zijn wel ongeveer even oud, maar verschillen sterk van mening) en zijn dus geen homogene onderzoekspopulatie. De steekproef kan dan beter groter getrokken worden. Daarentegen groepen die elkaar vrijwillig opzoeken en op dat onderwerp bevraagd worden, zullen homogener zijn. De meningen zullen minder extreem uiteen liggen. Dit biedt dan weer de mogelijkheid om gedetailleerder vragen te stellen.
Click on the flag to read this article in English
Onlangs had ik een evaluatie met een opdrachtnemer welke anders liep dan ik gewend was. De persoon in kwestie had zich goed voorbereid en stak van wal. Ze vertelde wat volgens haar het doel van de evaluatie was, wat de mogelijkheden waren en wat er was bereikt. Wat ik ook probeerde, ze was niet van haar stuk te brengen. Na een half uur was haar monoloog afgerond en kreeg ik ruimte om te vertellen wat ik wilde met de evaluatie.
Het leermoment van deze evaluatie kwam uit een andere hoek dan verwacht. Ik heb namelijk weinig geleerd over het project dat we samen hebben gedaan of over onze manier van samenwerken. Wil je iets leren als persoon of als organisatie van evalueren, let dan op de volgende punten:
Hulp nodig bij een evaluatie? Lees hier hoe ik hierbij kan helpen
