Evaluatie educatieprogramma Democratie en de Rechtsstaat

In schooljaar 2018-2019 heeft Provincie Flevoland het educatieprogramma Democratie en de Rechtsstaat opgezet, gericht op het basis-, voortgezet en beroepsonderwijs. Aanleiding was dat de provincie merkte dat de politiek en de overheid ver van jongeren af staan, zij weinig binding hebben met de provincie en weinig weten over de democratie, het politieke bestel en de rechtsstaat. In het programma Democratie en de Rechtsstaat hebben zij daarom allerlei soorten lessen opgezet die jongeren in aanraking brengen met de provinciale politiek en vormen van burgerschap.  Om te bepalen of het onderwijsprogramma een vervolg krijgt, hebben wij gemeten wat de effecten zijn geweest van het programma op het onderwijs, maar bovenal of er vanuit het onderwijs behoefte is dat de provincie onderwijsprogramma's aanbiedt. Daarvoor hebben we interviews afgelegd met docenten uit de verschillende vormen onderwijs, de programmamakers, Statenleden en de begeleidingscommissie. Naar aanleiding van deze gesprekken hebben we een rapportage kunnen uitbrengen die antwoorden en adviezen gaf op de vraag of het lesprogramma moet worden voortgezet. Daarnaast hebben we het programma intern geëvalueerd met Statenleden, organisatoren en uitvoerende partijen.

Lees meer:

Voorbereidingstraject evaluatie PMWP

Provinciale plannen worden geëvalueerd, halverwege en na afloop om zo te zorgen voor een goede uitvoering en meer bereik. Voor een goede evaluatie heb je de juiste evaluatievragen nodig. Het kan lastig zijn de juiste vragen op te halen en te formuleren. Zeker in een grote organisatie. Om het Provinciaal milieu en waterplan van de provincie Noord-Brabant goed voor te bereiden, heb ik de provincie geholpen bij het ophalen van evaluatievragen, het formuleren van deze vragen en het stellen van randvoorwaarden voor de evaluatie. Dit om na de evaluatie bruikbare informatie te hebben voor de verschillende clusters en haar samenwerkingspartners.  Hiervoor zijn bijeenkomsten met betrokken medewerkers en samenwerkingspartners gehouden, maar ook individuele gesprekken. Bij deze bijeenkomsten zijn we aan de slag gegaan met de mogelijkheden van evalueren en het inventariseren van de onderzoeksvragen en randvoorwaarden.

Lees meer:

1. Breng een heldere structuur aan in je manier van evalueren die je iedere keer op dezelfde manier toepast. Alleen dan kun je resultaten door de tijd heen vergelijken en kun je ze dus beter beoordelen. Ook als je alleen evalueert door te observeren, kun je een structuur aanbrengen. Vaak kijk je tijdens een activiteit rond en weet je of iets aanslaat of niet. Waar zie je dat aan? Waarschijnlijk let je op een aantal dingen, bijvoorbeeld of leerlingen geconcentreerd zijn, of ze vragen stellen, of … Schrijf eens op waar je op let zodat je een puntenlijstje krijgt wat je iedere keer kunt aflopen. Ook bij een informele gesprekken na een activiteit kun je vooraf helder opschrijven wat je elke keer zult vragen, zodat je gestructureerd steeds dezelfde informatie verzameld.
2. Betrek je collega's bij je evaluatie en vraag of zij op dezelfde punten willen letten. Daarmee kun je beter je bevindingen bespreken en als jij eens een keer niet aanwezig bent kunnen je collega's je evaluatie van je overnemen.
3. Leg je bevindingen vast ook als je alleen evalueert door achteraf na te praten. Schrijf dan op wat er uit kwam zodat je ook nu weer je bevindingen kunt vergelijken en bewaren. Probeer hierbij weer een heldere structuur aan te houden.
4. Als je evalueert door achteraf een aantal mensen te spreken, wees je er dan bewust van wie je spreekt. Zorg dat je niet alleen de enthousiastelingen of juist de herrieschoppers eruit pikt. En als je wilt weten waarom een school voor jouw aanbod heeft gekozen, kan het zijn dat het geen nut heeft met de docentbegeleiders die mee zijn te praten. Soms kiest de cultuurcoördinator van een school het aanbod, maar gaat hij/zij niet mee en is bij de voorstelling aanwezig die toch al niet naar toneel wilde en het vooral vervelend vindt dat zijn lesuren hierdoor zijn vervallen. Hij zal je niet kunnen vertellen waarom juist jouw aanbod is gekozen.
5. Misschien wel het belangrijkste aandachtspunt van allemaal, vraag dat wat je echt wilt weten. En daarbij hoort ook, vraag dus niet wat je eigenlijk niet nodig hebt of wilt weten of waar je toch niets mee gaat doen. Je hoeft helemaal niet alles te bevragen in een evaluatie, bespaar jezelf en de ander tijd door alleen dat te evalueren waar je nu echt mee aan de slag wilt.
6. Stap af van containerbegrippen, maar formuleer zo exact mogelijk.

Doen we de dingen goed? OF doen we de goede dingen? Twee vragen die sterk op elkaar lijken, maar die wel degelijk twee verschillende betekenissen hebben. Organisaties die evalueren stellen vaak de eerste vraag: Doen we de dingen goed? Er wordt dan kritisch gekeken naar de huidige activiteiten om ze in de toekomst te verbeteren. Dit is zinvol als je een kwaliteitsslag wil maken in je project. Maar wil je weten of je je doelen daadwerkelijk bereikt? Dan moet je de tweede vraag stellen: Doen we de goede dingen? Je wilt dan weten of de projecten en activiteiten bijdragen aan de geformuleerde doelen, niet of het losstaande project goed wordt uitgevoerd.

Om erachter te komen of je de goede dingen doet is het in de eerste plaats belangrijk om de doelen helder voor ogen te hebben. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten.

Vervolgens vertaal je deze doelen naar meetbare indicatoren (vergeet daarbij niet dat alles meetbaar is). Je kijkt vervolgens welke activiteit in welke mate bijdraagt aan je doelbereik. Zo krijg je inzicht in of je de goede dingen doet. Als je daarnaast verkent welke opties er nog meer zijn om je doelen te bereiken, krijg je inzicht in alternatieven en kun je kritisch kijken naar de mix van activiteiten die er zijn om je doel te bereiken.

De mysterie shopper is iedereen bekend: iemand die met een opdracht gaat winkelen of producten retourneren om te kijken hoe de ervaring is voor de klant en hoe medewerkers omgaan met klanten. Een variatie hierop is de mysterie bezoeker: iemand die zich voordoet als een alledaagse bezoeker en zo de gehele consumentenervaring registreert. Je kunt de mysterie bezoeker hierbij een extra opdracht meegeven, bijvoorbeeld een klacht. De mysteriebezoeker vult na afloop van het bezoek een vragenlijst in met criteria.

Je kiest voor een mysterie bezoeker als klantgerichtheid, de faciliteiten van je organisatie of commerciële vaardigheden van medewerkers wilt analyseren. Het doel is om op basis van de klantervaring te evalueren en waar mogelijk te verbeteren.

Een mysterie bezoeker kan verder gaan in het geven van zijn/haar ervaring en geeft geen sociaal wenselijke antwoorden. Bij echte bezoekers heb je wel het risico op sociaal wenselijke antwoorden. Een ander voordeel is dat je je bezoekers niet belast. Je bent dan ook niet afhankelijk van respondenten.

Tips

1. Zorg voor vooraf opgestelde scripts en observatieformulieren.
2. Bepaal goed welk aspect van de organisatie je wilt screenen: klantgerichtheid van de medewerkers, de aanwezige faciliteiten of consumentenproces?
3. Beslis vooraf of de mysterie bezoeker zich als een gemiddelde bezoeker voordoet omdat je een beeld wilt van de normale gang van zaken. Of wil je dat er moeilijke vragen gesteld worden, een probleem is om te testen hoe de organisatie daarop reageert.
4. Laat je beeld niet bepalen door één bezoeker of medewerker, maar door het grotere geheel.
5. Zet een mysterie bezoeker in die een objectief beeld kan schetsen over de organisatie.
6. Naast een fysiek bezoek, kun je mysteriebezoeker inzetten via andere vormen: telefoongesprek, e-mail en websiteanalyse.

Wil je de potentie van je project of organisatie vergroten? Maak dan een SWOT analyse waarbij je een overzicht maakt van de kansen, bedreigingen, sterktes en zwaktes van jouw project of organisatie. Aan de hand van deze punten kun je je project of organisatie versterken.

Wat is een SWOT analyse en wanneer pas je deze toe?

Een SWOT analyse (ook wel sterkte-zwakteanalyse genoemd) is van oorsprong een bedrijfskundig instrument dat je gebruikt om intern de sterktes en zwaktes en extern de kansen en bedreigingen van een organisatie of project in kaart te brengen. Binnen de bedrijfskunde wordt een SWOT analyse vaak gemaakt als onderdeel van een ondernemersplan of om de markpositie van een bedrijf te bepalen. Op basis van de uitkomsten van de analyse kun je als bedrijf vervolgens een passende strategie bepalen.

Je kunt het instrument daarnaast ook gebruiken om kritisch naar je project te kijken door de huidige stand van zaken binnen een project inzichtelijk te maken. Ga je op dezelfde koers verder of is het beter om eerst wijzigingen door te voeren?

Opbouw van een SWOT-analyse

Bij het opstellen van een sterkte-zwakteanalyse, doorloop je een aantal stappen waardoor je inzicht krijgt in de potentie van een project of organisatie. Deze stappen zijn:

1. Sterke en zwakke punten

Breng zowel de sterke als zwakke punten van je organisatie of project in kaart. Hierbij kijk je naar de interne elementen. Vragen die je bijvoorbeeld kan stellen zijn:

• Wat zijn de belangrijkste karakteristieke elementen van deze organisatie of dit project? En zijn dit sterke of juist zwakke punten.
• Waarom is dit project of deze organisatie beter dan een concurrerend project of organisatie? En wat is er beter aan concurreerde projecten of organisaties?

 2. Kansen en bedreigingen

Maak een overzicht van de ontwikkelingen, gebeurtenissen en invloeden waar je project of organisatie mee te maken kan krijgen. Dit zijn de externe elementen. Vragen die je hierbij kunnen helpen zijn:

• Welke mogelijke risico’s kun je identificeren voor het project of de organisatie?
• Zijn deze risico’s groot en kunnen ze de voortgang van je project of de groei van je organisatie belemmeren?
• Is er veel concurrentie van buitenaf die jouw project of organisatie negatief kan beïnvloeden?
• Wat zijn kansen waar je op in kan spelen?
• Hoe kun je nieuwe trends inzetten om jouw project of organisatie te verbeteren?
• Welke ontwikkelingen zijn er waar je gebruik van kunt maken?

 3. Confrontatiematrix

Als je zowel de externe als interne elementen in kaart hebt gebracht, ga je ze tegenover elkaar zetten in een confrontatiematrix (zie onderstaande afbeelding). De sterktes en zwaktes zet je in de bovenste rij en de kansen en bedreigingen in de onderste rij. Wanneer je dit gedaan hebt maak je een overzicht van de meest belangrijke kwesties.

 4. Strategieën

Ten slotte ga je de belangrijke kwesties omzetten in een strategie voor je project of organisatie. Zorg ervoor dat je gestelde doelen realistisch en haalbaar zijn zodat je er gelijk mee aan de slag kan.

Wil je meer weten over het evalueren van je project? Lees dan ook de blog: evalueren om je project te verbeteren.

Eén van onze meest gelezen blogs gaat over de vragen die je moet stellen bij een procesevaluatie. Zo’n evaluatie is gericht op de manier waarop je werkt en samen (hebt) gewerkt. Maar bij de start van het project heb je ook vragen en tussentijds en/of na afloop van een project wil je de effecten inzichtelijk maken: Wat is de beginsituatie? Welke aannames doen we en kloppen deze wel? Is het doel bereikt? In hoeverre is de doelgroep bereikt? Wat zijn de succesfactoren van het project? En wat zijn verbeterpunten? Bij een projectevaluatie houdt je het resultaat tegen het licht. Met deze informatie kun je het project en/of toekomstige projecten verbeteren. Vragen die je kunt stellen tijdens de verschillende fases van het project:

Projectevaluatie fase 1: Bij de start van het project

• Hoe ziet de doelgroep eruit?
• Wat zijn de behoeften?
• Wat zijn actuele ontwikkelingen waar je op in wilt spelen?
• Wat zijn prioriteiten van stakeholders waar je rekening mee moet houden?
• Wat is de beginsituatie?
• Wat is de gewenste situatie en welke doelen vloeien hieruit voort?
• Wat zijn leerpunten van vorige projecten?
• Welk probleem wil je oplossen met het project?
• Hoe doe je dat het beste?/Wat is het meest geschikte instrument?
• Wat zijn de kansen/mogelijkheden, bedreigingen, sterktes en zwaktes? (SWOT)

 Projectevaluatie fase 2: Tussentijds

• Wat is je doelbereik vergeleken met de beginsituatie? (onderzocht bij de start van
• de regeling)
• Welke effecten heeft het project tot nu toe?
• Welke aanpassingen moet je doen om je doelen beter te bereiken?
• Wat heb je tot nu toe geleerd van het project en waar kun je dat toepassen?

 Projectevaluatie fase 3: Na afloop van het project

• Wat is je doelbereik vergeleken met de beginsituatie en halverwege het project?
• Welke effecten heeft het project?
• Wat zijn succesfactoren van het project?
• Wat heb je geleerd van het project (verbeterpunten) en waar kun je dat toepassen?

Beantwoord deze vragen binnen het projectteam, maar betrek ook andere partijen, zoals de doelgroep, samenwerkingspartners en andere stakeholders.

Click on the flag to read this article in English

In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:

• Om de legitimiteit van je project, programma of activiteit aan te tonen. Door te monitoren en evalueren krijg je inzicht in de effecten van je project of programma. Met deze effecten kun je aantonen waarom jouw project of programma belangrijk is en dus de legitimiteit aantonen. Dit is belangrijk om zowel intern als extern draagvlak te creëren voor je project.
• Ter verantwoording van het project, programma of activiteit. Subsidieverstrekkers willen graag weten wat wordt gerealiseerd met het geld dat zij hebben verstrekt. Zij willen weten wat je bereikt en bijdraagt aan het gezamenlijke doel. De resultaten van monitoring en evalueren geven je de informatie in handen waarmee je kunt verantwoorden naar de gemeente of andere subsidieverstrekker.
• Ter verbetering van het project, programma of activiteit. Evalueren kun je ook doen om zelf te leren van je project, programma of activiteit. Je wilt dan tijdens het proces weten of je richting je doel aan het bewegen bent en of je bij moet sturen. Daarnaast krijg je door te monitoren en evalueren inzicht in je succes- en verbeterpunten. Hiermee kun je het huidige project verbeteren en/of de leerpunten meenemen naar een volgend project.
• Om besluitvorming te voeden. Monitoring en evaluatie geeft je essentiële informatie voor het nemen van beslissingen op een weloverwogen manier. Eerder genoemde succesfactoren kunnen factoren zijn die al binnen de organisatie aanwezig waren en waarop gefocust moet worden. Of dit kunnen nieuwe dingen zijn die door het project aan het licht zijn gekomen en die doorgevoerd moeten worden. Ten tweede geven de resultaten van je project inzicht in verbeterpunten. Je kunt dan bijsturen waar nodig.

Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.

Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.

Met evalueren wordt het resultaat tegen het licht gehouden. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij worden de succesfactoren en de verbeterpunten benoemd. Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.

Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.

Wil jij ook inzichti in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!

Als jongeren meedoen aan je sport programma of culturele activiteit, wil je achteraf weten wat ze ervan vonden. Met deze informatie kun je het project bijsturen en verbeteren. Je hebt dan een onderzoeksmethode nodig waar jongeren aan mee willen werken. Er zijn dan een aantal elementen die belangrijk zijn:

• Het moet weinig tijd kosten voor de jongeren.
• Het is gemakkelijk en laagdrempelig.
• Het is op een plek waar de jongeren zich bevinden.
• Het geeft de jongeren het gevoel dat ze serieus genomen worden.
• Er zit een beloning aan vast (cadeautje).

Ik noem er een paar onderzoeksmethoden die aan deze voorwaarden voldoen:

Scheurkaartjes

Met scheurkaartjes kun je in een korte tijd van veel jongeren weinig informatie verzamelen. Je geeft de jongeren na het project of activiteit een papiertje met een vraag/stelling erop. Door een scheurtje in het papiertje te maken geven zij aan het eens te zijn met de stelling of geven ze een cijfer op een schaal. Na de activiteit leveren ze het kaartje in bij de uitgang. Het kost voor de jongeren weinig tijd, het is gemakkelijk en zij hoeven niet speciaal ergens naartoe te gaan. Het is een methode om eerste reacties te pijlen. Je kunt namelijk maar een enkele vraag stellen. Meer informatie over de voor- en nadelen van scheurkaartjes vindt je in mijn blog over deze onderzoeksmethode.

Digitale vragenlijst (ter plekke) met enquêteur

Een andere geschikte onderzoeksmethode voor jongeren is een digitale vragenlijst die ter plekke afgenomen wordt, waarbij een enquêteur de vragen stelt en de antwoorden invult (bijvoorbeeld met een iPad). Deze methode kost meer tijd dan scheurkaartjes, maar het geeft wel de mogelijkheid om veel informatie te verzamelen. Het is voor de jongeren nog steeds gemakkelijk, zij hoeven zelf niets in te vullen. Ook bevindt je je op de plek waar de jongeren zijn. Door de jongeren na afloop een cadeautje te geven als bedankje vergroot je de kans dat ze meewerken.

Observeren

Een manier van onderzoeken waar je de jongeren nauwelijks belast is observeren. Het kost de jongeren geen tijd, je observeert werkelijk gedrag en je bent niet afhankelijk van respons. Door te observeren kun je veel informatie verzamelen. Je kunt echter enkel feitelijk gedrag observeren en geen motivaties achterhalen.

Interviews

Door middel van interviews kun je motivaties en diepgaande informatie achterhalen. Het is echter een methode die voor de jongeren veel tijd kost. Aan de andere kant voelen jongeren zich door middel van een interview onderdeel van iets, ze voelen zich serieus genomen. Dit motiveert hen om mee te werken. Ook bij deze onderzoeksmethode is het leuk om een cadeautje te geven als bedankje.

Meer weten over hoe je jongeren kunt bereiken? In een eerdere blog gaf ik al een aantal tips om toe te passen om jongeren te bereiken voor je activiteit.