Monitoring en evaluatie wordt steeds vaker verplicht gesteld bij subsidieaanvragen. Dit wordt onder andere gedaan omdat monitoren en evalueren de aanvragers helpen zicht te houden op hun project en het bereiken van hun doel.

Monitoren = zicht houden op het projectverloop

Door een project te monitoren krijgt een projectleider inzicht in zijn project en weet tijdig wanneer en waar er bijgestuurd moet worden. Door stelselmatig, dus regelmatig, voor het project belangrijke feiten op een rijtje te zetten, houdt de projectleider grip op het project en is de kans groter dat het projectdoel gehaald wordt.

Dit kan zo uitgebreid en dus ook zo praktisch als nodig. Wetenschappelijke onderzoeken zijn hiervoor niet nodig. Ook vergelijkingen met andere soortgelijke projecten niet. (Het gaat ten slotte om het bereiken van jouw projectdoel en niet meer of iets anders te bereiken dan je collega-projectaanvragers). Wel is een duidelijk beeld over het te behalen doel nodig, welke subdoelen hier aan bijdragen en wat hiervoor gedaan moet worden. Dit leidt tot het meetbaar maken van je doel.

Meetbaar maken van je doel

Om je doel meetbaar te maken en dus een instrumentarium te krijgen dat je in kunt zetten om te monitoren moet je allereerst je doel duidelijk stellen. Hoe specifieker je dit doet, des te gemakkelijker wordt het dit meetbaar te maken. Splits je doel hiervoor op in subdoelen. En blijf doorvragen (wat, hoe, wanneer, hoeveel, waar). Vertaal container begrippen in concrete doelen en probeer hierbij niet te verzanden in overtreffende woorden (beter, meer), maar maak het specifiek. Stel je doel en subdoelen zo SMART mogelijk op.

Hoe kun je meten?

Als je je subdoelen hebt vastgesteld en je hebt hierbij in detail doorgevraagd, heb je enerzijds input voor je projectplan en anderzijds een aantal ijkpunten waarop je wilt monitoren. Per ijkpunt moet gekeken worden hoe je je dat gaat meten. Er zijn verschillende manieren van meten: gestructureerde gesprekken, vragenlijsten, documentstudie van aanwezig materiaal zijn enkele voorbeelden. Kun je het zelf doen, zoals het aantal scholen dat mee werkt of heb je hulp nodig. Omdat de subdoelen verschillen per project, is het lastig daar iets algemeens over te zeggen. Mocht je hier behoefte aan hebben, kijk ik graag een keer mee naar het projectplan, de doelen en subdoelen om samen te komen tot manieren waarop iets gemeten kan worden. Kijk ook naar mijn blog: tien tips voor het meten van effecten en enkele cases toegelicht in mijn blog over het meetbaar maken van effecten van projecten of programma.

Wanneer ga je meten?

De eerste meting is bij aanvang. Je wilt ten slotte de beginsituatie weten.

Vervolgens ga je naar behoeve gedurende het project meten. Dit kan halfjaarlijks of jaarlijks. De ijkpunten die je hebt gebruikt bij de eerste meting, ga je gedurende het project regelmatig vaststellen. Indien nodig kun je een informatiesysteem ontwerpen waarin de benodigde informatie op gezette tijden aangeleverd wordt. Je kunt hierbij denken aan halfjaarlijks terugkerende gesprekken met een vast structuur met betrokken partijen of aan het jaarlijks bestuderen van het beleidsplan van de school via een vast stramien.

Zorg er voor dat je telkens weer dezelfde soort informatie krijgt waardoor ontwikkeling zichtbaar is, maar ook die informatie waarop je kunt sturen.


[1] Enkele voorbeelden van vragen: Wat verstaan wij onder een doorgaande leerlijn? Hoe moet deze eruit zien? Wat is een relatie tussen school en culturele instelling (elkaars telefoonnummer hebben, op de hoogte zijn van het aanbod, regelmatig overleggen hoe het cultureel aanbod ingepast kan worden in het curriculum). Over hoeveel scholen gaat het? Wat is het deskundigheidsniveau van leerkrachten nu en wat zou het moeten zijn. Wat definieert het deskundigheidsniveau (inhoudelijke kennis, vaardigheid om cultuur te relateren aan andere lesstof).

Meer informatie over Monitoring

Een dashboard geeft snel inzicht in de huidige stand van zaken. Om deze gemakkelijk te lezen, moet deze wel op een goede manier zijn ingericht. Je wilt namelijk een makkelijk overzicht van data die wordt verzameld. Zelf maken we ook op verschillende vlakken gebruik van dashboards. Het geeft ons inzichten in diverse zaken waar we mee bezig zijn, denk hierbij aan een dashboard voor het bereik en conversie van onze marketingactiviteiten of de kosten en opbrengsten van projecten.

Relevante informatie

Bij het samenstellen van een dashboard kijken we als eerste welke informatie je wilt inzien en welke data je daarbij nodig hebt. Het is belangrijk om goed na te denken welke informatie relevant is. Je kunt wel alles willen zien in grafieken en tabellen, maar dat maakt het er niet overzichtelijker op. Het is juist belangrijk om alleen de relevante informatie te zien en op andere tabbladen de extra aanvullende informatie. Vaak kijk je steeds naar dezelfde informatie.

Ontwerpen

Om een ontwerp te maken voor je dashboard is het handig om met geeltjes aan te geven wat voor grafieken en tabellen je wilt in je dashboard. Vervolgens kun je kijken wat er past. Als alles een plekje heeft gekregen ga je het bouwen.

Handige filters

Wanneer een dashboard goed is ingesteld kun je er heel veel informatie uithalen. Zo kan er een tijdslijnfilter in staan waar je mee kunt spelen. Zo kun je alleen de informatie laten zien van een maand, een half jaar of juist een aantal maanden. Zeker voor rapportage kan het handig zijn om de informatie te selecteren van een bepaalde periode.

Door het gebruik van grafieken kun je het verloop zien van bijvoorbeeld acties of aantallen. Door maandelijks naar de grafieken te kijken kun je bijstellen waar nodig. Als er bijvoorbeeld ineens een dip in de aantallen zit kun je hier direct actie in ondernemen zodat het de volgende maand weer verbeterd.

In dashboard maken we graag gebruik van filters. Door filters kun je selecteren op een bepaalde doelgroep, een plaats of ander onderwerp dat je handig vind. Met deze filters kun je de grafieken aanpassen naar de informatie die op dat moment relevant voor je is.

Wil je graag dat we met je meedenken over het inrichten van een dashboard of wat het voor jouw organisatie kan betekenen? Lees het hier.

Instellingen die een subsidie of sponsoring ontvangen moeten daarvoor een verantwoording schrijven. In deze verantwoording moet informatie staan over de bezoekers: hoeveel bezoekers, waar komen ze vandaan en met name wat je bereikt bij bezoekers: de impact. Maar waar haal je die informatie vandaan? Met een bezoekersonderzoek kun je deze vragen beantwoorden.

Bezoekersonderzoek

In eerdere blogs hebben we geschreven over de verschillende vormen van een bezoekersonderzoek, maar ook wat het voor je kan betekenen. In het bezoekersonderzoek dat je afneemt tijdens of na afloop kun je vragen stellen die informatie geven die je nodig hebt voor je verantwoording. Denk hierbij aan de impact die je hebt gemaakt op je bezoekers. Heeft de activiteit of tentoonstelling het doel bereikt dat jullie van te voren in gedachten hadden? Informatie die jezelf graag wilt weten, maar ook voor je subsidiegever of sponsor handig zijn.

Impact meten

Er zijn verschillende manier om de impact te meten bij een activiteit. Je kunt gebruik maken van een uitgebreide vragenlijst met gesloten en (semi)open vragen. Echter krijg je dan geen diepzinnige antwoorden en weet je de gedachten erachter niet. Een goed alternatief zijn korte interviews. Een kort interviewvan maximaal 10 minuten met open vragen en ruimte om door te vragen. Op deze manier kun je veel bezoekers interviewen, maar heb je toch meer informatie van de bezoekers over de impact die de activiteit heeft gemaakt. Een andere manier is het doen van observaties. Door je bezoekers te observeren zie je gelijk hoe de bezoekers reageren op de activiteit. Doordat je de observaties bij meerdere bezoekers doet en steeds dezelfde activiteit observeert, kun je de informatie vergelijken en analyseren. Een goede manier om impact te meten is een combinatie van korte interviews en observaties. Zo kun je eerst zien hoe bezoekers reageren en daarna ze vragen stellen over de activiteit.

Ticketservice

Veel informatie over je bezoekers verzamel je al bij de verkoop van een kaartje. Zo kom je achter gegevens zoals woonplaats of iemand een kortingskaart heeft en eventueel de geboortedatum. Deze gegevens kun je goed gebruiken om te verantwoorden waar je bezoekers vandaan komen en welke doelgroep je aantrekt. Zo kun je bijvoorbeeld verantwoorden dat je een provinciale functie hebt. Een bezoekersonderzoek kun je dus niet alleen intern gebruiken voor bezoekersprofielen of voor de marketing. Het is zeer goed te gebruiken ter verantwoording voor subsidiegevers en gemeentes. Wij denken graag met je mee over een bezoekersonderzoek dat je voor meerdere doeleinden kunt gebruiken.

Veel instellingen verzamelen informatie over hun eigen bezoekers, maar doen er daarna niet veel mee. Ze kijken vaak naar de aantallen en wanneer het bezoek heeft plaatsgevonden. Maar ondertussen wordt er nog veel meer informatie verzameld waar je ontzettend veel mee kunt doen om jouw omzet te verhogen. Hoe vind je deze gegevens en wat kun je ermee? Wij leggen het je uit.

Het belang van bezoekersgegevens

Bezoekersgegevens kunnen je helpen bij de marketing en communicatie van je instelling en je leert waar je je fysieke marketing het beste in kunt zetten. Ook kun je zien of een bepaalde actie die je in een bepaalde regio hebt ingezet daar heeft geholpen. Misschien verwacht je wel dat er veel bezoekers uit de regio komen, maar word je door het analyseren van de gegevens juist verrast en komen de bezoekers van veel verder. Op die manier kun je gerichter actie ondernemen en een andere marketingstrategie toepassen.

Bezoekersgegevens met veel informatie tip #1 - Ticketservice

Uit een ticketservice kun je veel informatie halen. Zeker in tijden van de coronacrisis wordt er namelijk gevraagd om van tevoren te reserveren. Bij het reserveren worden er dan veel gegevens ingevuld zoals de woonplaats, leeftijd en geslacht. Ook registreer je meestal of de bezoeker een kortingskaart heeft.

Bezoekersgegevens met veel informatie tip #2 - Postcode

Met de postcode kan je achterhalen waar iemand vandaan komt. Zet de postcodes bijvoorbeeld in een databestand en achterhaal zo hoeveel bezoekers je instelling op een bepaalde dag had en waar ze vandaan komen. Dit kan op verschillende niveaus. Denk aan provincies, gemeenten of op wijkniveau

Bezoekersgegevens gebruiken

Bedenk dus goed welke gegevens je al hebt verzameld van je bezoekers en welke gegevens je nog wilt verzamelen. Realiseer je wat je ermee kan doen: je kunt er vaak veel meer mee dan je denkt.

Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.

Monitoren

Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.

Evalueren

Met evalueren hou je het resultaat tegen het licht. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij benoem je de succesfactoren en de verbeterpunten . Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.

Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.

Wil jij ook inzicht in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!

Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.

De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?

Als de subsidiegever het onderzoek verzorgt:

• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?

Subsidienemer:

• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.

Als je als sportvereniging of culturele instelling bewust met talentontwikkeling bezig bent, wil je natuurlijk ook weten of het effect heeft. Ontwikkelen de talenten hun vaardigheden zoals verwacht? Is het aanbod dat je als organisatie aanbiedt uitdagend voor talenten? Zorgen de aangeboden activiteiten ervoor dat de talenten verder komen? Sluit het aan op hun behoeften? Door het talentonwikkelingstraject te monitoren en evalueren krijg je antwoord op deze vragen.

Onlangs onderzochten wij voor het Fonds voor Cultuurparticipatie de impact van hun regeling voor talentontwikkeling. Hierbij zagen we dat organisaties binnen de culturele sector steeds meer gestructureerd bezig zijn om talenten zich tot hun volle potentie te laten ontwikkelen. Met alle aspecten die daarbij komen kijken. Deze talentontwikkeling wordt ook steeds vaker gemonitord: is het talent op de goede weg? Haalt hij/zij zijn/haar leerdoelen?

Ook binnen de sportsector is talentontwikkeling een hot item. Topsporters zijn onze nationale trots. Jonge talenten worden gescout, gecultiveerd en gemotiveerd. Er ontstaan steeds meer methoden en modellen om talent te ontwikkelen. Om te weten of deze talenten zich blijven ontwikkelen in de richting waarvoor gekozen is, is monitoring en evaluatie nodig.

Door het talentontwikkelingstraject te monitoren en evalueren krijg je inzicht in de effecten van het traject. Je weet dan of de doelen die je hebt voor talentontwikkeling bereikt worden en wat je kunt doen om bij te sturen. Maar ook of het plan voor het talent actueel blijft of dat er bij gestuurd moet worden. Door inzicht te krijgen in de effecten kun je het talent op een effectieve en efficiënte manier ontwikkelen: worden motorische basisvaardigheden echt beter? Wordt strategisch vermogen ontwikkeld?

Naast dat monitoren je helpt om het programma intern te verbeteren, kun je met deze informatie ook verantwoording afleggen aan subsidiegevers, de legitimiteit van het traject aantonen én draagvlak creëren.

Wil je weten wat de impact is van jouw talentontwikkelingsprogramma? Ik kan je helpen bij het ontwikkelen van een meetinstrument waarmee je de effecten inzichtelijk kunt maken. Neem contact op voor meer informatie.

In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:

Organisaties binnen de non-profit sector willen steeds vaker inzicht in hun doelbereik. Dit willen zij enerzijds om te achterhalen of zij met hun activiteiten bereiken wat ze willen bereiken (en zo nodig bij kunnen sturen). Anderzijds wordt vanuit de gemeente en andere subsidieverstrekkers meer gevraagd. Het wordt voor gemeenten namelijk steeds belangrijker om aan te tonen dat subsidies die verstrekt worden, daadwerkelijk  bijdragen aan de  doelen van de gemeente. Het gaat er dan meer om wat je bereikt en wat je bijdraagt aan het gezamenlijke doel, dan enkel rapporteren over wat je doet met bijbehorende cijfers.

Je wilt dan een monitor- en evaluatie instrument dat inzicht geeft in het bereik van je eigen doelen én de doelen van de gemeente. Door de (gezamenlijke) doelen te formuleren, deze te vertalen naar meetbare indicatoren én de juiste onderzoeksmethoden te kiezen, ontwerp je een meetinstrument, waarmee je data kunt verzamelen over je doelbereik.

Door een monitor- en evaluatie instrument op deze manier in te richten (op basis van de gezamenlijke doelen) verzamel je informatie waar je iets mee kunt. Het geeft zicht aan de bijdrage van jouw activiteiten aan de gezamenlijke doelen. Waarmee je kunt bijsturen indien nodig en verantwoording kunt afleggen aan subsidieverstrekkers en aan het publiek.

Als organisatie wil je voortdurend zicht hebben op je doelbereik. Om dit inzicht te verkrijgen wil je als het ware een TomTom-systeem dat jouw organisatie de weg wijst. Je voert in waar je over een paar jaar wilt zijn en het systeem helpt je dit te bereiken.

Hiervoor moet je indicatoren vaststellen die informatie geven over je doelbereik. Een deel van deze indicatoren zouden kunnen bestaan uit meetbare items die automatisch worden gegenereerd. Ook indicatoren die moeilijker te meten zijn, zoals, zoals positieve bedrijfscultuur, verandering van houding van leerlingen en een betere samenwerking kunnen in dit monitorsysteem opgenomen worden.

Door dit monitoring systeem verzamel je meer gestructureerd informatie die je inzicht geeft of je de goede kant op gaat, net als een TomTom. Zit je op de juiste koers of moet je bijsturen? Komt het doel dichterbij?

Omdat je via dit monitoring systeem regelmatig feedback krijg over het bereik van je (sub)doelen, kun je gemakkelijk doelen en activiteiten voor de komende periode formuleren. Zo kom je stapje voor stapje dichter bij jouw stip op de horizon.

Wil je ook zo'n tomtom voor jouw organisatie, programma of project? Dat kan. Belangrijk hiervoor is het bepalen van de juiste indicatoren die vast stellen of je al dichter bij je stip op de horizon komt.

Ik deel graag mijn kennis en heb daarom een e-book geschreven: Tom Tom voor onderzoek. Je kunt mijn e-book downloaden door je in te schrijven voor de nieuwsbrief op de homepage.

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 – 2024 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone