In een ander blog hebben we verteld wat EVI inhoudt en wat je er mee kunt doen. Wanneer een penvoerder van Cultuureducatie met Kwaliteit (CmK) ervoor heeft gekozen om er mee aan de slag te gaan zijn er een aantal zaken de uitgezocht moeten worden. Hierover hebben wij 7 tips om EVI in te voeren verzameld tijdens het doen van een onderzoek naar EVI en de invoering ervan.

Voor welke schaal kies je?

Deze tips zijn natuurlijk niet alleen voor het gebruiken van EVI, je zou ze ook bij andere meetinstrumenten kunnen gebruiken die je nieuw wilt gaan inzetten. Kijk dan welke tip van toepassing kan zijn voor je.

gelopen periode hebben we een aantal blogs geschreven over waar goed onderzoek aan moet voldoen. In deze blog brengen we deze criteria nog een keer kort onder de aandacht en verwijzen we naar de blogs per onderwerp.

Betrouwbaarheid

De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Meer info: wat betekent betrouwbaarheid?

Validiteit

De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag? Meer info: wat is validiteit?

Dat betrouwbaarheid en validiteit met elkaar samenhangen, blijkt uit onderstaand plaatje.

 

Representativiteit

Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie. Meer info: representativiteit: wat is het en hoe krijg je het?

Herhaalbaarheid

Het onderzoek moet herhaalbaar zijn op een ander tijdstip, met een andere onderzoeker, andere steekproef (wel dezelfde doelgroep) en onder andere omstandigheden.  Meer info: onderzoek moet herhaalbaar zijn

Objectiviteit

Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel. Meer info: objectief blijven bij kwalitatief onderzoek

Onafhankelijk

Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘. Meer info: onafhankelijk onderzoek wat is het?

In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:

Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.

Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.

Met evalueren wordt het resultaat tegen het licht gehouden. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij worden de succesfactoren en de verbeterpunten benoemd. Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.

Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.

Wil jij ook inzichti in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!

Organisaties binnen de non-profit sector willen steeds vaker inzicht in hun doelbereik. Dit willen zij enerzijds om te achterhalen of zij met hun activiteiten bereiken wat ze willen bereiken (en zo nodig bij kunnen sturen). Anderzijds wordt vanuit de gemeente en andere subsidieverstrekkers meer gevraagd. Het wordt voor gemeenten namelijk steeds belangrijker om aan te tonen dat subsidies die verstrekt worden, daadwerkelijk  bijdragen aan de  doelen van de gemeente. Het gaat er dan meer om wat je bereikt en wat je bijdraagt aan het gezamenlijke doel, dan enkel rapporteren over wat je doet met bijbehorende cijfers.

Je wilt dan een monitor- en evaluatie instrument dat inzicht geeft in het bereik van je eigen doelen én de doelen van de gemeente. Door de (gezamenlijke) doelen te formuleren, deze te vertalen naar meetbare indicatoren én de juiste onderzoeksmethoden te kiezen, ontwerp je een meetinstrument, waarmee je data kunt verzamelen over je doelbereik.

Door een monitor- en evaluatie instrument op deze manier in te richten (op basis van de gezamenlijke doelen) verzamel je informatie waar je iets mee kunt. Het geeft zicht aan de bijdrage van jouw activiteiten aan de gezamenlijke doelen. Waarmee je kunt bijsturen indien nodig en verantwoording kunt afleggen aan subsidieverstrekkers en aan het publiek.

Doelbereik monitoren en evalueren

De Noord Oost Brabantse Bibliotheken (NOBB) wilde graag op een andere manier verantwoorden. Zij wilden bij hun verantwoording graag meer de nadruk leggen op hun eigen doelbereik én op het bereik van de doelen die de gemeente heeft met de subsidieverstrekking aan de bibliotheek. Het gaat dan niet over het aantal bibliotheekbezoekers en uitleningen, maar over wat de activiteiten van de bibliotheek teweeg brengen in de samenleving: Inwoners laten uitgaan van de eigen kracht, sturen op zelfredzaamheid en de vrije tijdsbesteding van inwoners aan kunst & cultuur vergroten.
Samen met NOBB en de gemeente Veghel ontwierp ik een monitor- en evaluatieinstrument die inzicht geeft in het bereik van deze doelen. Zowel de bibliotheken als de gemeente hebben aangegeven welke doelen zij wilden bereiken. Op basis van deze input maakte ik een meetinstrument, waarmee de bibliotheek data gingen verzamelen.

De uitkomsten konden door de bibliotheek worden gebruikt bij de verantwoording naar de gemeente, maar ook om hun activiteiten te verbeteren om hun eigen doelen te bereiken: zelfredzaamheid van burger, de vrije tijdsbesteding van inwoners aan kunst, cultuur, recreatie en toerisme vergroten en kennistoename bij burgers.

Lees meer:

De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.

Ex ante evaluatie

Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.

Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.

Ex durante evaluatie

Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.

Ex post evaluatie

Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen.  Een goed instrument voor ex post evaluatie is een effectmeting.

Als organisatie wil je voortdurend zicht hebben op je doelbereik. Om dit inzicht te verkrijgen wil je als het ware een TomTom-systeem dat jouw organisatie de weg wijst. Je voert in waar je over een paar jaar wilt zijn en het systeem helpt je dit te bereiken.

Hiervoor moet je indicatoren vaststellen die informatie geven over je doelbereik. Een deel van deze indicatoren zouden kunnen bestaan uit meetbare items die automatisch worden gegenereerd. Ook indicatoren die moeilijker te meten zijn, zoals, zoals positieve bedrijfscultuur, verandering van houding van leerlingen en een betere samenwerking kunnen in dit monitorsysteem opgenomen worden.

Door dit monitoring systeem verzamel je meer gestructureerd informatie die je inzicht geeft of je de goede kant op gaat, net als een TomTom. Zit je op de juiste koers of moet je bijsturen? Komt het doel dichterbij?

Omdat je via dit monitoring systeem regelmatig feedback krijg over het bereik van je (sub)doelen, kun je gemakkelijk doelen en activiteiten voor de komende periode formuleren. Zo kom je stapje voor stapje dichter bij jouw stip op de horizon.

Wil je ook zo'n tomtom voor jouw organisatie, programma of project? Dat kan. Belangrijk hiervoor is het bepalen van de juiste indicatoren die vast stellen of je al dichter bij je stip op de horizon komt.

Ik deel graag mijn kennis en heb daarom een e-book geschreven: Tom Tom voor onderzoek. Je kunt mijn e-book downloaden door je in te schrijven voor de nieuwsbrief op de homepage.

Gemeenten stellen doelen, per beleidsterrein, maar ook steeds vaker overkoepelend. Het formuleren van doelen bij gemeenten is belangrijk, want het geeft je een ‘eindpunt’ om naar toe te bewegen. Je verschaft dan duidelijkheid over wat je als gemeente wilt bereiken. Het wordt inzichtelijk welke activiteiten, projecten en programma’s er moeten worden opgestart of doorontwikkeld om de doelen te bereiken. Daarnaast wordt ook duidelijk welke rol partners (gesubsidieerd of anderszins) hierin kunnen spelen.

Je stelt dus doelen om duidelijk te krijgen welke richting je als gemeente wilt volgen. Doelen geven je handvatten om de juiste koers te blijven varen en niet per beleidsterrein eigen keuzes te maken. Maar dan wil je ook weten in hoeverre je deze doelen aan het bereiken bent.

Om inzicht te krijgen in je doelbereik is het belangrijk om, naast het opstellen van doelen, ook te monitoren op deze doelen. Bepaal daarom bij het opstellen van je doelen ook indicatoren waaraan je daadwerkelijk kunt zien dat ze bereikt worden. Deze indicatoren zijn afgeleid van het doel, zodat je meet wat je wilt meten. Zorg er wel voor dat je na het opstellen van de doelen een eerste meting doet. Je wilt tenslotte de beginsituatie weten om te vergelijken.

Op deze manier ben je dan als gemeente bewust naar het eindpunt aan het bewegen. Krijg je inzicht in je doelbereik en weet je tijdig wanneer en waar er bijgestuurd moet worden. Je houdt gestructureerd zicht op je beleid, project of programma.

Meer weten over doelen bij gemeenten? Lees hier hoe wij de gemeente Middelburg hebben geholpen bij het formuleren van concrete doelen.  

Subsidiedoelen en meetbare indicatoren formuleren

Voor de beleidsmedewerkers van het sociale domein van de gemeente Roosendaal heb ik twee workshops gegeven om hen te helpen hun subsidieprocessen beter te stroomlijnen en beter zicht te krijgen op de effecten van het beleid en de bijbehorende subsidieafspraken. De eerste workshop ging over het formuleren van doelen, de tweede over het formuleren van indicatoren en mogelijkheden om deze meetbaar te maken.

Lees meer:

Begeleiding moneva kunst centraal

Kunst Centraal is een organisatie op het gebied van kunst- en cultuureducatie. Zij stimuleren de vraag naar en versterken het aanbod van cultuureducatie in de provincie Utrecht. Kunst Centraal doet mee met het landelijk programma 'Cultuureducatie met Kwaliteit' en heeft mij gevraagd hen te begeleiden bij hun moneva (monitoring & evaluatie).

De medewerkers van Kunst Centraal en Landschap Erfgoed Utrecht (partner bij het programma 'Cultuureducatie met Kwaliteit') hebben zelf de nulmeting van hun moneva uitgevoerd. Ik heb ze hierbij begeleid, richting gegeven, gecoacht zodat zij de verzamelde informatie om konden zetten in praktische beleidsinformatie waarmee zij hun programma kunnen voeden. Doordat ze het zelf hebben gedaan onder mijn begeleiding hebben ze nu een goede meting met nuttige informatie en kunnen ze het de volgende keer zelf.

Lees meer:

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 – 2024 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone