In een ander blog hebben we verteld wat EVI inhoudt en wat je er mee kunt doen. Wanneer een penvoerder van Cultuureducatie met Kwaliteit (CmK) ervoor heeft gekozen om er mee aan de slag te gaan zijn er een aantal zaken de uitgezocht moeten worden. Hierover hebben wij 7 tips om EVI in te voeren verzameld tijdens het doen van een onderzoek naar EVI en de invoering ervan.

Voor welke schaal kies je?

Deze tips zijn natuurlijk niet alleen voor het gebruiken van EVI, je zou ze ook bij andere meetinstrumenten kunnen gebruiken die je nieuw wilt gaan inzetten. Kijk dan welke tip van toepassing kan zijn voor je.

gelopen periode hebben we een aantal blogs geschreven over waar goed onderzoek aan moet voldoen. In deze blog brengen we deze criteria nog een keer kort onder de aandacht en verwijzen we naar de blogs per onderwerp.

Betrouwbaarheid

De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Meer info: wat betekent betrouwbaarheid?

Validiteit

De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag? Meer info: wat is validiteit?

Dat betrouwbaarheid en validiteit met elkaar samenhangen, blijkt uit onderstaand plaatje.

 

Representativiteit

Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie. Meer info: representativiteit: wat is het en hoe krijg je het?

Herhaalbaarheid

Het onderzoek moet herhaalbaar zijn op een ander tijdstip, met een andere onderzoeker, andere steekproef (wel dezelfde doelgroep) en onder andere omstandigheden.  Meer info: onderzoek moet herhaalbaar zijn

Objectiviteit

Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel. Meer info: objectief blijven bij kwalitatief onderzoek

Onafhankelijk

Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘. Meer info: onafhankelijk onderzoek wat is het?

De positionering van Probiblio

Probiblio wil zich beter positioneren als kennis- en netwerkorganisatie. De organisatie wil daarom goed gedefinieerde opgaven opstellen van waaruit de organisatie opereert, en eveneens het succes van deze opgaven monitoren. Om tot de opgaven te komen waar Probiblio zich voor inzet, zijn er werksessies met alle teammanagers van de verschillende afdelingen gehouden om tot de opgaven te komen. De definities van de opgaven zijn aangescherpt en vervolgens zijn er in kleinere comités succesfactoren aan de verschillende opgaven gekoppeld. In een volgende fase zal de programmering van Probiblio herzien worden aan de hand van de opgaven alsook de succesfactoren worden gemeten.

Lees meer:

Landelijke monitor cultuureducatie met kwaliteit (primair onderwijs)

Het Fonds voor Cultuurparticipatie wil samen met het ministerie van OCW graag weten wat de landelijke stand is van zaken rondom cultuureducatie in het primair onderwijs. Ze willen inzicht in het effect van de regeling Cultuureducatie met Kwaliteit, die zijn tweede periode ingaat (2017-2020). Wij voeren deze landelijke monitor samen met ResearchNed uit. De regeling Cultuureducatie met Kwaliteit is opgezet om binnenschoolse cultuureducatie te verbeteren. Culturele instellingen (penvoerders) worden aan basisscholen gekoppeld met het doel de cultuureducatie op die scholen te verbeteren door visieontwikkeling, invoering en verbetering van doorgaande leerlijnen, deskundigheidsbevordering van groepsleerkrachten en duurzame samenwerking met de culturele en sociale omgeving. In de monitor wordt ook gekeken naar andere subsidieregelingen binnen het programma Cultuureducatie met Kwaliteit, zoals de Impuls muziekonderwijs. Basisscholen door het hele land worden indien mogelijk met behulp van de penvoerders benaderd. Wij vragen ze twee keer een vragenlijst in te vullen om de stand van zaken met betrekking tot cultuureducatie op de school te achterhalen. Hierdoor wordt een landelijk beeld van de situatie geschetst. Door te kijken naar de verschillende regelingen waar een school aan meedoet en de ontwikkeling in tijd te bekijken, kunnen de effecten van deze regelingen gedestilleerd worden.

Lees meer:

In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:

Vitaliteit cultuursysteem in Noord-Brabant

De provincie Noord-Brabant wil graag weten hoe vitaal de culturele infrastructuur is om beleid aan te kunnen scherpen. Het Pon heeft ons gevraagd te helpen bij dit onderzoek naar de vitaliteit van de cultuursystemen in Noord-Brabant.

Op verzoek van de provincie is het cultuursysteem per discipline weergegeven in een piramide model. De piramide deelt het cultuursysteem op in acht lagen, van de top: professionals met (inter-)nationale erkenning via talentontwikkeling naar amateurkunst en cultuureducatie. Elke laag in de piramide is beoordeeld op een aantal indicatoren, waaronder aanwezigheid van voorzieningen, omvang, bereik en relaties binnen de keten.

Om inzicht te krijgen in de opbouw van de piramides per discipline zijn negen groepsgesprekken gevoerd met experts van de zeven disciplines en enkele aanvullende individuele gesprekken. Ook is er gebruik gemaakt van bestaande bronnen (eerdere onderzoeken, cijfers van CBS)  als ondersteunende data.
Met dit onderzoek kan de provincie weloverwogen beslissingen nemen over de in te zetten middelen en beter aan instellingen en Brabantse burgers verantwoorden.

Lees meer:

Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.

Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.

Met evalueren wordt het resultaat tegen het licht gehouden. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij worden de succesfactoren en de verbeterpunten benoemd. Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.

Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.

Wil jij ook inzichti in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!

Organisaties binnen de non-profit sector willen steeds vaker inzicht in hun doelbereik. Dit willen zij enerzijds om te achterhalen of zij met hun activiteiten bereiken wat ze willen bereiken (en zo nodig bij kunnen sturen). Anderzijds wordt vanuit de gemeente en andere subsidieverstrekkers meer gevraagd. Het wordt voor gemeenten namelijk steeds belangrijker om aan te tonen dat subsidies die verstrekt worden, daadwerkelijk  bijdragen aan de  doelen van de gemeente. Het gaat er dan meer om wat je bereikt en wat je bijdraagt aan het gezamenlijke doel, dan enkel rapporteren over wat je doet met bijbehorende cijfers.

Je wilt dan een monitor- en evaluatie instrument dat inzicht geeft in het bereik van je eigen doelen én de doelen van de gemeente. Door de (gezamenlijke) doelen te formuleren, deze te vertalen naar meetbare indicatoren én de juiste onderzoeksmethoden te kiezen, ontwerp je een meetinstrument, waarmee je data kunt verzamelen over je doelbereik.

Door een monitor- en evaluatie instrument op deze manier in te richten (op basis van de gezamenlijke doelen) verzamel je informatie waar je iets mee kunt. Het geeft zicht aan de bijdrage van jouw activiteiten aan de gezamenlijke doelen. Waarmee je kunt bijsturen indien nodig en verantwoording kunt afleggen aan subsidieverstrekkers en aan het publiek.

Doelbereik monitoren en evalueren

De Noord Oost Brabantse Bibliotheken (NOBB) wilde graag op een andere manier verantwoorden. Zij wilden bij hun verantwoording graag meer de nadruk leggen op hun eigen doelbereik én op het bereik van de doelen die de gemeente heeft met de subsidieverstrekking aan de bibliotheek. Het gaat dan niet over het aantal bibliotheekbezoekers en uitleningen, maar over wat de activiteiten van de bibliotheek teweeg brengen in de samenleving: Inwoners laten uitgaan van de eigen kracht, sturen op zelfredzaamheid en de vrije tijdsbesteding van inwoners aan kunst & cultuur vergroten.
Samen met NOBB en de gemeente Veghel ontwierp ik een monitor- en evaluatieinstrument die inzicht geeft in het bereik van deze doelen. Zowel de bibliotheken als de gemeente hebben aangegeven welke doelen zij wilden bereiken. Op basis van deze input maakte ik een meetinstrument, waarmee de bibliotheek data gingen verzamelen.

De uitkomsten konden door de bibliotheek worden gebruikt bij de verantwoording naar de gemeente, maar ook om hun activiteiten te verbeteren om hun eigen doelen te bereiken: zelfredzaamheid van burger, de vrije tijdsbesteding van inwoners aan kunst, cultuur, recreatie en toerisme vergroten en kennistoename bij burgers.

Lees meer:

De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.

Ex ante evaluatie

Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.

Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.

Ex durante evaluatie

Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.

Ex post evaluatie

Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen.  Een goed instrument voor ex post evaluatie is een effectmeting.

Monitor doelbereik

Continue inzicht in uw doelbereik

Monitoren op je missie

Een monitor systeem speciaal voor organisaties met een missie. Hiermee kunnen organisaties gestructureerd hun doelen bereiken en hun missie verwezenlijken. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je je doel efficiënter.

Monitoren: dat klinkt heel omslachtig en arbeidsintensief. Maar dat hoeft het niet te zijn. Je kunt een project vaak prima zelf monitoren als je de juiste instrumenten en informatie hebt. Wij helpen je hierbij!

Het resultaat                             

We leveren maatwerk. Samen gaan we aan de slag met het in kaart brengen van de doelen die je hebt voor jouw organisatie. We zetten hiermee een stip op de horizon waar je gestructureerd naar toe wilt gaan werken. We kijken hierbij wat je op de lange termijn wilt bereiken en formuleren dit concreet. Vervolgens zetten we een monitorsysteem voor je op dat past bij de geformuleerde doelen en jouw organisatie. Met dit monitor systeem kun je gericht groeien en bewegen naar die stip op de horizon.

Het monitor systeem bevat een kwartaalrapportage. Uit deze kwartaalrapportage volgt het plan voor het komend kwartaal met concrete actiepunten. De rapportage wordt op zo’n manier vormgegeven dat het gemakkelijk is gebruik.

 

[elementor-template id="6009"]

Lees meer:

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone