In een ander blog hebben we verteld wat EVI inhoudt en wat je er mee kunt doen. Wanneer een penvoerder van Cultuureducatie met Kwaliteit (CmK) ervoor heeft gekozen om er mee aan de slag te gaan zijn er een aantal zaken de uitgezocht moeten worden. Hierover hebben wij 7 tips om EVI in te voeren verzameld tijdens het doen van een onderzoek naar EVI en de invoering ervan.
Deze tips zijn natuurlijk niet alleen voor het gebruiken van EVI, je zou ze ook bij andere meetinstrumenten kunnen gebruiken die je nieuw wilt gaan inzetten. Kijk dan welke tip van toepassing kan zijn voor je.
gelopen periode hebben we een aantal blogs geschreven over waar goed onderzoek aan moet voldoen. In deze blog brengen we deze criteria nog een keer kort onder de aandacht en verwijzen we naar de blogs per onderwerp.
De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Meer info: wat betekent betrouwbaarheid?
De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag? Meer info: wat is validiteit?
Dat betrouwbaarheid en validiteit met elkaar samenhangen, blijkt uit onderstaand plaatje.
Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie. Meer info: representativiteit: wat is het en hoe krijg je het?
Het onderzoek moet herhaalbaar zijn op een ander tijdstip, met een andere onderzoeker, andere steekproef (wel dezelfde doelgroep) en onder andere omstandigheden. Meer info: onderzoek moet herhaalbaar zijn
Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel. Meer info: objectief blijven bij kwalitatief onderzoek
Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘. Meer info: onafhankelijk onderzoek wat is het?
Wanneer je bekend bent in de wereld van cultuureducatie hoor je steeds vaker geluiden over EVI. Vooral binnen het primair onderwijs, maar de eerste geluiden over EVI in het voortgezet onderwijs hebben ons ook bereikt. Wat is EVI en niet onbelangrijk: wat heb je aan EVI? In deze blog ga ik je er meer over vertellen.
Stichting Kunst en Cultuur heeft EVI ontwikkeld als zelfevaluatie instrument voor de scholen die gebruik maakten van de CmK-regeling (Cultuureducatie met Kwaliteit). De zelfevaluatie geeft de scholen inzicht en informatie over ontwikkelmogelijkheden. Daarnaast wordt de verzamelde data geanonimiseerd en gebruikt voor de verantwoording voor de CmK-regeling. EVI is samen met de Rijksuniversiteit Groningen ontwikkeld. Dit is doorontwikkeld door LKCA met verschillende cultuureducatie organisaties, zodat deze landelijk ingezet kon worden en EVI 2.0 is ontstaan. Op deze manier is het vooral een ontwikkelingsinstrument geworden voor de scholen.
EVI is een ontwikkelingsinstrument voor scholen om te zien waar ze staan en welke stappen ze nog kunnen ondernemen in de toekomst. EVI is niet oordelend. Het laat zien waar je als school staat en het helpt scholen verder om het beleid uit te voeren. Daarnaast is het een gespreksinstrument voor coaches, adviseurs en begeleiders van cultuureducatie op scholen.
Om EVI goed in te vullen heeft de ICC-er gemiddeld een uur nodig. Vooral de eerste keer kan het tijdsintensief zijn om EVI in te vullen. Een nieuwe ICC’er kan hulp vragen wanneer deze EVI voor de eerste keer moet invullen. Tijdens het invullen kan er een hulpvraag gesteld worden door de school aan de coach, adviseur of begeleider van de penvoerder. Deze komt hier automatisch terecht en kan hierover contact opnemen.
Na het invullen van EVI krijgt de school direct de resultaten te zien en het scenario waar ze inzitten. Ze krijgen tips en suggesties voor vervolgstappen. Scholen gebruiken EVI om na te denken over hun cultuurvisie en het beleid op hun school. De coaches, adviseurs en begeleiders kunnen hierbij helpen.
Voor de penvoerder van Cultuureducatie met Kwaliteit kan er een geanonimiseerde analyse van alle ingevulde EVI’s gemaakt worden door een kennispartner. Dit is een universiteit waar LKCA een samenwerkingsovereenkomst mee heeft. Deze kennispartners werken volgens een vast stramien om de resultaten te analyseren. Naast de rapportage is het is het mogelijk om de scholen te vergelijken, als het er maar minimaal 5 scholen zijn om de anonimiteit te houden. Deze vergelijking is af te zetten op wijkniveau, stadsniveau, maar straks ook landelijk.
Tijdens het invullen van EVI worden kwantitatieve en kwalitatieve gegevens verzameld. Zo zijn er veel open vragen, maar ook een aantal gesloten vragen waar aantallen ingevuld moeten worden. Deze gegevens kan de penvoerder van CmK gebruiken in haar verantwoording naar Fonds Cultuurparticipatie. Niet alle gegevens die nodig zijn voor de verantwoording, zijn terug te vinden in EVI. Er zullen toch extra gegevens verzameld moeten worden naast EVI.
Naast het rapport dat gemaakt wordt door een kennispartner is er een reactie nodig op het rapport om de resultaten te duiden. Denk hierbij aan een begeleidend schrijven met reacties op resultaten.
Creativiteit, ofwel creatief denken en handelen, is een van de 21st-century skills waar je tegenwoordig niet meer aan kunt ontkomen. Leerlingen in het onderwijs worden er al voor klaargestoomd, maar de vaardigheid is ook van groot belang in het bedrijfsleven. Iedereen is op een andere manier creatief: uitvoerend, bedenkend, oplossend, etc. Daardoor bestaan er verschillende creativiteitsprofielen. Hiermee weet je welk creatief vermogen je in huis hebt. Dat is fijn voor organisaties, omdat zij dan weten aan welke competenties gewerkt moet worden om de organisatie klaar te stomen voor de toekomst.
Wat is een creativiteitsprofiel?
Een creativiteitsprofiel geeft aan wat jouw sterke en minder sterke punten zijn op het vlak van creativiteit. In 2015 zijn de profielen samengesteld door het TNO[1]. Zij zijn afgeleid van een meetinstrument met de indicatoren nieuwsgierig, volhardend, vindingrijk, interacterend met anderen, output gericht, trots op werk, anders durven te zijn, richting, ruimte, ruggensteun. Lees hier meer over de profielen.
Waarom wil ik weten wat voor creativiteitsprofielen ik in huis heb?
Creatief denken en handelen zorgt ervoor dat je nieuwe en/of ongebruikelijke maar toepasbare ideeën voor bestaande vraagstukken vindt. Dit kan op allerlei vlakken: bijvoorbeeld via creatieve technieken, denken buiten de lijntjes, risico’s durven nemen, onderzoeken en leren van fouten. Wil je aan competenties werken, dan moet je eerst weten welke profielen je in je organisatie hebt. Vervolgens kun je bouwen aan je organisatie en creativiteit stimuleren.
Hoe kan ik creativiteitsprofielen in mijn bedrijf meten?
Sinds 2015 doe ik onderzoek naar creativiteit. Ik startte met een onderzoek voor de Stichting Cultuur Eindhoven waarbij we de creativiteit van leerlingen van groep 8 in beeld hebben gebracht en gevolgd. De scholen waar deze kinderen op zaten volgden verschillende programma’s met extra aandacht voor cultuureducatie of techniekeducatie. Download hier het onderzoeksrapport met de resultaten van de creativiteitsmetingen in het onderwijs Dezelfde manier van creativiteit meten kan gebruikt worden bij medewerkers en organisaties. Je kunt zo kijken in welk prototypisch profiel iemand valt en je krijgt tips waar diegene mee aan de slag kan om zijn creativiteit te vergroten. Door de creativiteit van alle medewerkers in een team, afdeling of organisatie in beeld te brengen, kun je zien of medewerkers elkaar aanvullen, welke onderdelen van creativiteit er ondervertegenwoordigd zijn, hoe je de beste teams samenstelt en waar je als team, afdeling of organisatie aan kunt werken om je organisatie klaar te stomen voor de toekomst.
Wil je hier meer informatie over? Neem dan contact met mij op en ik leg je uit hoe ik je kan helpen.
[1] Stubbé, H.E. Jetten, A.M. Paradies, G.L. en Veldhuis, G.J. (2015) Creatief Vermogen – de ontwikkeling van een meetinstrument voor leerlingen op school, TNO-Soesterberg
Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.
De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?
• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?
• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.
Eén van onze meest gelezen blogs gaat over de vragen die je moet stellen bij een procesevaluatie. Zo’n evaluatie is gericht op de manier waarop je werkt en samen (hebt) gewerkt. Maar bij de start van het project heb je ook vragen en tussentijds en/of na afloop van een project wil je de effecten inzichtelijk maken: Wat is de beginsituatie? Welke aannames doen we en kloppen deze wel? Is het doel bereikt? In hoeverre is de doelgroep bereikt? Wat zijn de succesfactoren van het project? En wat zijn verbeterpunten? Bij een projectevaluatie houdt je het resultaat tegen het licht. Met deze informatie kun je het project en/of toekomstige projecten verbeteren. Vragen die je kunt stellen tijdens de verschillende fases van het project:
Beantwoord deze vragen binnen het projectteam, maar betrek ook andere partijen, zoals de doelgroep, samenwerkingspartners en andere stakeholders.
Click on the flag to read this article in English
In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:
Monitoren en evalueren worden vaak samen genoemd. Dit is niet gek, want zowel monitoren als evalueren doe je om dezelfde reden: je wilt specifieke informatie verzamelen die je nodig hebt om de volgende stap te kunnen maken. Het wordt vaak gezien als één instrument, maar er is wel degelijk verschil tussen de twee. Het verschil zit ‘m vooral in de momenten waarop je het doet.
Monitoren is structureel zicht houden op het project of programmaverloop. Het monitoren van je project doe je in aanloop naar het project en voornamelijk tijdens het project. Door gedurende het project structureel informatie te verzamelen kun je tijdig bijsturen waar nodig. Een monitor geeft antwoord op vragen zoals: Ben je op het goede spoor? Dragen je activiteiten bij aan je doel? Wat gaat goed? Wat kan beter? Door te monitoren houd je zicht op je doelbereik. Zo weet je welke stappen je moet zetten om je doel te bereiken en bereik je het doel efficiënter.
Met evalueren wordt het resultaat tegen het licht gehouden. Dit gebeurt meestal na afloop van een project, maar kan ook tussentijds. Je beantwoordt vragen als: Is het doel bereikt? Levert dit het beoogde effect? Een evaluatie brengt helder in kaart wat de resultaten en/of effecten van je project en/of proces zijn. Daarbij worden de succesfactoren en de verbeterpunten benoemd. Met die kennis weet je bij toekomstige trajecten waar je aandachtspunten liggen.
Om zowel tijdens het project zicht te houden op het verloop van het project én inzicht te krijgen in de resultaten wordt monitoring en evalueren vaak samen gedaan. Je krijgt dan een compleet beeld van de effecten van je project en kunt tijdig bijsturen indien nodig.
Wil jij ook inzichti in het verloop en de resultaten van je project, programma of activiteit? Ik kan je helpen bij de monitoring en/of evaluatie!
Organisaties binnen de non-profit sector willen steeds vaker inzicht in hun doelbereik. Dit willen zij enerzijds om te achterhalen of zij met hun activiteiten bereiken wat ze willen bereiken (en zo nodig bij kunnen sturen). Anderzijds wordt vanuit de gemeente en andere subsidieverstrekkers meer gevraagd. Het wordt voor gemeenten namelijk steeds belangrijker om aan te tonen dat subsidies die verstrekt worden, daadwerkelijk bijdragen aan de doelen van de gemeente. Het gaat er dan meer om wat je bereikt en wat je bijdraagt aan het gezamenlijke doel, dan enkel rapporteren over wat je doet met bijbehorende cijfers.
Je wilt dan een monitor- en evaluatie instrument dat inzicht geeft in het bereik van je eigen doelen én de doelen van de gemeente. Door de (gezamenlijke) doelen te formuleren, deze te vertalen naar meetbare indicatoren én de juiste onderzoeksmethoden te kiezen, ontwerp je een meetinstrument, waarmee je data kunt verzamelen over je doelbereik.
Door een monitor- en evaluatie instrument op deze manier in te richten (op basis van de gezamenlijke doelen) verzamel je informatie waar je iets mee kunt. Het geeft zicht aan de bijdrage van jouw activiteiten aan de gezamenlijke doelen. Waarmee je kunt bijsturen indien nodig en verantwoording kunt afleggen aan subsidieverstrekkers en aan het publiek.
De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.
Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.
Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.
Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.
Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen. Een goed instrument voor ex post evaluatie is een effectmeting.
