In een ander blog hebben we verteld wat EVI inhoudt en wat je er mee kunt doen. Wanneer een penvoerder van Cultuureducatie met Kwaliteit (CmK) ervoor heeft gekozen om er mee aan de slag te gaan zijn er een aantal zaken de uitgezocht moeten worden. Hierover hebben wij 7 tips om EVI in te voeren verzameld tijdens het doen van een onderzoek naar EVI en de invoering ervan.

Voor welke schaal kies je?

Deze tips zijn natuurlijk niet alleen voor het gebruiken van EVI, je zou ze ook bij andere meetinstrumenten kunnen gebruiken die je nieuw wilt gaan inzetten. Kijk dan welke tip van toepassing kan zijn voor je.

gelopen periode hebben we een aantal blogs geschreven over waar goed onderzoek aan moet voldoen. In deze blog brengen we deze criteria nog een keer kort onder de aandacht en verwijzen we naar de blogs per onderwerp.

Betrouwbaarheid

De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Meer info: wat betekent betrouwbaarheid?

Validiteit

De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag? Meer info: wat is validiteit?

Dat betrouwbaarheid en validiteit met elkaar samenhangen, blijkt uit onderstaand plaatje.

 

Representativiteit

Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie. Meer info: representativiteit: wat is het en hoe krijg je het?

Herhaalbaarheid

Het onderzoek moet herhaalbaar zijn op een ander tijdstip, met een andere onderzoeker, andere steekproef (wel dezelfde doelgroep) en onder andere omstandigheden.  Meer info: onderzoek moet herhaalbaar zijn

Objectiviteit

Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel. Meer info: objectief blijven bij kwalitatief onderzoek

Onafhankelijk

Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘. Meer info: onafhankelijk onderzoek wat is het?

Wanneer je bekend bent in de wereld van cultuureducatie hoor je steeds vaker geluiden over EVI. Vooral binnen het primair onderwijs, maar de eerste geluiden over EVI in het voortgezet onderwijs hebben ons ook bereikt. Wat is EVI en niet onbelangrijk: wat heb je aan EVI? In deze blog ga ik je er meer over vertellen.

Het ontstaan van EVI

Stichting Kunst en Cultuur heeft EVI ontwikkeld als zelfevaluatie instrument voor de scholen die gebruik maakten van de CmK-regeling (Cultuureducatie met Kwaliteit). De zelfevaluatie geeft de scholen inzicht en informatie over ontwikkelmogelijkheden. Daarnaast wordt de verzamelde data geanonimiseerd en gebruikt voor de verantwoording voor de CmK-regeling. EVI is samen met de Rijksuniversiteit Groningen ontwikkeld. Dit is doorontwikkeld door LKCA met verschillende cultuureducatie organisaties, zodat deze landelijk ingezet kon worden en EVI 2.0 is ontstaan. Op deze manier is het vooral een ontwikkelingsinstrument geworden voor de scholen.

Het ontstaan van EVI

Stichting Kunst en Cultuur heeft EVI ontwikkeld als zelfevaluatie instrument voor de scholen die gebruik maakten van de CmK-regeling (Cultuureducatie met Kwaliteit). De zelfevaluatie geeft de scholen inzicht en informatie over ontwikkelmogelijkheden. Daarnaast wordt de verzamelde data geanonimiseerd en gebruikt voor de verantwoording voor de CmK-regeling. EVI is samen met de Rijksuniversiteit Groningen ontwikkeld. Dit is doorontwikkeld door LKCA met verschillende cultuureducatie organisaties, zodat deze landelijk ingezet kon worden en EVI 2.0 is ontstaan. Op deze manier is het vooral een ontwikkelingsinstrument geworden voor de scholen.

nen het primair onderwijs, maar de eerste geluiden over EVI in het voortgezet onderwijs hebben ons ook bereikt. Wat is EVI en niet onbelangrijk: wat heb je aan EVI? In deze blog ga ik je er meer over vertellen.

EVI in de praktijk

EVI is een ontwikkelingsinstrument voor scholen om te zien waar ze staan en welke stappen ze nog kunnen ondernemen in de toekomst. EVI is niet oordelend. Het laat zien waar je als school staat en het helpt scholen verder om het beleid uit te voeren. Daarnaast is het een gespreksinstrument voor coaches, adviseurs en begeleiders van cultuureducatie op scholen.

Om EVI goed in te vullen heeft de ICC-er gemiddeld een uur nodig. Vooral de eerste keer kan het tijdsintensief zijn om EVI in te vullen. Een nieuwe ICC’er kan hulp vragen wanneer deze EVI voor de eerste keer moet invullen. Tijdens het invullen kan er een hulpvraag gesteld worden door de school aan de coach, adviseur of begeleider van de penvoerder. Deze komt hier automatisch terecht en kan hierover contact opnemen.

Na het invullen van EVI krijgt de school direct de resultaten te zien en het scenario waar ze inzitten. Ze krijgen tips en suggesties voor vervolgstappen. Scholen gebruiken EVI om na te denken over hun cultuurvisie en het beleid op hun school. De coaches, adviseurs en begeleiders kunnen hierbij helpen.

Voor de penvoerder van Cultuureducatie met Kwaliteit kan er een geanonimiseerde analyse van alle ingevulde EVI’s gemaakt worden door een kennispartner. Dit is een universiteit waar LKCA een samenwerkingsovereenkomst mee heeft. Deze kennispartners werken volgens een vast stramien om de resultaten te analyseren. Naast de rapportage is het is het mogelijk om de scholen te vergelijken, als het er maar minimaal 5 scholen zijn om de anonimiteit te houden. Deze vergelijking is af te zetten op wijkniveau, stadsniveau, maar straks ook landelijk.

EVI en de verantwoording

Tijdens het invullen van EVI worden kwantitatieve en kwalitatieve gegevens verzameld. Zo zijn er veel open vragen, maar ook een aantal gesloten vragen waar aantallen ingevuld moeten worden. Deze gegevens kan de penvoerder van CmK  gebruiken in haar verantwoording naar Fonds Cultuurparticipatie. Niet alle gegevens die nodig zijn voor de verantwoording, zijn terug te vinden in EVI. Er zullen toch extra gegevens verzameld moeten worden naast EVI.

Naast het rapport dat gemaakt wordt door een kennispartner is er een reactie nodig op het rapport om de resultaten te duiden. Denk hierbij aan een begeleidend schrijven met reacties op resultaten.

Cultuurscan VO

Om cultuureducatie te monitoren op het Voortgezet Onderwijs is er een aantal jaar geleden een cultuurscan ontwikkeld voor de scholen. Deze scan is wat verouderd en Cultuurschakel wil deze updaten en opnieuw laten uitvoeren. Samen met betrokken medewerkers wordt de cultuurscan opnieuw ontwikkeld en uitgevoerd door de cultuurcoaches van CultuurSchakel, waarna wij de data gaan analyseren.

Lees meer:

Evaluatie Muziekcoöperatie Peize

Per 2019 heeft de gemeente Noordenveld de cultuursubsidie voor het dorp Peize uitbesteed aan de Muziekcoöperatie Peize. Dit eerste jaar is aangemerkt als experiment door de gemeente. Dit experiment loopt door in 2020. De gemeente heeft aangegeven het experiment te willen evalueren, om zo een besluit te kunnen nemen over de toekomst van het experiment. Om het experiment te evalueren worden er interviews gehouden met personen van het bestuurd van de Muziekcoöperatie, maar ook met aanvragers van de subsidie. Tevens wordt er met een jurist bekeken of de cultuursubsidie op een juiste wijze wordt beheerd.

Lees meer:

Haalbaarheidsonderzoek doorlopende leerlijn cultuureducatie voortgezet onderwijs

Osse Kunstinstellingen Voor het Onderwijs (OKVO) is een uniek samenwerkingsverband tussen de acht Osse kunstinstellingen en het primair onderwijs. Door deze samenwerking krijgen alle kinderen in Oss de gelegenheid om kennis te maken met kunst en cultuur vanuit alle culturele aanbieders uit Oss. Nu wil OKVO ook een gezamenlijke doorgaande leerlijn aanbieden aan het voortgezet onderwijs in Oss. Alvorens dit samen te stellen wil OKVO een haalbaarheidsonderzoek uit laten voeren of er behoefte is vanuit het middelbaar onderwijs voor dit programma. Om de haalbaarheid te meten is er ingezet op een kwalitatief onderzoek waarbij we telefonische interviews afnemen met docenten uit het middelbaar onderwijs die vanuit hun vakken verbinding hebben met de kunst- en cultuurdisciplines. We achterhalen daardoor of er behoefte is aan een cultureel lesprogramma en waar deze uit zal moeten bestaan. Aan de hand van de interviews brengen we een rapport uit met adviezen over de haalbaarheid van een cultuurprogramma, waar deze dan uit zou moeten bestaan en aan welke voorwaarden deze moet voldoen.

Lees meer:

Doelbereik BOI

Rijkswater staat wil inzicht in het doelbereik van het programma Boi, Beoordelings- en Ontwerp Instrumentarium primaire waterkeringen. Om inzicht in dit doelbereik te krijgen zijn de doelen meetbaar gemaakt. Vanuit hier zijn ondera andere  vragenlijsten ontworpen voor  verschillende groepen respondenten. Aan de hand van de verschillende meetinstrumenten wordt jaarlijks data verzameld en geanalyseerd om te rapporteren over de voortgang van het programma.  Met deze informatie worden verbeteringen  door gevoerd in het programma. Er wordt een visuele rapportage opgeleverd en een databestand waarmee het integraal projectmanagement team de resultaten kan bekijken en gebieden kunnen vergelijken.

Lees meer:

Creativiteit, ofwel creatief denken en handelen, is een van de 21st-century skills waar je tegenwoordig niet meer aan kunt ontkomen. Leerlingen in het onderwijs worden er al voor klaargestoomd, maar de vaardigheid is ook van groot belang in het bedrijfsleven. Iedereen is op een andere manier creatief: uitvoerend, bedenkend, oplossend, etc. Daardoor bestaan er verschillende creativiteitsprofielen. Hiermee weet je welk creatief vermogen je in huis hebt. Dat is fijn voor organisaties, omdat zij dan weten aan welke competenties gewerkt moet worden om de organisatie klaar te stomen voor de toekomst.

Wat is een creativiteitsprofiel?

Een creativiteitsprofiel geeft aan wat jouw sterke en minder sterke punten zijn op het vlak van creativiteit. In 2015 zijn de profielen samengesteld door het TNO[1]. Zij zijn afgeleid van een meetinstrument met de indicatoren nieuwsgierig, volhardend, vindingrijk, interacterend met anderen, output gericht, trots op werk, anders durven te zijn, richting, ruimte, ruggensteun. Lees hier meer over de profielen.

Waarom wil ik weten wat voor creativiteitsprofielen ik in huis heb?

Creatief denken en handelen zorgt ervoor dat je nieuwe en/of ongebruikelijke maar toepasbare ideeën voor bestaande vraagstukken vindt. Dit kan op allerlei vlakken: bijvoorbeeld via creatieve technieken, denken buiten de lijntjes, risico’s durven nemen, onderzoeken en leren van fouten. Wil je aan competenties werken, dan moet je eerst weten welke profielen je in je organisatie hebt. Vervolgens kun je bouwen aan je organisatie en creativiteit stimuleren.

Hoe kan ik creativiteitsprofielen in mijn bedrijf meten?

Sinds 2015 doe ik onderzoek naar creativiteit. Ik startte met een onderzoek voor de Stichting Cultuur Eindhoven waarbij we de creativiteit van leerlingen van groep 8 in beeld hebben gebracht en gevolgd. De scholen waar deze kinderen op zaten volgden verschillende programma’s met extra aandacht voor cultuureducatie of techniekeducatie. Download hier het onderzoeksrapport met de resultaten van de creativiteitsmetingen in het onderwijs Dezelfde manier van creativiteit meten kan gebruikt worden bij medewerkers en organisaties. Je kunt zo kijken in welk prototypisch profiel iemand valt en je krijgt tips waar diegene mee aan de slag kan om zijn creativiteit te vergroten. Door de creativiteit van alle medewerkers in een team, afdeling of organisatie in beeld te brengen, kun je zien of medewerkers elkaar aanvullen, welke onderdelen van creativiteit er ondervertegenwoordigd zijn, hoe je de beste teams samenstelt en waar je als team, afdeling of organisatie aan kunt werken om je organisatie klaar te stomen voor de toekomst.

Wil je hier meer informatie over? Neem dan contact met mij op en ik leg je uit hoe ik je kan helpen.


[1] Stubbé, H.E. Jetten, A.M. Paradies, G.L. en Veldhuis, G.J. (2015) Creatief Vermogen – de ontwikkeling van een meetinstrument voor leerlingen op school, TNO-Soesterberg

Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.

De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?

Als de subsidiegever het onderzoek verzorgt:

• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?

Subsidienemer:

• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.

  1. Breng een heldere structuur aan in je manier van evalueren die je iedere keer op dezelfde manier toepast. Alleen dan kun je resultaten door de tijd heen vergelijken en kun je ze dus beter beoordelen. Ook als je alleen evalueert door te observeren, kun je een structuur aanbrengen. Vaak kijk je tijdens een activiteit rond en weet je of iets aanslaat of niet. Waar zie je dat aan? Waarschijnlijk let je op een aantal dingen, bijvoorbeeld of leerlingen geconcentreerd zijn, of ze vragen stellen, of … Schrijf eens op waar je op let zodat je een puntenlijstje krijgt wat je iedere keer kunt aflopen. Ook bij een informele gesprekken na een activiteit kun je vooraf helder opschrijven wat je elke keer zult vragen, zodat je gestructureerd steeds dezelfde informatie verzameld.
  2. Betrek je collega's bij je evaluatie en vraag of zij op dezelfde punten willen letten. Daarmee kun je beter je bevindingen bespreken en als jij eens een keer niet aanwezig bent kunnen je collega's je evaluatie van je overnemen.
  3. Leg je bevindingen vast ook als je alleen evalueert door achteraf na te praten. Schrijf dan op wat er uit kwam zodat je ook nu weer je bevindingen kunt vergelijken en bewaren. Probeer hierbij weer een heldere structuur aan te houden.
  4. Als je evalueert door achteraf een aantal mensen te spreken, wees je er dan bewust van wie je spreekt. Zorg dat je niet alleen de enthousiastelingen of juist de herrieschoppers eruit pikt. En als je wilt weten waarom een school voor jouw aanbod heeft gekozen, kan het zijn dat het geen nut heeft met de docentbegeleiders die mee zijn te praten. Soms kiest de cultuurcoördinator van een school het aanbod, maar gaat hij/zij niet mee en is bij de voorstelling aanwezig die toch al niet naar toneel wilde en het vooral vervelend vindt dat zijn lesuren hierdoor zijn vervallen. Hij zal je niet kunnen vertellen waarom juist jouw aanbod is gekozen.
  5. Misschien wel het belangrijkste aandachtspunt van allemaal, vraag dat wat je echt wilt weten. En daarbij hoort ook, vraag dus niet wat je eigenlijk niet nodig hebt of wilt weten of waar je toch niets mee gaat doen. Je hoeft helemaal niet alles te bevragen in een evaluatie, bespaar jezelf en de ander tijd door alleen dat te evalueren waar je nu echt mee aan de slag wilt.
  6. Stap af van containerbegrippen, maar formuleer zo exact mogelijk.

Eén van onze meest gelezen blogs gaat over de vragen die je moet stellen bij een procesevaluatie. Zo’n evaluatie is gericht op de manier waarop je werkt en samen (hebt) gewerkt. Maar bij de start van het project heb je ook vragen en tussentijds en/of na afloop van een project wil je de effecten inzichtelijk maken: Wat is de beginsituatie? Welke aannames doen we en kloppen deze wel? Is het doel bereikt? In hoeverre is de doelgroep bereikt? Wat zijn de succesfactoren van het project? En wat zijn verbeterpunten? Bij een projectevaluatie houdt je het resultaat tegen het licht. Met deze informatie kun je het project en/of toekomstige projecten verbeteren. Vragen die je kunt stellen tijdens de verschillende fases van het project:

Projectevaluatie fase 1: Bij de start van het project

 Projectevaluatie fase 2: Tussentijds

 Projectevaluatie fase 3: Na afloop van het project

Beantwoord deze vragen binnen het projectteam, maar betrek ook andere partijen, zoals de doelgroep, samenwerkingspartners en andere stakeholders.

English flag Click on the flag to read this article in English

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone