In een ander blog hebben we verteld wat EVI inhoudt en wat je er mee kunt doen. Wanneer een penvoerder van Cultuureducatie met Kwaliteit (CmK) ervoor heeft gekozen om er mee aan de slag te gaan zijn er een aantal zaken de uitgezocht moeten worden. Hierover hebben wij 7 tips om EVI in te voeren verzameld tijdens het doen van een onderzoek naar EVI en de invoering ervan.

Voor welke schaal kies je?

Deze tips zijn natuurlijk niet alleen voor het gebruiken van EVI, je zou ze ook bij andere meetinstrumenten kunnen gebruiken die je nieuw wilt gaan inzetten. Kijk dan welke tip van toepassing kan zijn voor je.

gelopen periode hebben we een aantal blogs geschreven over waar goed onderzoek aan moet voldoen. In deze blog brengen we deze criteria nog een keer kort onder de aandacht en verwijzen we naar de blogs per onderwerp.

Betrouwbaarheid

De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Meer info: wat betekent betrouwbaarheid?

Validiteit

De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag? Meer info: wat is validiteit?

Dat betrouwbaarheid en validiteit met elkaar samenhangen, blijkt uit onderstaand plaatje.

 

Representativiteit

Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie. Meer info: representativiteit: wat is het en hoe krijg je het?

Herhaalbaarheid

Het onderzoek moet herhaalbaar zijn op een ander tijdstip, met een andere onderzoeker, andere steekproef (wel dezelfde doelgroep) en onder andere omstandigheden.  Meer info: onderzoek moet herhaalbaar zijn

Objectiviteit

Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel. Meer info: objectief blijven bij kwalitatief onderzoek

Onafhankelijk

Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘. Meer info: onafhankelijk onderzoek wat is het?

Wanneer je bekend bent in de wereld van cultuureducatie hoor je steeds vaker geluiden over EVI. Vooral binnen het primair onderwijs, maar de eerste geluiden over EVI in het voortgezet onderwijs hebben ons ook bereikt. Wat is EVI en niet onbelangrijk: wat heb je aan EVI? In deze blog ga ik je er meer over vertellen.

Het ontstaan van EVI

Stichting Kunst en Cultuur heeft EVI ontwikkeld als zelfevaluatie instrument voor de scholen die gebruik maakten van de CmK-regeling (Cultuureducatie met Kwaliteit). De zelfevaluatie geeft de scholen inzicht en informatie over ontwikkelmogelijkheden. Daarnaast wordt de verzamelde data geanonimiseerd en gebruikt voor de verantwoording voor de CmK-regeling. EVI is samen met de Rijksuniversiteit Groningen ontwikkeld. Dit is doorontwikkeld door LKCA met verschillende cultuureducatie organisaties, zodat deze landelijk ingezet kon worden en EVI 2.0 is ontstaan. Op deze manier is het vooral een ontwikkelingsinstrument geworden voor de scholen.

Het ontstaan van EVI

Stichting Kunst en Cultuur heeft EVI ontwikkeld als zelfevaluatie instrument voor de scholen die gebruik maakten van de CmK-regeling (Cultuureducatie met Kwaliteit). De zelfevaluatie geeft de scholen inzicht en informatie over ontwikkelmogelijkheden. Daarnaast wordt de verzamelde data geanonimiseerd en gebruikt voor de verantwoording voor de CmK-regeling. EVI is samen met de Rijksuniversiteit Groningen ontwikkeld. Dit is doorontwikkeld door LKCA met verschillende cultuureducatie organisaties, zodat deze landelijk ingezet kon worden en EVI 2.0 is ontstaan. Op deze manier is het vooral een ontwikkelingsinstrument geworden voor de scholen.

nen het primair onderwijs, maar de eerste geluiden over EVI in het voortgezet onderwijs hebben ons ook bereikt. Wat is EVI en niet onbelangrijk: wat heb je aan EVI? In deze blog ga ik je er meer over vertellen.

EVI in de praktijk

EVI is een ontwikkelingsinstrument voor scholen om te zien waar ze staan en welke stappen ze nog kunnen ondernemen in de toekomst. EVI is niet oordelend. Het laat zien waar je als school staat en het helpt scholen verder om het beleid uit te voeren. Daarnaast is het een gespreksinstrument voor coaches, adviseurs en begeleiders van cultuureducatie op scholen.

Om EVI goed in te vullen heeft de ICC-er gemiddeld een uur nodig. Vooral de eerste keer kan het tijdsintensief zijn om EVI in te vullen. Een nieuwe ICC’er kan hulp vragen wanneer deze EVI voor de eerste keer moet invullen. Tijdens het invullen kan er een hulpvraag gesteld worden door de school aan de coach, adviseur of begeleider van de penvoerder. Deze komt hier automatisch terecht en kan hierover contact opnemen.

Na het invullen van EVI krijgt de school direct de resultaten te zien en het scenario waar ze inzitten. Ze krijgen tips en suggesties voor vervolgstappen. Scholen gebruiken EVI om na te denken over hun cultuurvisie en het beleid op hun school. De coaches, adviseurs en begeleiders kunnen hierbij helpen.

Voor de penvoerder van Cultuureducatie met Kwaliteit kan er een geanonimiseerde analyse van alle ingevulde EVI’s gemaakt worden door een kennispartner. Dit is een universiteit waar LKCA een samenwerkingsovereenkomst mee heeft. Deze kennispartners werken volgens een vast stramien om de resultaten te analyseren. Naast de rapportage is het is het mogelijk om de scholen te vergelijken, als het er maar minimaal 5 scholen zijn om de anonimiteit te houden. Deze vergelijking is af te zetten op wijkniveau, stadsniveau, maar straks ook landelijk.

EVI en de verantwoording

Tijdens het invullen van EVI worden kwantitatieve en kwalitatieve gegevens verzameld. Zo zijn er veel open vragen, maar ook een aantal gesloten vragen waar aantallen ingevuld moeten worden. Deze gegevens kan de penvoerder van CmK  gebruiken in haar verantwoording naar Fonds Cultuurparticipatie. Niet alle gegevens die nodig zijn voor de verantwoording, zijn terug te vinden in EVI. Er zullen toch extra gegevens verzameld moeten worden naast EVI.

Naast het rapport dat gemaakt wordt door een kennispartner is er een reactie nodig op het rapport om de resultaten te duiden. Denk hierbij aan een begeleidend schrijven met reacties op resultaten.

Cultuurscan VO

Om cultuureducatie te monitoren op het Voortgezet Onderwijs is er een aantal jaar geleden een cultuurscan ontwikkeld voor de scholen. Deze scan is wat verouderd en Cultuurschakel wil deze updaten en opnieuw laten uitvoeren. Samen met betrokken medewerkers wordt de cultuurscan opnieuw ontwikkeld en uitgevoerd door de cultuurcoaches van CultuurSchakel, waarna wij de data gaan analyseren.

Lees meer:

Haalbaarheidsonderzoek doorlopende leerlijn cultuureducatie voortgezet onderwijs

Osse Kunstinstellingen Voor het Onderwijs (OKVO) is een uniek samenwerkingsverband tussen de acht Osse kunstinstellingen en het primair onderwijs. Door deze samenwerking krijgen alle kinderen in Oss de gelegenheid om kennis te maken met kunst en cultuur vanuit alle culturele aanbieders uit Oss. Nu wil OKVO ook een gezamenlijke doorgaande leerlijn aanbieden aan het voortgezet onderwijs in Oss. Alvorens dit samen te stellen wil OKVO een haalbaarheidsonderzoek uit laten voeren of er behoefte is vanuit het middelbaar onderwijs voor dit programma. Om de haalbaarheid te meten is er ingezet op een kwalitatief onderzoek waarbij we telefonische interviews afnemen met docenten uit het middelbaar onderwijs die vanuit hun vakken verbinding hebben met de kunst- en cultuurdisciplines. We achterhalen daardoor of er behoefte is aan een cultureel lesprogramma en waar deze uit zal moeten bestaan. Aan de hand van de interviews brengen we een rapport uit met adviezen over de haalbaarheid van een cultuurprogramma, waar deze dan uit zou moeten bestaan en aan welke voorwaarden deze moet voldoen.

Lees meer:

Analyse op maat

MOCCA is één van de penvoerders voor de subsidieregeling Cultuureducatie met Kwaliteit. Zij hebben aan de standaardvragenlijst voor de landelijke monitoring vragen toegevoegd. Hierdoor is een rijk databestand ontstaan over cultuureducatie bij scholen in hun verzorgingsgebied. Wij hebben voor hen een op maat gemaakte analyse en rapportage verzorgd, zodat ontwikkelingen van de afgelopen jaren zichtbaar zijn geworden. Deze rapportage wordt intern gebruikt om sturing te geven aan het programma en om verantwoording af te leggen aan verschillende financiers.

Lees meer:

Creativiteit is een belangrijke vaardigheid. Er wordt steeds vaker een beroep op gedaan. Zowel  in je volwassen leven als op school. Daarom is er ook steeds meer aandacht voor de ontwikkeling van creativiteit op scholen en met name het basisonderwijs. Samen met de Stichting Cultuur Eindhoven ben ik gaan kijken of je creativiteit kunt meten en wat je met zo’n instrument zou kunnen doen.

TNO[1] heeft in 2015 in opdracht van het ministerie OCW een instrument ontwikkeld waarmee gemeten kan worden hoe creatief iemand is aan de hand van zeven indicatoren en daarnaast in hoeverre de ontwikkeling van creativiteit gestimuleerd wordt (drie indicatoren).


De indicatoren voor creatief vermogen zijn:

✔ Nieuwsgierig

Volhardend

Vindingrijk

Interacterend met anderen

Output gericht

Trots op werk

Anders durven zijn

 En de indicatoren voor het ontwikkelen van creatief vermogen zijn:

✔ Richting

✔  Ruimte

✔  Ruggenspraak

Maar wat kun je nu met deze indicatoren? Deze indicatoren zijn inmiddels vertaald in een gevalideerde vragenlijst. Met deze vragenlijst kun je leerlingen dus scoren op deze tien indicatoren. En dat biedt allerlei opties.

Maatwerk aanbieden aan leerlingen

Allereerst kun je de creativiteit van de leerlingen (of andere personen) in beeld brengen, bijvoorbeeld met een spinnenwebgrafiek. Hiermee zie je waar iemand goed in is en waar minder goed. Aan de hand hiervan kun je de opdrachten en begeleiding die je geeft aanpassen. Het onderzoek van TNO heeft negen prototypische profielen onderscheiden en geeft per profiel tips. Je kunt dus ook kijken in welk prototypisch profiel iemand valt. Je kunt aan de hand hiervan aanpassen wat je aanbiedt.

Ontwikkeling per leerling in beeld brengen

Ten tweede kun je door de vragenlijst vaker af te nemen, de ontwikkeling op het gebied van creativiteit in beeld brengen. Door bijvoorbeeld (half) jaarlijks de vragenlijst af te nemen en de score van de zeven indicatoren in een spinnenweb naast elkaar in beeld te brengen. Kun je de ontwikkeling van leerlingen inzichtelijk maken.

Feedback voor de begeleiders en leerkrachten

Door de scores op de drie indicatoren voor het ontwikkelen van creatief vermogen in beeld te brengen, zie je wat de leerlingen aangeboden krijgen. Geeft de begeleider of leerkracht richting, ruimte en ruggenspraak? In welke mate wordt dit gedaan? Dit geeft de begeleider of leerkracht inzicht in wat hij/zij doet en daarmee de mogelijkheid dit te verbeteren.

Impact in beeld brengen

Als je de creatieve ontwikkeling van leerlingen die aan een bepaald project meedoen in beeld brengt (zoals wij hebben gedaan met ‘de Reünie’ van de Ontdekfabriek), zie je op welke indicator(en) dat project impact heeft. Je moet hiervoor voor aanvang en na afloop van het project de vragenlijst afnemen. Op zeven indicatoren van creativiteit kun je zien of deze zijn toegenomen. Het beste kun je dit zien op individueel niveau. Als je werkt met alle tien de indicatoren zie je ook of je alle indicatoren aanbiedt die nodig zijn om creativiteit te ontwikkelen.

Observeren

Het is natuurlijk ook mogelijk om leerlingen en begeleiders te observeren op deze indicatoren. Het rapport van TNO biedt geen observatielijst, maar wel voldoende aanknopingspunten om deze te maken. Beschreven staat hoe de indicatoren er uit zien en dit heb ik vertaald in een observatielijst voor de hele groep om lessen in het kader van ‘de Reünie’ te observeren. Dit kun je ook doen om leerlingen en begeleiders individueel te observeren en scoren. Je krijgt zo meer inzicht in de creativiteit en de ontwikkeling ervan, van de leerlingen. Deze observaties kun je op dezelfde manieren inzetten als de vragenlijst: om maatwerk te bieden, de ontwikkeling in beeld te brengen, feedback te geven aan begeleiders en leerkrachten en de impact van projecten in beeld te brengen.

Download het onderzoeksrapport hier met de resultaten van creativiteitsmetingen? 

[1] Stubbé, H.E. Jetten, A.M. Paradies, G.L. en Veldhuis, G.J. (2015) Creatief Vermogen - de ontwikkeling van een meetinstrument voor leerlingen op school, TNO-Soesterberg

Ontwikkeling van creativiteit & cultuureducatie in digitale cultuur

Eindhoven is het centrum van de digitale creatieve industrie. Helaas kent deze industrie nauwelijks projecten op het gebied van cultuureducatie en jong talentontwikkeling. Pareltjes van de industrie worden minimaal opgeschaald naar landelijk niveau. Stichting Cultuur Eindhoven wil daar verandering in brengen. Tijdens het project ‘Reünie 2032’ van de Ontdekfabriek schrijven en ontwikkelen groepen 8 hun eigen eindmusical. Dit wordt gedaan onder begeleiding van professionals.

Wij doen onderzoek om inzicht te krijgen in de creativiteitsontwikkeling van leerlingen van deze groepen 8. Hiervoor observeren wij de groepen 8 tijdens het project, gaan we in gesprek met leerlingen en leerkrachten en vullen zij vragenlijsten in. De deelnemende groepen vergelijken we met andere groepen 8, waar andere (Cultuureducatie met Kwaliteit en Cultuur&Ik) of geen cultuurontwikkelingstrajecten lopen.

Het tweede doel van het onderzoek is het inhoudelijk voeden van een leerlijn of methodiek op het gebied van digitaal design op de basisschool. Hiervoor doen wij een bureaustudie en praten we met experts op het gebied van technologie, design en onderwijs.

De data voor deze twee doelen worden gebruikt om het proces en ontwikkeling van Reünie 2032 te voeden tijdens het eerste pilotjaar.

De resultaten worden gebruikt om mogelijkheden, kansen en adviezen weer te geven over cultuureducatie in digitale cultuur op de basisschool. Net zoals manieren om projecten zoals Reünie 2032 op te schalen komen.

Lees meer:

meer muziek in de klas

Stichting Méér Muziek in de Klas wil graag haar impact vergroten. Daarom wil ze eerst weten hoe groot die impact is en hoe ze deze kan vergroten. Daarnaast wil de stichting haar impact kunnen aantonen aan externe partners, zoals financiers. Wij zijn gevraagd om te onderzoeken in hoeverre de doelstellingen van Méér Muziek in de Klas behaald worden.

Wij onderzoeken de stand van zaken van de impact van het werk van de stichting. Het gaat hier om de impact van meerdere projecten, zoals de bewustwordingscampagne, het programma van deskundigheidsbevordering, het gebruik door het door de stichting ontwikkelde lesmateriaal en hun impact omtrent infrastructuur en duurzaamheid.

Dit doen we door (digitaal) vragenlijsten af te nemen en gaan we groepsgesprekken aan met leerkrachten die het lesmateriaal gebruiken en met experts uit het veld.

De resultaten worden ook gebruikt om handvatten te ontwikkelen om de impact van Stichting Méér Muziek in de Klas te vergroten.

Lees meer:

Landelijke monitor cultuureducatie met kwaliteit (primair onderwijs)

Het Fonds voor Cultuurparticipatie wil samen met het ministerie van OCW graag weten wat de landelijke stand is van zaken rondom cultuureducatie in het primair onderwijs. Ze willen inzicht in het effect van de regeling Cultuureducatie met Kwaliteit, die zijn tweede periode ingaat (2017-2020). Wij voeren deze landelijke monitor samen met ResearchNed uit. De regeling Cultuureducatie met Kwaliteit is opgezet om binnenschoolse cultuureducatie te verbeteren. Culturele instellingen (penvoerders) worden aan basisscholen gekoppeld met het doel de cultuureducatie op die scholen te verbeteren door visieontwikkeling, invoering en verbetering van doorgaande leerlijnen, deskundigheidsbevordering van groepsleerkrachten en duurzame samenwerking met de culturele en sociale omgeving. In de monitor wordt ook gekeken naar andere subsidieregelingen binnen het programma Cultuureducatie met Kwaliteit, zoals de Impuls muziekonderwijs. Basisscholen door het hele land worden indien mogelijk met behulp van de penvoerders benaderd. Wij vragen ze twee keer een vragenlijst in te vullen om de stand van zaken met betrekking tot cultuureducatie op de school te achterhalen. Hierdoor wordt een landelijk beeld van de situatie geschetst. Door te kijken naar de verschillende regelingen waar een school aan meedoet en de ontwikkeling in tijd te bekijken, kunnen de effecten van deze regelingen gedestilleerd worden.

Lees meer:

Advies monevabeleid voor Cultuureducatie met Kwaliteit

Voor de nieuwe periode (2017-2020) wilde het Fonds voor Cultuurparticipatie graag een afgestemd monitor- en evaluatie-instrument voor de vier regelingen binnen het programma Cultuureducatie met Kwaliteit. Het fonds heeft ons gevraagd om een nieuwe moneva te ontwerpen, dan wel de bestaande moneva aan te passen. Het ging om de monitoring van vier regelingen, namelijk:

Matchingsregeling gemeenten en provincies
Impuls Muziekonderwijs
Professionalisering Cultuuronderwijs PO
Cultuureducatie in het VMBO Om te komen tot een advies voor de moneva in de periode 2017-2020 werden de huidige moneva-instrumenten bestudeerd om te kijken wat er is gedaan en hoe dit is aangepakt. Dit deden we aan de hand van een analysekader. Daarnaast zijn bijeenkomsten met het betrokken team bij het fonds georganiseerd om te kijken wat het team heeft gedaan met de huidige moneva en hoe zij deze heeft ervaren. Met deze informatie én met de informatie uit het onderzoek naar de individuele moneva van de penvoerders stelden we een moneva samen voor elke regeling.  Het doel van de regeling Cultuureducatie met Kwaliteit is om de kwaliteit van cultuureducatie in het primair onderwijs te verbeteren zodat het een vaste plek krijgt in het curriculum van de scholen. Dit doet het fonds onder andere door 54 meerjarige programma’s, verspreid over het hele land te ondersteunen waarbij scholen en culturele instellingen samen werken aan Cultuureducatie met Kwaliteit.

Lees meer:

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone