In een ander blog hebben we verteld wat EVI inhoudt en wat je er mee kunt doen. Wanneer een penvoerder van Cultuureducatie met Kwaliteit (CmK) ervoor heeft gekozen om er mee aan de slag te gaan zijn er een aantal zaken de uitgezocht moeten worden. Hierover hebben wij 7 tips om EVI in te voeren verzameld tijdens het doen van een onderzoek naar EVI en de invoering ervan.

Voor welke schaal kies je?

Deze tips zijn natuurlijk niet alleen voor het gebruiken van EVI, je zou ze ook bij andere meetinstrumenten kunnen gebruiken die je nieuw wilt gaan inzetten. Kijk dan welke tip van toepassing kan zijn voor je.

gelopen periode hebben we een aantal blogs geschreven over waar goed onderzoek aan moet voldoen. In deze blog brengen we deze criteria nog een keer kort onder de aandacht en verwijzen we naar de blogs per onderwerp.

Betrouwbaarheid

De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Meer info: wat betekent betrouwbaarheid?

Validiteit

De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag? Meer info: wat is validiteit?

Dat betrouwbaarheid en validiteit met elkaar samenhangen, blijkt uit onderstaand plaatje.

 

Representativiteit

Representativiteit houdt de mate in waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je onderzoek is hierdoor representatief, wat betekent dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie. Meer info: representativiteit: wat is het en hoe krijg je het?

Herhaalbaarheid

Het onderzoek moet herhaalbaar zijn op een ander tijdstip, met een andere onderzoeker, andere steekproef (wel dezelfde doelgroep) en onder andere omstandigheden.  Meer info: onderzoek moet herhaalbaar zijn

Objectiviteit

Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel. Meer info: objectief blijven bij kwalitatief onderzoek

Onafhankelijk

Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘. Meer info: onafhankelijk onderzoek wat is het?

Wanneer je bekend bent in de wereld van cultuureducatie hoor je steeds vaker geluiden over EVI. Vooral binnen het primair onderwijs, maar de eerste geluiden over EVI in het voortgezet onderwijs hebben ons ook bereikt. Wat is EVI en niet onbelangrijk: wat heb je aan EVI? In deze blog ga ik je er meer over vertellen.

Het ontstaan van EVI

Stichting Kunst en Cultuur heeft EVI ontwikkeld als zelfevaluatie instrument voor de scholen die gebruik maakten van de CmK-regeling (Cultuureducatie met Kwaliteit). De zelfevaluatie geeft de scholen inzicht en informatie over ontwikkelmogelijkheden. Daarnaast wordt de verzamelde data geanonimiseerd en gebruikt voor de verantwoording voor de CmK-regeling. EVI is samen met de Rijksuniversiteit Groningen ontwikkeld. Dit is doorontwikkeld door LKCA met verschillende cultuureducatie organisaties, zodat deze landelijk ingezet kon worden en EVI 2.0 is ontstaan. Op deze manier is het vooral een ontwikkelingsinstrument geworden voor de scholen.

Het ontstaan van EVI

Stichting Kunst en Cultuur heeft EVI ontwikkeld als zelfevaluatie instrument voor de scholen die gebruik maakten van de CmK-regeling (Cultuureducatie met Kwaliteit). De zelfevaluatie geeft de scholen inzicht en informatie over ontwikkelmogelijkheden. Daarnaast wordt de verzamelde data geanonimiseerd en gebruikt voor de verantwoording voor de CmK-regeling. EVI is samen met de Rijksuniversiteit Groningen ontwikkeld. Dit is doorontwikkeld door LKCA met verschillende cultuureducatie organisaties, zodat deze landelijk ingezet kon worden en EVI 2.0 is ontstaan. Op deze manier is het vooral een ontwikkelingsinstrument geworden voor de scholen.

nen het primair onderwijs, maar de eerste geluiden over EVI in het voortgezet onderwijs hebben ons ook bereikt. Wat is EVI en niet onbelangrijk: wat heb je aan EVI? In deze blog ga ik je er meer over vertellen.

EVI in de praktijk

EVI is een ontwikkelingsinstrument voor scholen om te zien waar ze staan en welke stappen ze nog kunnen ondernemen in de toekomst. EVI is niet oordelend. Het laat zien waar je als school staat en het helpt scholen verder om het beleid uit te voeren. Daarnaast is het een gespreksinstrument voor coaches, adviseurs en begeleiders van cultuureducatie op scholen.

Om EVI goed in te vullen heeft de ICC-er gemiddeld een uur nodig. Vooral de eerste keer kan het tijdsintensief zijn om EVI in te vullen. Een nieuwe ICC’er kan hulp vragen wanneer deze EVI voor de eerste keer moet invullen. Tijdens het invullen kan er een hulpvraag gesteld worden door de school aan de coach, adviseur of begeleider van de penvoerder. Deze komt hier automatisch terecht en kan hierover contact opnemen.

Na het invullen van EVI krijgt de school direct de resultaten te zien en het scenario waar ze inzitten. Ze krijgen tips en suggesties voor vervolgstappen. Scholen gebruiken EVI om na te denken over hun cultuurvisie en het beleid op hun school. De coaches, adviseurs en begeleiders kunnen hierbij helpen.

Voor de penvoerder van Cultuureducatie met Kwaliteit kan er een geanonimiseerde analyse van alle ingevulde EVI’s gemaakt worden door een kennispartner. Dit is een universiteit waar LKCA een samenwerkingsovereenkomst mee heeft. Deze kennispartners werken volgens een vast stramien om de resultaten te analyseren. Naast de rapportage is het is het mogelijk om de scholen te vergelijken, als het er maar minimaal 5 scholen zijn om de anonimiteit te houden. Deze vergelijking is af te zetten op wijkniveau, stadsniveau, maar straks ook landelijk.

EVI en de verantwoording

Tijdens het invullen van EVI worden kwantitatieve en kwalitatieve gegevens verzameld. Zo zijn er veel open vragen, maar ook een aantal gesloten vragen waar aantallen ingevuld moeten worden. Deze gegevens kan de penvoerder van CmK  gebruiken in haar verantwoording naar Fonds Cultuurparticipatie. Niet alle gegevens die nodig zijn voor de verantwoording, zijn terug te vinden in EVI. Er zullen toch extra gegevens verzameld moeten worden naast EVI.

Naast het rapport dat gemaakt wordt door een kennispartner is er een reactie nodig op het rapport om de resultaten te duiden. Denk hierbij aan een begeleidend schrijven met reacties op resultaten.

Vrijwilligers zijn onmisbaar in het culturele veld. Ze dragen met liefde zorg voor je organisatie en staan vaak in direct contact met je bezoekers. Vaak ontvangen ze vanuit de bezoekers (on)gevraagd feedback die belangrijk kan zijn voor de bezoekersbeleving. Of ze merken zelf dingen op die aan tot een betere service leidt. Maar hoe verwerk je als organisatie de feedback op een efficiënte manier? We geven je 7 tips:

  1. Laat weten aan vrijwilligers dat hun feedback waardevol is en koppel terug wat en wanneer er iets met de feedback wordt gedaan.
  2. Zorg voor een eenduidig verwerkingssysteem, zowel voor vrijwilligers als voor de organisatie. Gelet op de leeftijd van je vrijwilligers kan je bijvoorbeeld kiezen voor een schriftje bij de balie of het sturen van mails naar één contactpersoon van de organisatie.
  3. Maak een databestand aan in Excel waarbij je de feedback op datum plaatst en categoriseert. Zo kun je zien hoe vaak een opmerking voorkomt, en of een opmerking na een periode ook weer verdwijnt.
  4. Maak van je data grafieken en tabellen en plaats deze in een overzichtelijk A4 zodat je aan je organisatie in één oogopslag kunt laten zien waar de aandachtspunten en complimenten liggen.
  5. Plan iedere maand, kwartaal of half jaar een moment in om in groter verband de feedback door te nemen. Maak actiepunten waar aan gewerkt gaat worden.
  6. Evalueer bij het volgende overlegmoment of de actiepunten zijn doorgevoerd en of daar ook resultaten van zijn, bijvoorbeeld doordat klachten niet meer terugkomen.
  7. Let tot slot op representativiteit: niet alle bezoekers zijn geneigd hun mening door te geven aan vrijwilligers. Daardoor kan een mening niet altijd geldend zijn voor het alle bezoekers. Je kunt meer feedback verzamelen door bijvoorbeeld te kijken naar respons in een gastenboek, of bij Google-reviews. Deze kun je ook in je databestand opnemen. Wil je nog meer informatie over de tevredenheid van je bezoekers? Houd dan een bezoekersonderzoek.

Wil je meer weten over bezoekersonderzoek en hoe ik je daarbij kan helpen? Kijk dan hier of neem direct contact met me op.

Creativiteit wordt omschreven als een van de belangrijkste 21st-century skills. Maar wat betekent creativiteit nou eigenlijk? Creativiteit wordt op verschillende manieren gedefinieerd. Dit is vaak afhankelijk vanuit het perspectief van waaruit je er naar kijkt. Je kunt het bijvoorbeeld op artistiek niveau bekijken, maar ook hoe iemand een project opzet of denkt. Veel mensen zien creativiteit als de mate waarin iemand nieuwe ideeën kan bedenken. Maar creativiteit is veel meer dan dat.

Uit onderzoek is gebleken dat creativiteit bestaat uit 7 aspecten. Dit zijn:

Bij deze aspecten kun je denken aan dat je vragen stelt, problemen verkent, onderzoekt, doorgaat als het moeilijk is, durven, nieuwe dingen maken, verschillende oplossingsmogelijkheden bedenken, feedback geven en ontvangen (gevraagd en ongevraagd), reflecteert op product en proces, aan (je eigen) kwaliteitsnormen voldoet en in staat bent beslissingen te maken.

Creativiteit kent dus verschillende invalshoeken, die alle zeven nodig zijn om volledig tot ontwikkeling te komen. Hierdoor kunnen mensen op verschillende manieren creatief zijn. Wanneer je iemand een test zou laten maken, dan zal je ook zien dat deze op sommige punten beter scoort dan andere. Waar het ene aspect in ‘de aard van het beestje’ zit, kan de andere getraind worden. Je kunt bijvoorbeeld oefenen om feedback te geven en te ontvangen.

Maar waar ben jij sterk in en waar moet of wil je aan werken? Daarvoor kan je een creativiteitstest doen. Nieuwsgierig? Helaas kunnen we je nog niet doorverwijzen naar een dergelijke test. Wij zijn de test praktisch toepasbaar aan het maken.

Het wordt tegenwoordig steeds belangrijker om een bezoekersonderzoek binnen de organisatie uit te voeren. Je wilt het doen om bepaalde beslissingen te maken of om je te verantwoorden bij partners of subsidiegevers. Ik leg je uit hoe je een bezoekersonderzoek doet en wat je met de resultaten kan.

Wat is een bezoekersonderzoek en hoe voer je het uit?

Een bezoekersonderzoek is gericht op een organisatie die te maken heeft met publiek en wil weten hoe (een specifiek onderdeel van) de organisatie wordt gewaardeerd. Dat kan vanuit diverse afdelingen zoals educatie, marketing & communicatie en beleid interessant zijn. Het is belangrijk om voorafgaand vast te stellen welke vragen je wilt stellen en welke onderzoeksmethode het meest efficiënt is. Zo kom je tot de beste uitkomsten.

Welke beslissingen maak je naar aanleiding van de uitkomsten?

De uitkomsten van je bezoekersonderzoek kunnen bepaalde aannames die voorheen bestonden bevestigen of juist weerleggen. En daarmee kan je aan de slag. Dit kun je bijvoorbeeld doen:

  1. Je kunt je communicatiemiddelen aanpassen. Je weet nu immers hoe de bezoekers bij je organisatie terecht zijn gekomen. Besteed je je budget aan de juiste kanalen?
  2. Je stemt je programmering beter af op de wensen van je publiek. Of je kiest er juist voor om behoefte te creëren bij je publiek door ze met je programmering te verrassen.
  3. Je kunt besluiten compleet nieuw aanbod te maken om nieuwe bezoekers te trekken. Maar let op: je zal nooit iedereen naar jouw organisatie kunnen trekken. Om zo goed mogelijk je gewenste doelgroep te bereiken, moet je echt in contact komen met de doelgroep, luisteren naar de wensen, je aanbod hierop aanpassen en kijken welke communicatiemiddelen het meest effectief bij ze werken.

Wat je ook naar aanleiding van je onderzoek bepaalt, ze kunnen je organisatie sterker maken. Je kan verantwoord en onderbouwd wel of niet met de resultaten aan de slag gaan.

Meer weten over bezoekersonderzoek en hoe ik je daarbij kan helpen? Kijk dan hier of neem direct contact met me op.

Cultuureducatie wordt steeds meer gezien als een belangrijk vak binnen het onderwijs. Net zo belangrijk als bijvoorbeeld taal en rekenen. Maar, als het gezien wordt als zo’n belangrijk vak, moet het ook zo behandeld worden. Er zal dan, binnen cultuureducatie, ook gekeken moeten worden naar de ontwikkeling van leerlingen. Net zoals bij rekenen en taal.

Culturele competenties bieden hiervoor een goed handvat om cultuureducatie in te richten. De competenties dienen als hulpmiddel om waar te nemen, te beoordelen, te plannen en een richting te bepalen voor de leerlingen. Hierdoor kunnen scholen hun culturele activiteiten zorgvuldiger kiezen en gericht werken aan de culturele ontwikkeling van hun leerlingen.

Culturele competenties gaan verder dan vakvaardigheden. Een competentie gaat over vaardigheden, kennis en houding. Over hart, hoofd en handen. Er worden over het algemeen drie competenties onderscheiden binnen het cultuuronderwijs:

Deze drie competenties zijn altijd met elkaar verbonden, maar een activiteit kan altijd een focus hebben op één van de drie. Aan elke competentie zijn gedragsindicatoren verbonden: Specifiek gedrag wat je bij de leerling terug wilt zien.

Voordelen van het werken aan competenties binnen cultuuronderwijs:

Voor Kunstbalie heb ik een eerste opzet ontworpen voor een volginstrument om de culturele ontwikkeling van leerlingen te volgen.

Erfgoededucatie wordt steeds belangrijker op school. Er worden steeds meer projecten en lessen aangeboden door velerlei verschillende aanbieders. Als school,  als financier van erfgoed-educatieve projecten, maar ook als aanbieder wil je weten of een project goed is. Wanneer is het een goed project en lessenreeks?

Organisatie

1)         Een project of lessenreeks moet een doel hebben. Wat wil je de leerlingen leren? Wil je ze kennis meegeven, vaardigheden aanleren of wil je ze laten nadenken en reflecteren op zaken uit het verleden? Verschillende leerdoelen vragen om verschillende werkvormen.

2)        Daarnaast is de positie van educatie binnen de organisatie bepalend voor de kwaliteit die geboden wordt. Is het primaire doel van bijvoorbeeld een museum het delen van kennis en anderen laten leren over hun collectie, zal de kwaliteit van de educatie beter zijn dan van een museum die primair verzameld en binnenschoolse educatieve projecten verzorgt omdat het een verplichting is vanuit het ministerie.

Inhoud

3)        De geboden leerstof moet aansluiten op het curriculum, deel uit maken van een doorgaande leerlijn op het gebied van erfgoed en verankerd zijn op school. Als het project los staat van de overige lesstof, zal het geleerde niet blijven hangen, omdat de leerlingen het niet kunnen verbinden met andere dingen die ze leren. Een project moet passen binnen de lesstof op school, maar ook voortbouwen op eerdere erfgoedlessen. Erfgoed moet ook verankerd zijn op school en daarmee een eigen plek hebben op school en binnen het curriculum. Binnen een lessenreeks passen ook bezoeken aan instellingen en expedities door de buurt. Deze moeten echter wel ingekaderd zijn in eerdere lessen en op gereflecteerd worden.

4)       De kwaliteit van de inhoud wordt veelal ook bepaald door de deskundigheid van de educatoren en begeleiders. Ook de mate waarin de lesstof aansluit op het niveau van de leerlingen (denk aan taalgebruik) is bepalend voor de kwaliteit.

Lerend vermogen van de organisatie

5)        Een organisatie die erfgoededucatieve projecten en lessen organiseert, doet dit beter als ze hierbij samenwerken met anderen, zoals scholen, andere aanbieders in de buurt en tweedelijns instellingen. Samen kom je tot betere projecten dan alleen.

6)        Ten slotte bieden evaluerende organisaties beter projecten. Door te evalueren leren zij van eerdere projecten en worden projecten steeds aangescherpt. Je kunt beter voortborduren op eerder opgedane ervaring en samen kijken wat hier aan verbeterd kan worden dan elke keer het wiel opnieuw uit te vinden of door gaan op een manier waarvan je niet weet of deze succesvol is. Bij evaluaties moet echter een duidelijk verschil  gemaakt worden tussen leuk en leerzaam. Met een project dat alleen leuk is, leren de leerlingen niets en bereik je je doel niet.

Hulp nodig bij de uitvoering van een onderzoek? Lees hier wat ik voor je kan betekenen.

Steeds vaker hoor ik de roep om kwaliteit voor cultuureducatie. Zo ook op de conferentie ‘Wie doet wat?’ (26 augustus 2011 door Cultuurnetwerk Nederland en Kunstfactor). Volgens Piet Hagenaars (directeur Cultuurnetwerk Nederland) schort het momenteel aan kwaliteit van cultuureducatie op scholen en bezoekers waren het daar mee eens.

Maar wat is kwaliteit? En kun je dat meetbaar maken?

Dat kun je op verschillende manieren aanpakken. Je kunt naar doelen kijken van cultuureducatie en die vervolgens SMART formuleren en evalueren. Behaal je de doelen die je hebt gesteld? Cultuureducatie is enerzijds gericht zijn op toekomst cultuurdeelname (wat gemeten kan worden door gedragsvoorspellers zoals attitude te meten) en anderzijds op empowerment en (talent)ontwikkeling.

Om niet elk project aan een uitvoerig onderzoek te onderwerpen of het bijdraagt aan de toekomstige cultuurdeelname en empowerment van leerlingen, kan een keurmerk ontwikkeld worden. Met onderzoek waarbij gekeken wordt naar doelbereik, kunnen succesfactoren gedestilleerd worden. Aan de hand van deze kenmerken kan een keurmerk ontworpen worden samen met expert. Een kwaliteitskeurmerk. Bijvoorbeeld het inspelen op het niveau van de leerlingen op het gebied van de betreffende kunstdiscipline, integraliteit met andere vakken en ouderbetrokkenheid maken de kans op doelbereik groter. Met een keurmerk krijgen cultuurcoördinatoren bij scholen en gemeenten een instrument in handen dat ze helpt bij de keuze tussen verschillende projecten en aanbieders. Het geeft aanbieders een instrument in handen van belangrijke kenmerken die een project moet hebben.

Het vast stellen van kwaliteit kan cultuureducatieve instellingen op meerdere gebieden helpen. Allereerst wordt er kwaliteit geboden, wat belangrijk is voor de leerlingen en de scholen. Ook aan financiers kan aangetoond worden dat er een goed product wordt aangeboden. Voor overheden interessant, maar ook andere partners.

Andere partners dan de overheid worden steeds belangrijker voor de culturele sector. Instellingen moeten kijken naar hun publiek. Maar ook commerciële partijen worden belangrijker. Gekeken moet worden naar andere partijen die dezelfde belangen delen. Ook buiten de sector, bijvoorbeeld de sportsector als het dans betreft.

Hierbij hoort het formuleren van doelen en het afleggen van verantwoording. Hier kunnen het meten van effecten, evaluatie van projecten en het vaststellen en meten van kernpunten een bijdrage aan leveren.

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone