Een op maat gemaakt monitoring systeem om effecten te monitoren

De gemeente Oosterhout heeft in samenwerking met Oosterhout in Beweging, H19 en de bibliotheek het programma 'de brede buurt' ontwikkeld om mensen te verbinden, te betrekken, deel te laten aan de maatschappij en om mensen te laten leren. Hiervoor worden activiteiten op het gebied van sport, bewegen, kunst en cultuur afgestemd op verschillende doelgroepen. Hiervoor moet er een gevarieerd aanbod zijn van sport- en cultuuractiviteiten na schooltijd.

Om te weten of het programma werkt en waar bijgestuurd moet worden, is een monitoring systeem ontwikkeld op basis van de doelen van het programma 'de brede buurt'. Samen met de betrokken partijen zijn accenten aangebracht en is de eerste opzet van de monitor aangepast aan de praktijk en de reeds bestaande informatieverzameling. Met het nieuwe monitoring systeem gaan de verschillende betrokken partijen op dezelfde wijze gericht informatie verzamelen waarmee deze partijen en de gemeente inzicht krijgen in de effecten van hun werkzaamheden en of ze hun doelen gaan bereiken. Met deze informatie kunnen ze hun acties gericht bijsturen.

Lees meer:

Begeleiding moneva kunst centraal

Kunst Centraal is een organisatie op het gebied van kunst- en cultuureducatie. Zij stimuleren de vraag naar en versterken het aanbod van cultuureducatie in de provincie Utrecht. Kunst Centraal doet mee met het landelijk programma 'Cultuureducatie met Kwaliteit' en heeft mij gevraagd hen te begeleiden bij hun moneva (monitoring & evaluatie).

De medewerkers van Kunst Centraal en Landschap Erfgoed Utrecht (partner bij het programma 'Cultuureducatie met Kwaliteit') hebben zelf de nulmeting van hun moneva uitgevoerd. Ik heb ze hierbij begeleid, richting gegeven, gecoacht zodat zij de verzamelde informatie om konden zetten in praktische beleidsinformatie waarmee zij hun programma kunnen voeden. Doordat ze het zelf hebben gedaan onder mijn begeleiding hebben ze nu een goede meting met nuttige informatie en kunnen ze het de volgende keer zelf.

Lees meer:

Doelen formuleren: cultuur, sport en welzijn

Alvorens de gemeente Middelburg nieuwe subsidiekaders vaststelt, worden concrete doelen geformuleerd. Wat wil de gemeente bereiken op het gebied van cultuur, sport, welzijnswerk en wat is de rol van de gemeente en de burger daar in.
Per onderwerp is een bijeenkomst georganiseerd met raadsleden en beleidsmedewerker van het besproken onderwerp. Met hen zijn tijdens de bijeenkomsten doelen geïnventariseerd, bediscussieerd en geprioriteerd. Deze bijeenkomsten zijn voeding voor de hereiking van de beleidskaders.

Meetbaar maken

In de volgende fase, na het doelen formuleren, is een instrument ontworpen om het bereik van deze doelen te kunnen meten.

Lees meer:

Een volginstrument om culturele ontwikkeling te volgen

Ruim 23.000 leerlingen van 88 basisscholen uit 27 gemeenten in Noord-Brabant zijn in 2013 gestart met een programma om de kwaliteit van cultuureducatie op school te verdiepen en verbeteren. Men doet dit met behulp van De Cultuur Loper, een instrument om de landelijke doelen op dit terrein te realiseren.

Welke culturele competenties wil de school de leerlingen meegegeven? Cultuureducatie is meer dan een leerling een vaardigheid aanleren. Het gaat ook over het prikkelen van de creativiteit, het openstaan voor vernieuwing, het stimuleren van een kritisch denkvermogen en vooral het ontwikkelen van datgene wat men van een 21ste eeuwse burger verwacht.

Om leerkrachten te helpen hun leerlingen te begeleiden en stimuleren in hun culturele ontwikkeling heb ik een instrument ontwikkeld samen met Kunstbalie dat deze ontwikkeling in beeld brengt en handvaten biedt om leerlingen te stimuleren.

 

Lees meer:

Cultuurscouts nader bekeken

De gemeente Schiedam wilde graag weten wat de impact was van de cultuurscouts die enkele jaren ingezet werden om cultuur dichter bij de bewoners te brengen. De gemeente voerde dit beleid om enerzijds bewoners meer te betrekken bij hun eigen wijk, maar anderzijds ook om burgers meer aan cultuur te laten participeren. Projecten van de cultuurscouts komen voort uit wensen van bewoners en worden uiteindelijk weer overgedragen aan de bewoners.
Naast de impact van de cultuurscouts werd ook gekeken naar de werkwijze. Hoe konden zij hun werk slimmer aanpakken: beter grip krijgen op de wensen uit de wijk, nieuwe mensen bereiken, culturele activiteiten met meer bereik en impact organiseren en betere samenwerking met andere organisaties in de wijken. Om te achterhalen wat de impact was is van de cultuurscouts, hebben we groepsgesprekken gevoerd met deelnemers en apart met professionals in drie wijken. Daarnaast hebben we enkele individuele interviews afgenomen.

Lees meer:

In gesprekken met medewerkers van musea merk ik dat subsidiërende lokale overheden voornamelijk kijken naar bezoekersaantallen. Want dat is gemakkelijk meetbaar. Maar wat is het doel van deze gemeenten om het museum te subsidiëren? Steunt de gemeente het doel van het museum (mensen iets leren over of interesseren voor een bepaald onderwerp)? Wil de gemeente dat het museum bijdraagt aan de identiteit van de gemeente? Of wil de gemeente zo veel mogelijk bezoekers?

Door het doel dat je als gemeente hebt met een museum (of een andere culturele instelling) samen scherper te formuleren, kun je samen kijken wat er dan wel en wat niet valt onder de activiteiten die ontwikkeld moeten worden om dit doel te bereiken. Twee voorbeelden om te verduidelijken wat ik bedoel.

Eerste voorbeeld: een museum is onderdeel van de identiteit van een gemeente. Op het gebied van binnenschoolse cultuureducatie kan dit betekenen dat het museum samen met de school kijkt naar de geschiedenis van de gemeente of met de leerlingen op zoek gaat naar wat de burgers bindt in deze gemeente. Een museum kan in dit geval ook een bijdrage leveren aan themajaren en zich buiten de muren van het museum profileren.
Tweede voorbeeld: een museum wil mensen binnen de gemeente en daarbuiten interesseren voor een bepaald onderwerp, kunststroming of historische periode. Door niet afgerekend te worden op het aantal bezoekers aan de deur, kunnen  ze ook naar de bezoekers toegaan door bijvoorbeeld met een mobiele tentoonstelling te staan op een drukke plaats, zoals het station, een winkelstraat of een ziekenhuis. Mensen die normaliter niet naar het museum komen, maken nu wel op een laagdrempelige manier kennis met het onderwerp,  de kunststroming, een kunstenaar of een historische periode en het museum. Door het laagdrempelig en kleinschalig aanbieden van cultuur zullen mensen aangesproken worden die normaliter het museum niet zouden bezoeken. Zo worden nieuwe publieksgroepen iets geleerd over, geïnteresseerd voor een bepaald onderwerp. Wat ze moeilijker lukt als ze naar het museum gelokt moeten worden.

Ik begrijp dat het lastiger te meten is of een museum bijdraagt aan deze doelen, dan bezoekers te tellen. Maar het geeft het museum meer mogelijkheden om naar potentiele bezoekers toe te gaan door minder gebonden te zijn aan hun gebouw. Door elders kennis te maken met het museum gaan mensen het meer waarderen, komt er meer draagvlak en zullen er uiteindelijk meer bezoekers komen omdat niet alleen de bekendheid is toegenomen, maar ook de drempels om het museum te bezoeken verlaagd zijn.

Ps. En ook van deze doelen kan gemeten worden of ze gehaald worden.

Van je publiek kun je leren. Kom meer over ze te weten, waardoor je je aanbod en je communicatie op ze aan kunt passen en zo aantrekkelijker voor ze wordt. In mijn blog 'hoe klantenonderzoek kan helpen bij het werven van publiek' staan redenen waarom je klantenonderzoek, ook wel publieksonderzoek genoemd, wil doen. In deze blog vertel ik hoe je je publiek kunt onderzoeken.

1. Gebruik van bestaande gegevens

Er is al veel bekend over bezoekers van culturele instellingen. Daarnaast kun je door bestaande databestanden en beschikbare informatie binnen de organisatie (denk aan kassagegevens) slim aan elkaar te koppelen veel informatie op instelling niveau stroomlijnen en analyseren.
Om dit te vergemakkelijken verwacht ik binnenkort samen met pon een dienst aan te bieden waarbij we door bestaande klantgegevens en een nieuw samengesteld databestand meer informatie kunnen geven over het publiek, hun profiel, hun interesses, hun drempels (en hoe deze weg te nemen) en hoe ze te bereiken.

2. Bestaand publiek vragen

* Kwantitatief: Veel organisaties bevragen met bestaande publiek met vragenlijsten, online en offline. Is de bezoeker tevreden? Hoe was hij op de hoogte van de voorstelling/tentoonstelling? Wat vind hij van wat hij gezien/ervaren heeft? Komt hij terug en wat mist hij in het aanbod?
Hierbij kun je aanhaken op bestaande benchmarks of een vragenlijst afstemmen op de eigen organisatie. Er zijn velerlei standaardvragenlijsten hiervoor in omloop.

* Kwalitatief: Om diepgaandere en meer gedetailleerde informatie te krijgen kun je groepsgesprekken voeren, interviews en observaties doen. Hiermee kom je meer te weten over je publiek en komt er meer gedetailleerde informatie naar voren.

3. Potentieel bezoek vragen

Door mensen te vragen die nog niet komen, kom je er achter wat hen tegenhoudt en wat je kunt doen om deze drempels weg te nemen, zodat ze wel komen. Dit kan op verschillende manieren. Je kunt hierbij gebruik maken van bestaande panels.

Culturele instellingen als musea, kunstencentra, theaters, galeries, festivals en bibliotheken,  krijgen veel bezoekers over de vloer. Publieksonderzoek helpt u deze bezoekers te leren kennen en aan u te binden. Door meer te weten te komen over uw bezoekers kunt beter inspelen op hun behoeften, ze beter bereiken en uw organisatie leren verbeteren.

1. Beter inspelen op behoeften bestaande bezoekers

Door uw bezoekers beter te kennen kunt u enerzijds beter inspelen op hun behoeften, zonder dat het uw artistieke of historische product aantast. Bezoekers komen namelijk niet alleen voor de theatervoorstelling of een tentoonstelling, maar voor de gehele ervaring. De entree, de horeca, de garderobe, de routing horen hier ook bij. Als dit beter aansluit bij de bezoekers, zullen zij vaker terug komen en zelfs ambassadeur worden.

2. Beter bereik nieuwe bezoekers

Anderzijds leert u hoe u deze mensen kunt bereiken. Doordat u bekend bent met de mediakanalen die zij gebruiken en andere (culturele) instellingen die zij bezoeken, kunt u hen gericht benaderen. Zo kunt u combinatieaanbiedingen doen met een restaurant in de buurt of via bepaalde websites.

3. Verbeteren van uw organisatie

Ten slotte leert u uw organisatie beter kennen. Bezoekers helpen u beter te presteren. Door informatie te verzamelen over waar ze tevreden over zijn en waar niet, leert u de verbeterpunten van uw organisatie kennen. Kan de kaartverkoop verbeterd worden, of sluit het aanbod van de horeca of de museumwinkel niet aan bij de behoeften. Maar ook de punten die hoog gewaardeerd worden en dus verder uit gebuid kunnen worden, door ze bijvoorbeeld meer te benadrukken in uw marketingactiviteiten.

Erfgoededucatie wordt steeds belangrijker op school. Er worden steeds meer projecten en lessen aangeboden door velerlei verschillende aanbieders. Als school,  als financier van erfgoed-educatieve projecten, maar ook als aanbieder wil je weten of een project goed is. Wanneer is het een goed project en lessenreeks?

Organisatie

1)         Een project of lessenreeks moet een doel hebben. Wat wil je de leerlingen leren? Wil je ze kennis meegeven, vaardigheden aanleren of wil je ze laten nadenken en reflecteren op zaken uit het verleden? Verschillende leerdoelen vragen om verschillende werkvormen.

2)        Daarnaast is de positie van educatie binnen de organisatie bepalend voor de kwaliteit die geboden wordt. Is het primaire doel van bijvoorbeeld een museum het delen van kennis en anderen laten leren over hun collectie, zal de kwaliteit van de educatie beter zijn dan van een museum die primair verzameld en binnenschoolse educatieve projecten verzorgt omdat het een verplichting is vanuit het ministerie.

Inhoud

3)        De geboden leerstof moet aansluiten op het curriculum, deel uit maken van een doorgaande leerlijn op het gebied van erfgoed en verankerd zijn op school. Als het project los staat van de overige lesstof, zal het geleerde niet blijven hangen, omdat de leerlingen het niet kunnen verbinden met andere dingen die ze leren. Een project moet passen binnen de lesstof op school, maar ook voortbouwen op eerdere erfgoedlessen. Erfgoed moet ook verankerd zijn op school en daarmee een eigen plek hebben op school en binnen het curriculum. Binnen een lessenreeks passen ook bezoeken aan instellingen en expedities door de buurt. Deze moeten echter wel ingekaderd zijn in eerdere lessen en op gereflecteerd worden.

4)       De kwaliteit van de inhoud wordt veelal ook bepaald door de deskundigheid van de educatoren en begeleiders. Ook de mate waarin de lesstof aansluit op het niveau van de leerlingen (denk aan taalgebruik) is bepalend voor de kwaliteit.

Lerend vermogen van de organisatie

5)        Een organisatie die erfgoededucatieve projecten en lessen organiseert, doet dit beter als ze hierbij samenwerken met anderen, zoals scholen, andere aanbieders in de buurt en tweedelijns instellingen. Samen kom je tot betere projecten dan alleen.

6)        Ten slotte bieden evaluerende organisaties beter projecten. Door te evalueren leren zij van eerdere projecten en worden projecten steeds aangescherpt. Je kunt beter voortborduren op eerder opgedane ervaring en samen kijken wat hier aan verbeterd kan worden dan elke keer het wiel opnieuw uit te vinden of door gaan op een manier waarvan je niet weet of deze succesvol is. Bij evaluaties moet echter een duidelijk verschil  gemaakt worden tussen leuk en leerzaam. Met een project dat alleen leuk is, leren de leerlingen niets en bereik je je doel niet.

Hulp nodig bij de uitvoering van een onderzoek? Lees hier wat ik voor je kan betekenen.

Monitoring en evaluatie wordt steeds vaker verplicht gesteld bij subsidieaanvragen. Dit wordt onder andere gedaan omdat monitoren en evalueren de aanvragers helpen zicht te houden op hun project en het bereiken van hun doel.

Monitoren = zicht houden op het projectverloop

Door een project te monitoren krijgt een projectleider inzicht in zijn project en weet tijdig wanneer en waar er bijgestuurd moet worden. Door stelselmatig, dus regelmatig, voor het project belangrijke feiten op een rijtje te zetten, houdt de projectleider grip op het project en is de kans groter dat het projectdoel gehaald wordt.

Dit kan zo uitgebreid en dus ook zo praktisch als nodig. Wetenschappelijke onderzoeken zijn hiervoor niet nodig. Ook vergelijkingen met andere soortgelijke projecten niet. (Het gaat ten slotte om het bereiken van jouw projectdoel en niet meer of iets anders te bereiken dan je collega-projectaanvragers). Wel is een duidelijk beeld over het te behalen doel nodig, welke subdoelen hier aan bijdragen en wat hiervoor gedaan moet worden. Dit leidt tot het meetbaar maken van je doel.

Meetbaar maken van je doel

Om je doel meetbaar te maken en dus een instrumentarium te krijgen dat je in kunt zetten om te monitoren moet je allereerst je doel duidelijk stellen. Hoe specifieker je dit doet, des te gemakkelijker wordt het dit meetbaar te maken. Splits je doel hiervoor op in subdoelen. En blijf doorvragen (wat, hoe, wanneer, hoeveel, waar). Vertaal container begrippen in concrete doelen en probeer hierbij niet te verzanden in overtreffende woorden (beter, meer), maar maak het specifiek. Stel je doel en subdoelen zo SMART mogelijk op.

Hoe kun je meten?

Als je je subdoelen hebt vastgesteld en je hebt hierbij in detail doorgevraagd, heb je enerzijds input voor je projectplan en anderzijds een aantal ijkpunten waarop je wilt monitoren. Per ijkpunt moet gekeken worden hoe je je dat gaat meten. Er zijn verschillende manieren van meten: gestructureerde gesprekken, vragenlijsten, documentstudie van aanwezig materiaal zijn enkele voorbeelden. Kun je het zelf doen, zoals het aantal scholen dat mee werkt of heb je hulp nodig. Omdat de subdoelen verschillen per project, is het lastig daar iets algemeens over te zeggen. Mocht je hier behoefte aan hebben, kijk ik graag een keer mee naar het projectplan, de doelen en subdoelen om samen te komen tot manieren waarop iets gemeten kan worden. Kijk ook naar mijn blog: tien tips voor het meten van effecten en enkele cases toegelicht in mijn blog over het meetbaar maken van effecten van projecten of programma.

Wanneer ga je meten?

De eerste meting is bij aanvang. Je wilt ten slotte de beginsituatie weten.

Vervolgens ga je naar behoeve gedurende het project meten. Dit kan halfjaarlijks of jaarlijks. De ijkpunten die je hebt gebruikt bij de eerste meting, ga je gedurende het project regelmatig vaststellen. Indien nodig kun je een informatiesysteem ontwerpen waarin de benodigde informatie op gezette tijden aangeleverd wordt. Je kunt hierbij denken aan halfjaarlijks terugkerende gesprekken met een vast structuur met betrokken partijen of aan het jaarlijks bestuderen van het beleidsplan van de school via een vast stramien.

Zorg er voor dat je telkens weer dezelfde soort informatie krijgt waardoor ontwikkeling zichtbaar is, maar ook die informatie waarop je kunt sturen.


[1] Enkele voorbeelden van vragen: Wat verstaan wij onder een doorgaande leerlijn? Hoe moet deze eruit zien? Wat is een relatie tussen school en culturele instelling (elkaars telefoonnummer hebben, op de hoogte zijn van het aanbod, regelmatig overleggen hoe het cultureel aanbod ingepast kan worden in het curriculum). Over hoeveel scholen gaat het? Wat is het deskundigheidsniveau van leerkrachten nu en wat zou het moeten zijn. Wat definieert het deskundigheidsniveau (inhoudelijke kennis, vaardigheid om cultuur te relateren aan andere lesstof).

Meer informatie over Monitoring

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone