Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.
De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?
• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?
• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.
Als opdrachtgever bepaal jij wat je wilt laten onderzoeken. Dat betekent dat jij de touwtjes in handen hebt. Jij kunt invloed kan uitoefenen op het onderzoek (en de onderzoeker) op bepaalde momenten in het proces. Maar welk moment is nu de juiste om dat te doen?
In het eerste gesprek tussen de opdrachtgever en onderzoeker wordt besproken wat er precies onderzocht gaat worden. Geef goed aan wat jij voor ogen hebt en wat je verwacht van het onderzoek en de onderzoeker. Je kunt hier ook kort aangeven hoe de rapportage eruit moeten komen te zien, maar details zijn later pas van belang.
Nadat het duidelijk is wat er onderzocht gaat worden, zet de onderzoeker een meetinstrument op. Op dit moment kun je nog vragen stellen over de inhoud van het onderzoek en aanpassingen maken aan het meetinstrument. Ben je toch niet helemaal tevreden over de richting waar het onderzoek opgaat? Geef dat dan nu aan.
Zodra de dataverzameling is begonnen, kan er niks meer worden veranderd aan de richting van het onderzoek of het meetinstrument. Houd in deze periode wel vinger aan de pols of er voldoende respons is, hoe het gaat en of het nodig is extra inspanningen te doen.
Geef aan, vóórdat de onderzoeker aan de analyse en het rapport begint, welke informatie en gegevens erin moeten komen, maar ook wat het doel is van je rapport (naslagmateriaal, mensen overtuigen, verantwoording). Dan kan de onderzoeker het rapport en de vormgeving ervan daarop aan laten sluiten. Bespreek ook welke vorm het rapport moet krijgen. Het hoeft namelijk geen klassiek rapport te zijn, het kan ook een artikel, presentatie of factsheet zijn. Lees voor verschillende mogelijkheden ook mijn blog: 8 vormen om je onderzoeksresultaten te verspreiden.
Bij het opzetten van een onderzoeksopzet komen er allerlei vragen naar boven. Veel is interessant, maar wat gaat je écht verder helpen? Probeer dit onderscheid steeds te maken tijdens alle fases van je onderzoek: bij het opstellen van je plan, het ontwerpen van je instrument, het verzamelen van je data, maar ook bij de analyse en rapportage. Welke informatie heb je nodig om je doel te bereiken en wat is ‘slechts’ interessant.
Niet verdwalen
Een onderzoek moet informatie opleveren. Maar teveel informatie is ook niet fijn. Je verdwaalt in je data en je kunt je onderzoeksvragen niet meer helder beantwoorden. Als je bijvoorbeeld een vragenlijst maakt, is het heel makkelijk om ‘die ene vraag’ er nog even in te stoppen, omdat het zo leuk is om te weten. Maar zullen de antwoorden ook echt nuttig zijn voor je onderzoek? Vraag jezelf daarom af welke informatie je écht nodig hebt om je onderzoeksvraag te beantwoorden.
Maak daarnaast een overzicht van de informatie die je al bezit. Zo voorkom je dubbel werk.
Helder doel opstellen
Zorg er voor dat je een helder doel voor ogen hebt. Welke informatie moet je onderzoek opleveren? Stel dat je wilt weten hoe je bezoekers jouw tentoonstelling ervaren. Dan is dat waar je onderzoek naar gaat doen. Houdt bij het opstellen van de vragenlijst steeds je doel erbij, zodat je alleen onderzoekt wat je ook echt wilt onderzoeken.
Keuzes maken
Maak keuzes in wat je wilt weten. Hoe doe je dat? Blijf deze vragen stellen om die keuzes goed te kunnen maken:
In de eerder verschenen blog gaf ik tips om discipline-overstijgend samen te werken. Om zo’n samenwerking goed te laten verlopen moet je elkaar kennen en weten wat bij de ander speelt. De gemeente kan een kennismaking op verschillende manieren faciliteren om de samenwerking op gang te brengen. Ik noem er een paar:
De gemeente kan een beursvloer organiseren, waar gehandeld wordt in diensten en goederen tussen ondernemers, maatschappelijke organisaties en verenigingen. Deals kunnen betrekking hebben op menskracht, kennis, toegang tot netwerken, materiaal, faciliteiten en creativiteit. Wat de één over heeft of graag wil bieden, is voor de ander zeer gewenst. Een beursvloer bevordert de contacten en samenwerking tussen het bedrijfsleven en maatschappelijke organisaties in de gemeente.
Speeddaten is ook een manier voor netwerken, (verdere) kennismakingen en kennisuitwisseling. Tijdens een speeddate vinden er korte gesprekken plaats tussen verschillende organisaties in de gemeente. Door de opzet van de bijeenkomsten komen organisaties de elkaar (nog) niet kennen tot verrassende, inspirerende en leuke gesprekken en er ontstaat een leuke en speelse sfeer.
Een marktplaats geeft organisaties, verenigingen en ondernemers uit de gemeente de gelegenheid om hun producten, programma’s en activiteiten te presenteren. Bijvoorbeeld door echte marktkramen te gebruiken. Organisaties kunnen elkaar ontmoeten, maar ook het publiek kan kennismaken met het aanbod in de gemeente. Een marktplaats is een meer informele vorm van de beursvloer, die toegankelijk gemaakt kan worden voor een breder publiek.
Bij een gezamenlijke brainstormsessie komen verschillende partijen bij elkaar om samen ideeën uit te wisselen. Tijdens een brainstormsessie heeft iedereen een gelijkwaardige positie en kan iedereen vrijuit praten. Doordat verschillende partijen bij elkaar komen leren organisaties elkaar kennen en kunnen nieuwe ideeën ontstaan voor mogelijke samenwerkingen.
Onze blog over procesevaluatie wordt veel gelezen. In een procesevaluatie draait het om hoe je samenwerkt en hoe het proces verloopt. Maar ook aan het begin van een project heb je belangrijke vragen. En tijdens of na afloop wil je weten wat het project heeft opgeleverd. Denk aan vragen als: Wat was de startsituatie? Welke aannames hadden we? Zijn die uitgekomen? Hebben we ons doel bereikt? En wie hebben we eigenlijk bereikt?
Een projectevaluatie helpt je om het resultaat goed te bekijken. Je ontdekt wat werkte, wat beter kon en wat je meeneemt naar een volgend project. Zo blijf je leren en verbeteren. Met deze checklist ontdek je welke vragen je kunt stellen bij de verschillende fases van een project.
Een goede voorbereiding is het halve werk. Stel daarom aan het begin van je project de juiste vragen. Zo breng je de situatie helder in beeld en voorkom je verrassingen.
• Hoe ziet de doelgroep eruit?
• Wat zijn de behoeften?
• Wat zijn actuele ontwikkelingen waar je op in wilt spelen?
• Wat zijn prioriteiten van stakeholders waar je rekening mee moet houden?
• Wat is de beginsituatie?
• Wat is de gewenste situatie en welke doelen vloeien hieruit voort?
• Wat zijn leerpunten van vorige projecten?
• Welk probleem wil je oplossen met het project?
• Wat is het meest geschikte instrument?
• Wat zijn de sterktes, zwaktes, kansen en bedreigingen? (SWOT)
Tijdens het project is het belangrijk om te checken of je nog op koers ligt. Door tussentijds te evalueren kun je bijsturen waar nodig.
Stel jezelf vragen als:
Na afloop kijk je terug:
Beantwoord deze vragen niet alleen met je projectteam. Vraag ook om input van de doelgroep, partners en andere betrokkenen. Zo krijg je een compleet beeld van het project.
In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:
Gemeenten werken steeds vaker samen met kunstenaars of culturele ondernemers om culturele initiatieven op te zetten om maatschappelijke en sociale doelen die de gemeente heeft te bereiken. Zo’n samenwerking kan mooie initiatieven voortbrengen, maar verloopt (nog) niet altijd even vlekkeloos. Een aantal dingen waar je als gemeente (en als kunstenaar) rekening mee moet houden tijdens een samenwerking:
Science centra en wetenschapsmusea willen met hun activiteiten de houding van bezoekers positief beïnvloeden. Het doel bij activiteiten voor scholen is om leerlingen te enthousiasmeren, interesseren en hun kennis te laten vergroten over wetenschap en techniek. Er zijn factoren die invloed hebben op de houding van leerlingen tegenover wetenschap en techniek, maar die vaak (nog) niet meegenomen worden door wetenschapsmusea. Door rekening te houden met deze factoren kunnen musea hun doel effectiever bereiken. De factoren die een rol spelen:
Uit het onderzoek van Justin Dillon over aspiraties in wetenschap & techniek (2013) blijkt dat families de grootste invloed hebben op de houding van leerlingen t.o.v. wetenschap en techniek. De interesse om later een baan te krijgen in de wetenschap & techniek is sterk verbonden met hoeveel ‘science capital’ een familie heeft. ‘Science capital’ zijn wetenschap gerelateerde eigenschappen, zoals functies binnen, kennis over, interesses in en sociale contacten binnen wetenschap & techniek. Het is dus van belang om ook volwassenen te interesseren voor wetenschap en techniek.
Wetenschap en techniek wordt door jongeren vaak gezien als iets voor hele slimme mensen. Dit imago wordt gevoed door wat kinderen op tv en social media voorbij zien komen. Ook lesprogramma’s op school helpen hier niet bij. Hoe vaak zie je dat bij videomateriaal een animatie wordt gebruikt van een ‘wijs’, Einstein-achtig figuur om de lesstof uit te leggen? Hierdoor vinden leerlingen wetenschap als snel ‘niets voor hen’, ook al vinden ze de inhoud misschien wel interessant. Meisjes kiezen bij voorbaat al minder vaak voor een carrière in wetenschap en techniek, omdat het wordt gezien als iets mannelijks. Ook al zijn zij in de eerste instantie wel geïnteresseerd in wetenschapsvakken op school. Science centra en musea kunnen hun activiteiten zo vormgeven dat wetenschap ‘voor iedereen’ is en daarmee het imago veranderen.
Veel jongeren zijn niet bekend met de diverse mogelijkheden die een baan binnen W&T biedt. Ze hebben weinig beleving over wat voor banen er allemaal zijn en waar wetenschap & techniek voor hen naartoe kan leiden. Reden hiervoor is onder andere de manier waarop wetenschap en techniek op school als vakken worden gegeven. Deze schoolvakken geven W&T op een oppervlakkige en ‘smalle’ manier weer. Science centra en scholen dienen samen te werken om een breder lesprogramma te maken dat een completer beeld geeft over wetenschap en techniek.
Wat bereik jij met de subsidie die je hebt gekregen? Subsidieverstrekkers willen graag weten wat wordt gerealiseerd met het geld dat zij hebben verstrekt. Er is veel discussie over hoe en wat hierover teruggekoppeld wordt naar de subsidieverstrekker en het verschilt dan ook sterk per gemeente of fonds hoe erover gerapporteerd moet worden. Sommigen willen weten wat je doet. Anderen willen weten wat je bereikt en bijdraagt aan het gezamenlijke doel.
Een voorbeeld van het aan tonen van wat je bereikt en bijdraagt aan het gezamenlijke doel is Natuurmuseum Brabant. Zij vertellen bij hun verantwoording iets over wat ze bereiken door hun manier van werken. En dan gaat het niet over het aantal bezoekers of het aantal leerlingen dat met school deelneemt aan een activiteit, maar over wat zo’n activiteit met school te weeg brengt bij de leerlingen.
Natuurmuseum Brabant heeft meegedaan aan een gezamenlijke benchmark vanuit de VSC waar natuurmusea, wetenschapscentra en techniekmusea samen met mij een meetinstrument hebben samengesteld. Hiermee worden de kwaliteit van binnenschoolse projecten en de effecten ervan bij de leerlingen gemeten. De deelnemende musea hebben aangegeven wat in hun vakgebied zorgt voor kwaliteit en welke doelen zij willen bereiken. Op basis van deze input heb ik een meetinstrument gemaakt, waarmee de deelnemende musea data hebben verzameld.
De analyses van de data worden veelzijdig ingezet. Natuurmuseum Brabant heeft hun analyse gebruikt bij de verantwoording naar de gemeente, maar ook om de activiteiten verder te verbeteren om nog beter hun doelen te bereiken: bezoekers en leerlingen leren over de natuur, interesseren voor de natuur, verwondering op te wekken en zelfs waardering voor de natuur te weeg brengen.
Kun jij aantonen wat je bereikt met je activiteiten?
Ik zie steeds vaker de wens vanuit gemeenten dat zij willen dat verschillende organisaties binnen de gemeente samen gaan werken (discipline-overstijgend). Denk aan sportverenigingen en scholen, culturele organisaties en welzijnsorganisaties, de verenigingen onderling en allerlei andere combinaties. Heel logisch omdat zij allen bijdragen aan doelen van de gemeente. Maar samenwerken omdat de gemeente vindt dat het moet, werkt helaas niet. Maar wat werkt wel?
Wat kan de gemeente doen om discipline-overstijgend samenwerking op gang te brengen? De gemeente kan de samenwerking wel faciliteren door bijvoorbeeld een beursvloer te organiseren waarop de verschillende partijen elkaar leren kennen en gezamenlijke problemen en doelen kunnen formuleren. Maar ook door een budget beschikbaar te stellen voor bijvoorbeeld gezamenlijk publiciteit, gezamenlijke materialen of een gezamenlijk evenement.
Een leuk voorbeeld van samenwerkende verenigingen vanuit verschillende disciplines (sport en cultuur) is Symphonica in sporto in de gemeente Vlieringsbeek-Groeningen.
