Doen we de dingen goed? OF doen we de goede dingen? Twee vragen die sterk op elkaar lijken, maar die wel degelijk twee verschillende betekenissen hebben. Organisaties die evalueren stellen vaak de eerste vraag: Doen we de dingen goed? Er wordt dan kritisch gekeken naar de huidige activiteiten om ze in de toekomst te verbeteren. Dit is zinvol als je een kwaliteitsslag wil maken in je project. Maar wil je weten of je je doelen daadwerkelijk bereikt? Dan moet je de tweede vraag stellen: Doen we de goede dingen? Je wilt dan weten of de projecten en activiteiten bijdragen aan de geformuleerde doelen, niet of het losstaande project goed wordt uitgevoerd.
Om erachter te komen of je de goede dingen doet is het in de eerste plaats belangrijk om de doelen helder voor ogen te hebben. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten.
Vervolgens vertaal je deze doelen naar meetbare indicatoren (vergeet daarbij niet dat alles meetbaar is). Je kijkt vervolgens welke activiteit in welke mate bijdraagt aan je doelbereik. Zo krijg je inzicht in of je de goede dingen doet. Als je daarnaast verkent welke opties er nog meer zijn om je doelen te bereiken, krijg je inzicht in alternatieven en kun je kritisch kijken naar de mix van activiteiten die er zijn om je doel te bereiken.
In de eerder verschenen blog gaf ik tips om discipline-overstijgend samen te werken. Om zo’n samenwerking goed te laten verlopen moet je elkaar kennen en weten wat bij de ander speelt. De gemeente kan een kennismaking op verschillende manieren faciliteren om de samenwerking op gang te brengen. Ik noem er een paar:
De gemeente kan een beursvloer organiseren, waar gehandeld wordt in diensten en goederen tussen ondernemers, maatschappelijke organisaties en verenigingen. Deals kunnen betrekking hebben op menskracht, kennis, toegang tot netwerken, materiaal, faciliteiten en creativiteit. Wat de één over heeft of graag wil bieden, is voor de ander zeer gewenst. Een beursvloer bevordert de contacten en samenwerking tussen het bedrijfsleven en maatschappelijke organisaties in de gemeente.
Speeddaten is ook een manier voor netwerken, (verdere) kennismakingen en kennisuitwisseling. Tijdens een speeddate vinden er korte gesprekken plaats tussen verschillende organisaties in de gemeente. Door de opzet van de bijeenkomsten komen organisaties de elkaar (nog) niet kennen tot verrassende, inspirerende en leuke gesprekken en er ontstaat een leuke en speelse sfeer.
Een marktplaats geeft organisaties, verenigingen en ondernemers uit de gemeente de gelegenheid om hun producten, programma’s en activiteiten te presenteren. Bijvoorbeeld door echte marktkramen te gebruiken. Organisaties kunnen elkaar ontmoeten, maar ook het publiek kan kennismaken met het aanbod in de gemeente. Een marktplaats is een meer informele vorm van de beursvloer, die toegankelijk gemaakt kan worden voor een breder publiek.
Bij een gezamenlijke brainstormsessie komen verschillende partijen bij elkaar om samen ideeën uit te wisselen. Tijdens een brainstormsessie heeft iedereen een gelijkwaardige positie en kan iedereen vrijuit praten. Doordat verschillende partijen bij elkaar komen leren organisaties elkaar kennen en kunnen nieuwe ideeën ontstaan voor mogelijke samenwerkingen.
Ik merk dat sportorganisaties en -verenigingen de effecten van hun beleid en activiteiten veelal meten aan de hand van bereikcijfers. De doelen die zij hebben met hun organisatie zijn dan ook vaak gerelateerd aan deze bereikcijfers. Doelen die gesteld worden gaan bijvoorbeeld over groei van het aantal teams dat aan een competitie mee doet, verhoging van het aantal leden van een vereniging, groei van het aantal educatieve activiteiten dat op scholen plaats vindt of stijging van de topsporters op de (inter-)nationale ranglijst. Deze doelen zijn te achterhalen door het in kaart brengen van bereikcijfers.
Sportorganisaties gaan er dan vanuit dat door het halen van de cijfermatige doelen, ook de ideële doelstellingen gehaald worden. Zoals het bevorderen van beweging onder jongeren, het verbeteren van competenties en persoonlijke ontwikkeling door de sport (zoals samenwerken en zelfvertrouwen) en het bevorderen van sociale cohesie. Het idee is dan: als het aantal leden stijgt, dan zijn er dus meer mensen gaan bewegen. Als er meer teams mee doen aan een competitie, dan werken dus meer mensen aan hun competenties.
Hoewel we in de culturele sector zien dat het meten van effecten vaak verder reikt dan alleen bereikcijfers, vraag ik me af of dit voor de sportsector ook geldt: Volstaat effecten meten aan de hand van bereikcijfers of hebben sportorganisaties ook baat bij het meten op een andere manier, op basis van ideële doelstellingen?
Steeds vaker zie ik dat het sportbeleid van een gemeente wordt bepaald in samenspraak met de burgers. Waar voorheen het sportbeleid alleen werd afgestemd met de sportorganisaties en samenwerkingspartners, is het nu steeds meer gericht op de behoeften van de eindgebruiker, de mensen die in de gemeente wonen en sporten. Het sportbeleid verschuift dan van aanbodgericht naar vraaggericht.
Door vraaggericht te werken worden burgers betrokken bij het maken en uitvoeren van het beleid. Niemand weet tenslotte beter aan welke activiteiten er behoefte is dan de mensen binnen de gemeente. Om het beleid vraag gestuurd in te richten, is het wel belangrijk dat de doelen van het sportbeleid vraaggericht zijn. En om vanuit deze doelen aan de slag te gaan.
Een voorbeeld van vraaggericht sportbeleid met vraaggerichte doelen kwam ik tegen tijdens de conferentie ‘De beweegkracht van sport & cultuur’ van LKCA. Dit is het programma CityTrainer van de gemeente ’s-Hertogenbosch. De methode CityTrainer is een samenwerking tussen het jongerenwerk, sport en cultuur. Hierbij wordt gekeken welke talenten er in de stad rondlopen en helpt hen om hun creatieve, sportieve, organisatorische en sociale talenten aan te scherpen en in te zetten voor de gemeente. Het doel van dit beleid is dat burgers vanuit zijn/haar intrinsieke motivatie bijdragen aan een creatieve, sportieve en sociale stad.
Bijzonder aan deze methode is dat minder vanuit bestaand aanbod wordt geredeneerd, maar meer vanuit de mensen in de gemeente. Wat willen zij en wat is hun behoefte? De beleidsdoelen zijn hierop afgestemd. Vervolgens wordt samen met hen een aanbod ontwikkeld.
Van aanbodgericht naar vraaggericht beleid vraagt dus om (nieuwe) beleidsdoelen die deze manier van werken ondersteunen. Deze vraaggerichte doelen geeft beleidsmakers handvatten om weloverwogen aan de slag te gaan met het maken en afstemmen van het beleid met de eindgebruikers.
Hulp nodig bij het formuleren van vraaggerichte doelen? Ik kan je hierbij helpen. Neem gerust contact op voor een (vrijblijvende) afspraak.
Organisaties binnen de non-profit sector willen steeds vaker inzicht in hun doelbereik. Dit willen zij enerzijds om te achterhalen of zij met hun activiteiten bereiken wat ze willen bereiken (en zo nodig bij kunnen sturen). Anderzijds wordt vanuit de gemeente en andere subsidieverstrekkers meer gevraagd. Het wordt voor gemeenten namelijk steeds belangrijker om aan te tonen dat subsidies die verstrekt worden, daadwerkelijk bijdragen aan de doelen van de gemeente. Het gaat er dan meer om wat je bereikt en wat je bijdraagt aan het gezamenlijke doel, dan enkel rapporteren over wat je doet met bijbehorende cijfers.
Je wilt dan een monitor- en evaluatie instrument dat inzicht geeft in het bereik van je eigen doelen én de doelen van de gemeente. Door de (gezamenlijke) doelen te formuleren, deze te vertalen naar meetbare indicatoren én de juiste onderzoeksmethoden te kiezen, ontwerp je een meetinstrument, waarmee je data kunt verzamelen over je doelbereik.
Door een monitor- en evaluatie instrument op deze manier in te richten (op basis van de gezamenlijke doelen) verzamel je informatie waar je iets mee kunt. Het geeft zicht aan de bijdrage van jouw activiteiten aan de gezamenlijke doelen. Waarmee je kunt bijsturen indien nodig en verantwoording kunt afleggen aan subsidieverstrekkers en aan het publiek.
De Noord Oost Brabantse Bibliotheken (NOBB) wilde graag op een andere manier verantwoorden. Zij wilden bij hun verantwoording graag meer de nadruk leggen op hun eigen doelbereik én op het bereik van de doelen die de gemeente heeft met de subsidieverstrekking aan de bibliotheek. Het gaat dan niet over het aantal bibliotheekbezoekers en uitleningen, maar over wat de activiteiten van de bibliotheek teweeg brengen in de samenleving: Inwoners laten uitgaan van de eigen kracht, sturen op zelfredzaamheid en de vrije tijdsbesteding van inwoners aan kunst & cultuur vergroten.
Samen met NOBB en de gemeente Veghel ontwierp ik een monitor- en evaluatieinstrument die inzicht geeft in het bereik van deze doelen. Zowel de bibliotheken als de gemeente hebben aangegeven welke doelen zij wilden bereiken. Op basis van deze input maakte ik een meetinstrument, waarmee de bibliotheek data gingen verzamelen.
De uitkomsten konden door de bibliotheek worden gebruikt bij de verantwoording naar de gemeente, maar ook om hun activiteiten te verbeteren om hun eigen doelen te bereiken: zelfredzaamheid van burger, de vrije tijdsbesteding van inwoners aan kunst, cultuur, recreatie en toerisme vergroten en kennistoename bij burgers.
Jongeren vormen een belangrijke doelgroep voor veel organisaties en projecten. Of het nu gaat om sportactiviteiten, culturele programma's of sociale initiatieven, het is van essentieel belang om te begrijpen hoe jongeren denken en voelen over deze activiteiten. Hierbij spelen geschikte onderzoeksmethoden een sleutelrol. In deze blog beschrijven we enkele effectieve methoden om waardevolle inzichten van jongeren te verkrijgen.
Om effectief met jongeren te communiceren, is het van belang om hun wereld te begrijpen. Jongeren bevinden zich in een unieke fase van hun leven, waarin ze nog volop in ontwikkeling zijn. Deze fase brengt ook uitdagingen met zich mee. Denk hierbij aan: minder concentratie, minder probleemoplossend vermogen, lagere overdrachtssnelheid van informatie én hormonen die bijdragen aan heftigere emoties en minder empathisch vermogen.
Om jongeren effectief te bereiken, is het essentieel om op de hoogte te zijn van de trends die hun gedrag en interesses beïnvloeden. De belangrijkste trends zijn onder andere:
Jongeren zijn goed te bereiken, mits je ze leert kennen en begrijpen. Neem ze serieus en betrek ze.
Bij het uitvoeren van onderzoek onder jongeren is het belangrijk om methoden te kiezen die aansluiten bij hun behoeften en voorkeuren. De volgende elementen zijn daarbij belangrijk:
Enkele onderzoeksmethoden die aan deze voorwaarden voldoen zijn:
Een manier van onderzoeken waar je de jongeren nauwelijks mee belast is observeren. Het kost hen geen tijd, jij observeert werkelijk gedrag en je bent niet afhankelijk van respons. Door te observeren kun je veel informatie verzamelen. Je kunt echter alleen feitelijk gedrag observeren en geen motivaties achterhalen.
Een snelle en makkelijke manier om informatie te verzamelen. Door de jongeren na de activiteit een papiertje te geven met daarop een stelling, hoeven ze alleen nog maar via een scheurtje in het papiertje of door een cijfer te geven laten weten of ze het met de stelling eens zijn. Jongeren kunnen eenvoudig hun mening geven zonder veel tijd of moeite te investeren.
Een andere geschikte onderzoeksmethode voor jongeren is een digitale enquête. Deze wordt ter plekke door een enquêteur afgenomen. Deze stelt de vragen en vult de antwoorden in. Deze methode kost meer tijd, maar op deze manier kan men veel informatie verzamelen met minimale inspanning van de jongeren zelf.
Door de jongeren na afloop een cadeautje te geven als bedankje vergroot je de kans dat ze meewerken.
Hoewel tijdrovend, bieden interviews de mogelijkheid om diepgaande informatie en motivaties van jongeren te achterhalen. Dit kost de jongeren echter veel tijd. Aan de andere kant voelen zij zich gehoord en serieus genomen en zal dit hen motiveren om mee te werken. Ook bij deze onderzoeksmethode is het leuk om ze een cadeautje te geven als bedankje.
Het is altijd belangrijk, om bij het kiezen van een onderzoeksmethode met de eerdergenoemde trends onder jongeren en hun voorkeuren rekening te houden.
Het begrijpen en betrekken van jongeren is essentieel voor het succes van projecten en programma's gericht op deze doelgroep. Door gebruik te maken van effectieve communicatiestrategieën en geschikte onderzoeksmethoden kunnen organisaties waardevolle inzichten verkrijgen van jongeren.
Musea en science centra willen steeds vaker weten of het werkt wat ze doen. Het gaat dan niet over het hebben van zo veel mogelijk bezoekers, maar over de kwaliteit van hun (educatieve) programma. Wordt hun doel, namelijk het beïnvloeden van de interesse voor, de houding naar en de kennis over (bijvoorbeeld) natuur, cultuur, geschiedenis of wetenschap, bereikt? Deze doelen worden op verschillende manieren gemeten.
Eén manier is het houden van een enquête. Bezoekers worden dan schriftelijk bevraagd over hun ervaringen tijdens het bezoek. Omdat musea en science centra vaak niet de kennis (en tijd) in huis hebben over het doen van onderzoek, is het voor hen soms lastig om de juiste vragen te stellen en de resultaten te interpreteren. Wil je daadwerkelijk informatie waar je iets mee kunt, dan is het belangrijk om de juiste indicatoren te bepalen voor de enquête.
Naast de interne enquête worden er ook grootschalige internationale onderzoeken gedaan waar de science centra en musea aan mee kunnen doen. Ook kunnen afgeronde grootschalige onderzoeken dienen als informatiebron voor de musea.
Ook maken veel musea en science centra gebruik van RF-ID (identificatie met radiogolven) bij interactieve opstellingen om effecten te meten. Bezoekers kunnen dan (a.d.h.v. een armbandje) hun activiteiten opslaan en achteraf (online) terug zien wat ze hebben gedaan en hoe ze dit hebben gedaan. Dit is leuk voor de bezoeker, maar dient ook als input voor het museum of science center. Je kunt hier namelijk uithalen hoe lang bezoekers bij een opstelling blijven staan, hoeveel er gebruik van wordt gemaakt en of er meerdere keren gebruik van wordt gemaakt.
Een andere manier om te meten is het analyseren van handelingen van bezoekers op basis van filmopnames. Dit gebeurt vooral bij interactieve opstellingen. Aan de hand van bewegingen, gezichtsuitdrukkingen, handelingen en verblijfsduur wordt het leerpotentieel geanalyseerd.
Science centra en musea kunnen ook van elkaar leren. Door de kwaliteit van hun educatieve programma’s te meten en met elkaar te vergelijken kunnen ze leren van elkaars sterke en zwakke punten.
Dit is een benchmark. Voor de VSC en verschillende science centra hebben wij zo’n benchmark uitgevoerd.
Evalueren doe je niet om te evalueren. Je evalueert (tijdens en/of na afloop van een project) om iets te leren van je project, programma of activiteit. Vaak zien culturele instellingen het evalueren van hun activiteiten echter als een ding dat moet gebeuren, maar is de toegevoegde waarde ervan niet duidelijk. Evalueren is waardevol voor de interne organisatie, maar ook naar buiten toe (mits de goede vragen gesteld worden in de evaluatie). In dit blog geef ik een aantal redenen waarom evalueren meer is dan een administratieve afvinkoefening. Door te evalueren:
Hulp nodig bij evalueren? Ik kan je hierbij helpen!
Wat bereik jij met de subsidie die je hebt gekregen? Subsidieverstrekkers willen graag weten wat wordt gerealiseerd met het geld dat zij hebben verstrekt. Er is veel discussie over hoe en wat hierover teruggekoppeld wordt naar de subsidieverstrekker en het verschilt dan ook sterk per gemeente of fonds hoe erover gerapporteerd moet worden. Sommigen willen weten wat je doet. Anderen willen weten wat je bereikt en bijdraagt aan het gezamenlijke doel.
Een voorbeeld van het aan tonen van wat je bereikt en bijdraagt aan het gezamenlijke doel is Natuurmuseum Brabant. Zij vertellen bij hun verantwoording iets over wat ze bereiken door hun manier van werken. En dan gaat het niet over het aantal bezoekers of het aantal leerlingen dat met school deelneemt aan een activiteit, maar over wat zo’n activiteit met school te weeg brengt bij de leerlingen.
Natuurmuseum Brabant heeft meegedaan aan een gezamenlijke benchmark vanuit de VSC waar natuurmusea, wetenschapscentra en techniekmusea samen met mij een meetinstrument hebben samengesteld. Hiermee worden de kwaliteit van binnenschoolse projecten en de effecten ervan bij de leerlingen gemeten. De deelnemende musea hebben aangegeven wat in hun vakgebied zorgt voor kwaliteit en welke doelen zij willen bereiken. Op basis van deze input heb ik een meetinstrument gemaakt, waarmee de deelnemende musea data hebben verzameld.
De analyses van de data worden veelzijdig ingezet. Natuurmuseum Brabant heeft hun analyse gebruikt bij de verantwoording naar de gemeente, maar ook om de activiteiten verder te verbeteren om nog beter hun doelen te bereiken: bezoekers en leerlingen leren over de natuur, interesseren voor de natuur, verwondering op te wekken en zelfs waardering voor de natuur te weeg brengen.
Kun jij aantonen wat je bereikt met je activiteiten?
Ben je cursist? Log hier in op de Academie voor Onderzoek
