In vragenlijsten wordt vaak gebruik gemaakt van antwoordschalen om de houding of mening van de respondenten meetbaar te maken. Deze schalen kun je ook gebruiken in individuele interviews, observaties, logboeken of scheurkaartjes.

Welke schalen zijn er?

Het verschil tussen diverse schalen zit in het aantal punten. Hoe meer punten een schaal heeft hoe gedetailleerder de respondent kan antwoorden.

Voorbeelden van verschillende schalen:

Voor welke schaal kies je?

Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.

De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?

Als de subsidiegever het onderzoek verzorgt:

• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?

Subsidienemer:

• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.

Als opdrachtgever bepaal jij wat je wilt laten onderzoeken. Dat betekent dat jij de touwtjes in handen hebt. Jij kunt invloed kan uitoefenen op het onderzoek (en de onderzoeker) op bepaalde momenten in het proces. Maar welk moment is nu de juiste om dat te doen?

Scherpstellen plan

In het eerste gesprek tussen de opdrachtgever en onderzoeker wordt besproken wat er precies onderzocht gaat worden. Geef goed aan wat jij voor ogen hebt en wat je verwacht van het onderzoek en de onderzoeker. Je kunt hier ook kort aangeven hoe de rapportage eruit moeten komen te zien, maar details zijn later pas van belang.

Opzetten meetinstrumenten

Nadat het duidelijk is wat er onderzocht gaat worden, zet de onderzoeker een meetinstrument op. Op dit moment kun je nog vragen stellen over de inhoud van het onderzoek en aanpassingen maken aan het meetinstrument. Ben je toch niet helemaal tevreden over de richting waar het onderzoek opgaat? Geef dat dan nu aan.

Dataverzameling

Zodra de dataverzameling is begonnen, kan er niks meer worden veranderd aan de richting van het onderzoek of het meetinstrument. Houd in deze periode wel vinger aan de pols of er voldoende respons is, hoe het gaat en of het nodig is extra inspanningen te doen.

Analyse, rapportage en presentatie

Geef aan, vóórdat de onderzoeker aan de analyse en het rapport begint, welke informatie en gegevens erin moeten komen, maar ook wat het doel is van je rapport (naslagmateriaal, mensen overtuigen, verantwoording). Dan kan de onderzoeker het rapport en de vormgeving ervan daarop aan laten sluiten. Bespreek ook welke vorm het rapport moet krijgen. Het hoeft namelijk geen klassiek rapport te zijn, het kan ook een artikel, presentatie of factsheet zijn. Lees voor verschillende mogelijkheden ook mijn blog: 8 vormen om je onderzoeksresultaten te verspreiden.

Hoe mooi en uitgedacht een plan ook is, de realiteit verloopt vaak anders. Je verwacht vlekkeloos van start naar het eindresultaat te gaan. Maar tussen die twee momenten zitten een hoop obstakels die je moet overwinnen. Maar dat betekent niet dat je niet over die obstakels heen kunt komen of dat je je plan niet kunt aanpassen. Hieronder geef ik vijf tips:

1. Probeer vooruit te kijken
Kijk kritisch naar je plan en bedenk waar het fout kan gaan. Probeer vooruit te bedenken waar mogelijk beren op de weg komen. Ben je bijvoorbeeld afhankelijk van iemand, zorg er dan voor dat je tijdig begint met het zorgen voor medewerking. Heb je een samenwerkingspartner met andere belangen, zorg dan voor goed overleg en afstemming.

2. Focus op je onderzoeksdoel en onderzoeksvraag
Antwoord op je vragen is wat telt. Als iets tegen zit, kun je kijken of er andere manieren zijn om antwoord op je vraag te krijgen. Kun je bijvoorbeeld ook deelnemers observeren als je onvoldoende respons krijgt op een vragenlijst. Of zijn ze wel bereid mee te werken aan een telefonisch interview. Het is belangrijk de juiste informatie te verzamelen en dat deze valide is. Welke methode je gebruikt is minder belangrijk.

3. Bedenk een plan B
Stel dat je vierhonderd respondenten nodig hebt voor je vragenlijst. Maar mensen zijn niet zo bereidwillig als je had gehoopt. Wat ga je dan doen? Houd een plan B achter de hand, zodat je onderzoek niet vastloopt op dit punt. Hoe kun je mensen verleiden om mee te doen aan je onderzoek? En waar kun je je respondenten nog meer bereiken?

4. Praat met anderen
Op sommige momenten kun je het niet alleen, maar heb je hulp van anderen nodig. Vooral als je het even niet meer ziet zitten, kan praten met anderen al helpen om je ‘back on track’ te krijgen. En soms kunnen anderen jou helpen om je nieuwe ideeën te geven of een plan B te bedenken. Ook kan het helpen om je onderzoek uit te leggen aan iemand die totaal geen verstand van het onderwerp heeft. Al pratend kun je op nieuwe ideeën of inzichten komen.

5. Het is niet erg om fouten te maken
Bijna geen enkel plan verloopt vlekkeloos. Het gaat met vallen en opstaan. Soms ben je een aantal dagen kwijt met een idee dat uiteindelijk toch niet blijkt te werken. Onderzoek doen kost tijd. Houd daar rekening mee en bedenk dat het niet erg is om fouten te maken.

Doen we de dingen goed? OF doen we de goede dingen? Twee vragen die sterk op elkaar lijken, maar die wel degelijk twee verschillende betekenissen hebben. Organisaties die evalueren stellen vaak de eerste vraag: Doen we de dingen goed? Er wordt dan kritisch gekeken naar de huidige activiteiten om ze in de toekomst te verbeteren. Dit is zinvol als je een kwaliteitsslag wil maken in je project. Maar wil je weten of je je doelen daadwerkelijk bereikt? Dan moet je de tweede vraag stellen: Doen we de goede dingen? Je wilt dan weten of de projecten en activiteiten bijdragen aan de geformuleerde doelen, niet of het losstaande project goed wordt uitgevoerd.

Om erachter te komen of je de goede dingen doet is het in de eerste plaats belangrijk om de doelen helder voor ogen te hebben. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten.

Vervolgens vertaal je deze doelen naar meetbare indicatoren (vergeet daarbij niet dat alles meetbaar is). Je kijkt vervolgens welke activiteit in welke mate bijdraagt aan je doelbereik. Zo krijg je inzicht in of je de goede dingen doet. Als je daarnaast verkent welke opties er nog meer zijn om je doelen te bereiken, krijg je inzicht in alternatieven en kun je kritisch kijken naar de mix van activiteiten die er zijn om je doel te bereiken.

In de eerder verschenen blog gaf ik tips om discipline-overstijgend samen te werken. Om zo’n samenwerking goed te laten verlopen moet je elkaar kennen en weten wat bij de ander speelt. De gemeente kan een kennismaking op verschillende manieren faciliteren om de samenwerking op gang te brengen. Ik noem er een paar:

Beursvloer

De gemeente kan een beursvloer organiseren, waar gehandeld wordt in diensten en goederen tussen ondernemers, maatschappelijke organisaties en verenigingen. Deals kunnen betrekking hebben op menskracht, kennis, toegang tot netwerken, materiaal, faciliteiten en creativiteit. Wat de één over heeft of graag wil bieden, is voor de ander zeer gewenst. Een beursvloer bevordert de contacten en samenwerking tussen het bedrijfsleven en maatschappelijke organisaties in de gemeente.

Speeddaten

Speeddaten is ook een manier voor netwerken, (verdere) kennismakingen en kennisuitwisseling. Tijdens een speeddate vinden er korte gesprekken plaats tussen verschillende organisaties in de gemeente. Door de opzet van de bijeenkomsten komen organisaties de elkaar (nog) niet kennen tot verrassende, inspirerende en leuke gesprekken en er ontstaat een leuke en speelse sfeer.

Marktplaats

Een marktplaats  geeft organisaties, verenigingen en ondernemers uit de gemeente de gelegenheid om hun producten, programma’s en activiteiten te presenteren. Bijvoorbeeld door echte marktkramen te gebruiken. Organisaties kunnen elkaar ontmoeten, maar ook het publiek kan kennismaken met het aanbod in de gemeente. Een marktplaats is een meer informele vorm van de beursvloer, die toegankelijk gemaakt kan worden voor een breder publiek.

Gezamenlijke brainstormsessie

Bij een gezamenlijke brainstormsessie komen verschillende partijen bij elkaar om samen ideeën uit te wisselen. Tijdens een brainstormsessie heeft iedereen een gelijkwaardige positie en kan iedereen vrijuit praten. Doordat verschillende partijen bij elkaar komen leren organisaties elkaar kennen en kunnen nieuwe ideeën ontstaan voor mogelijke samenwerkingen.

Ik merk dat sportorganisaties en -verenigingen de effecten van hun beleid en activiteiten veelal meten aan de hand van bereikcijfers. De doelen die zij hebben met hun organisatie zijn dan ook vaak gerelateerd aan deze bereikcijfers. Doelen die gesteld worden gaan bijvoorbeeld over groei van het aantal teams dat aan een competitie mee doet, verhoging van het aantal leden van een vereniging, groei van het aantal educatieve activiteiten dat op scholen plaats vindt of stijging van de topsporters op de (inter-)nationale ranglijst. Deze doelen zijn te achterhalen door het in kaart brengen van bereikcijfers.

Sportorganisaties gaan er dan vanuit dat door het halen van de cijfermatige doelen, ook de ideële doelstellingen gehaald worden. Zoals het bevorderen van beweging onder jongeren, het verbeteren van competenties en persoonlijke ontwikkeling door de sport (zoals samenwerken en zelfvertrouwen) en het bevorderen van sociale cohesie. Het idee is dan: als het aantal leden stijgt, dan zijn er dus meer mensen gaan bewegen. Als er meer teams mee doen aan een competitie, dan werken dus meer mensen aan hun competenties.

Hoewel we in de culturele sector zien dat het meten van effecten vaak verder reikt dan alleen bereikcijfers, vraag ik me af of dit voor de sportsector ook geldt: Volstaat effecten meten aan de hand van bereikcijfers of hebben sportorganisaties ook baat bij het meten op een andere manier, op basis van ideële doelstellingen?

Steeds vaker zie ik dat het sportbeleid van een gemeente wordt bepaald in samenspraak met de burgers. Waar voorheen het sportbeleid alleen werd afgestemd met de sportorganisaties en samenwerkingspartners, is het nu steeds meer gericht op de behoeften van de eindgebruiker, de mensen die in de gemeente wonen en sporten. Het sportbeleid verschuift dan van aanbodgericht naar vraaggericht.

Door vraaggericht te werken worden burgers betrokken bij het maken en uitvoeren van het beleid. Niemand weet tenslotte beter aan welke activiteiten er behoefte is dan de mensen binnen de gemeente. Om het beleid vraag gestuurd in te richten, is het wel belangrijk dat de doelen van het sportbeleid vraaggericht zijn. En om vanuit deze doelen aan de slag te gaan.

Een voorbeeld van vraaggericht sportbeleid met vraaggerichte doelen kwam ik tegen tijdens de conferentie ‘De beweegkracht van sport & cultuur’ van LKCA. Dit is het programma CityTrainer van de gemeente ’s-Hertogenbosch. De methode CityTrainer is een samenwerking tussen het jongerenwerk, sport en cultuur. Hierbij wordt gekeken welke talenten er in de stad rondlopen en helpt hen om hun creatieve, sportieve, organisatorische en sociale talenten aan te scherpen en in te zetten voor de gemeente. Het doel van dit beleid is dat burgers vanuit zijn/haar intrinsieke motivatie bijdragen aan een creatieve, sportieve en sociale stad.

Bijzonder aan deze methode is dat minder vanuit bestaand aanbod wordt geredeneerd, maar meer vanuit de mensen in de gemeente. Wat willen zij en wat is hun behoefte? De beleidsdoelen zijn hierop afgestemd. Vervolgens wordt samen met hen een aanbod ontwikkeld.

Van aanbodgericht naar vraaggericht beleid vraagt dus om (nieuwe) beleidsdoelen die deze manier van werken ondersteunen. Deze vraaggerichte doelen geeft beleidsmakers handvatten om weloverwogen aan de slag te gaan met het maken en afstemmen van het beleid met de eindgebruikers.

Hulp nodig bij het formuleren van vraaggerichte doelen? Ik kan je hierbij helpen. Neem gerust contact op voor een (vrijblijvende) afspraak.

Organisaties binnen de non-profit sector willen steeds vaker inzicht in hun doelbereik. Dit willen zij enerzijds om te achterhalen of zij met hun activiteiten bereiken wat ze willen bereiken (en zo nodig bij kunnen sturen). Anderzijds wordt vanuit de gemeente en andere subsidieverstrekkers meer gevraagd. Het wordt voor gemeenten namelijk steeds belangrijker om aan te tonen dat subsidies die verstrekt worden, daadwerkelijk  bijdragen aan de  doelen van de gemeente. Het gaat er dan meer om wat je bereikt en wat je bijdraagt aan het gezamenlijke doel, dan enkel rapporteren over wat je doet met bijbehorende cijfers.

Je wilt dan een monitor- en evaluatie instrument dat inzicht geeft in het bereik van je eigen doelen én de doelen van de gemeente. Door de (gezamenlijke) doelen te formuleren, deze te vertalen naar meetbare indicatoren én de juiste onderzoeksmethoden te kiezen, ontwerp je een meetinstrument, waarmee je data kunt verzamelen over je doelbereik.

Door een monitor- en evaluatie instrument op deze manier in te richten (op basis van de gezamenlijke doelen) verzamel je informatie waar je iets mee kunt. Het geeft zicht aan de bijdrage van jouw activiteiten aan de gezamenlijke doelen. Waarmee je kunt bijsturen indien nodig en verantwoording kunt afleggen aan subsidieverstrekkers en aan het publiek.

Doelbereik monitoren en evalueren

De Noord Oost Brabantse Bibliotheken (NOBB) wilde graag op een andere manier verantwoorden. Zij wilden bij hun verantwoording graag meer de nadruk leggen op hun eigen doelbereik én op het bereik van de doelen die de gemeente heeft met de subsidieverstrekking aan de bibliotheek. Het gaat dan niet over het aantal bibliotheekbezoekers en uitleningen, maar over wat de activiteiten van de bibliotheek teweeg brengen in de samenleving: Inwoners laten uitgaan van de eigen kracht, sturen op zelfredzaamheid en de vrije tijdsbesteding van inwoners aan kunst & cultuur vergroten.
Samen met NOBB en de gemeente Veghel ontwierp ik een monitor- en evaluatieinstrument die inzicht geeft in het bereik van deze doelen. Zowel de bibliotheken als de gemeente hebben aangegeven welke doelen zij wilden bereiken. Op basis van deze input maakte ik een meetinstrument, waarmee de bibliotheek data gingen verzamelen.

De uitkomsten konden door de bibliotheek worden gebruikt bij de verantwoording naar de gemeente, maar ook om hun activiteiten te verbeteren om hun eigen doelen te bereiken: zelfredzaamheid van burger, de vrije tijdsbesteding van inwoners aan kunst, cultuur, recreatie en toerisme vergroten en kennistoename bij burgers.

Lees meer:

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 – 2024 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone