Onlangs interviewde een stagiaire mij over de voor- en nadelen van een onderzoeksbureau. Ze liep stage voor een organisatie die graag de effecten van hun projecten inzichtelijk wilde maken, maar waren zoekende naar de beste manier dit aan te pakken. Het nadeel van een onderzoeksbureau is dat het geld kost en deze middelen kunnen beter aan het project zelf besteed worden.
Maar is een onderzoeksbureau duur? Of is een onderzoeksbureau effectiever en efficiënter dan zelf een onderzoek doen?
Het formuleren van de juiste onderzoeksvraag en de daarbij behorende onderzoeksmethodiek kiezen is een vak. Menig medior onderzoeker struikelt hier nog over. Verwacht dus niet van jezelf of een stagiaire dat deze dit kan. Hier is kennis en vooral ervaring voor nodig.Bij een verkeerd gekozen onderzoeksvraag of methodiek, krijg je na het onderzoek niet de antwoorden op je vragen die je nodig hebt. Je hebt energie gestoken in verkeerde informatie.
Na het formuleren van de onderzoeksvraag en het uitdokteren van de juiste methodiek om deze vragen beantwoord te krijgen, zijn er allerlei drempels en valkuilen om de juiste en voldoende informatie te verzamelen en deze vervolgens te formuleren als antwoorden op je vragen. Een onderzoeksbureau weet een goede vragenlijst/interviewleiddraad op te stellen waardoor niet alleen de oppervlakkige informatie wordt ingewonnen. Ze weet om te gaan met een lage respons en kunnen een grote hoeveelheid data vertalen in antwoorden en aanbevelingen. Doordat ze ervaring hebben met het uitzetten van veldwerk, analyse en rapporteren zijn ze hier minder tijd mee kwijt dan een medewerker. Ze weten welke drempels er zijn en waar de valkuilen zitten.
Door een onderzoeksbureau in te schakelen koop je inzicht in effecten. Voor een vooraf gesproken bedrag koop je een onderzoeksrapportage waarin de informatie staat waar je behoefte aan hebt. Je krijgt antwoord op je vragen. Al het andere is voor het onderzoeksbureau om op te lossen.
Als je gemeten effecten wilt communiceren naar derden, wil je niet het “wij van wc-eend, adviseren wc-eend” effect. Je onderzoeksresultaten zullen niet betrouwbaar worden gevonden als je zelf hebt gemeten volgens je eigen maatstaf. Een onderzoeksbureau zal zorgen voor een objectieve meting, waarbij de uitkomsten hetzelfde zullen zijn als het onderzoek door anderen herhaalt wordt.
Onderzoek doen kan tijdsintensief zijn. Zeker als je hier onvoldoende ervaring mee hebt. Als een medewerker een effectmeting doet kost dit uren en zo ook geld. Dit gaat ten koste van de andere werkzaamheden.
Meer weten over het doen van onderzoek? Bekijk hier wat ik voor je kan betekenen!
Een goed onderzoek begint niet met data, tabellen of interviews, maar met een heldere vraag. De juiste onderzoeksvraag vormt de ruggengraat van je hele onderzoek. Ze bepaalt wat je gaat onderzoeken, waarom je dat doet en hoe je dat het beste kunt aanpakken. In deze blog neem ik je stap voor stap mee in het formuleren van een sterke onderzoeksvraag én het kiezen van een passende methode om die te beantwoorden.
Voordat je een vraag kunt stellen, moet je weten waarom je überhaupt onderzoek wilt doen. Misschien wil je een project verbeteren, verantwoording afleggen aan een subsidiegever, of beter aansluiten bij de wensen van je doelgroep. Het doel van je onderzoek bepaalt welke richting je opgaat. Als je bijvoorbeeld wilt verbeteren, zoek je naar wat goed gaat en wat beter kan. Wil je verantwoorden, dan ben je juist op zoek naar meetbare effecten. En als je wilt afstemmen op je doelgroep, dan draait het om hun kenmerken, behoeften en verwachtingen.
Zodra je weet waarom je onderzoek doet, kun je bepalen welke informatie je nodig hebt. Stel jezelf de vraag: wat moet ik precies weten om mijn doel te behalen? Als je bijvoorbeeld wilt verbeteren, heb je inzicht nodig in processen en ervaringen. Wil je overtuigen, dan zoek je naar harde resultaten. En als je wilt afstemmen, dan moet je weten wat je doelgroep belangrijk vindt. Door steeds te bedenken wat je met de informatie gaat doen, kun je prioriteiten stellen en je focus scherp houden.
Bedenk daarnaast per onderdeel van je informatiebehoefte welke informatie je al hebt en welke je moet gaan verzamelen. Waar kun je de informatie die je nog niet bezit vinden? Bij wie moet je zijn om aan deze informatie te komen (bezoekers, leden, burgers, klanten, medewerkers, leerlingen, scholen etc.)
Met een duidelijk doel en een afgebakende informatiebehoefte kun je je onderzoeksvraag formuleren. Die vraag moet concreet en haalbaar zijn. Je moet er daadwerkelijk antwoord op kunnen krijgen binnen de tijd en middelen die je hebt. Denk ook vooruit: als je straks een antwoord hebt, kun je dan de juiste actie ondernemen? Een goede onderzoeksvraag is dus niet alleen helder, maar ook praktisch bruikbaar.
Bij het opstellen van je onderzoeksvraag is het belangrijk om stil te staan bij de randvoorwaarden. Hoeveel tijd heb je? Wat is je budget? Zijn er privacyregels waar je rekening mee moet houden? En is de benodigde informatie überhaupt beschikbaar? Door hier vooraf over na te denken, voorkom je dat je later vastloopt in je onderzoek.
Het helpt om al vroeg na te denken over hoe je de resultaten wilt presenteren. Wil je een rapport, een infographic, een presentatie of misschien een korte video? En wie is je publiek? Wat wil je dat zij doen of begrijpen na het zien van jouw resultaten? Door je eindproduct in gedachten te houden, werk je gerichter en zorg je ervoor dat je onderzoek ook echt iets oplevert.
Als je weet wat je wilt onderzoeken en waarom, kun je bepalen hoe je dat het beste kunt doen. Er zijn verschillende manieren om informatie te verzamelen. Een vragenlijst is handig als je veel mensen wilt bereiken, maar minder geschikt als je dieper wilt graven. Voor meer inzicht in achterliggende motieven kun je beter kiezen voor een interview. Groepsinterviews of klankbordgroepen zijn ideaal als je interactie en discussie wilt stimuleren. En als er al veel bekend is over je onderwerp, kan een literatuurstudie uitkomst bieden.
De keuze voor een methode hangt dus af van je doel, je doelgroep en de aard van de informatie die je zoekt. Denk ook na over hoe je mensen het beste kunt benaderen: persoonlijk, digitaal, via social media of misschien via een bestaande groep.
In schooljaar 2018-2019 heeft Provincie Flevoland het educatieprogramma Democratie en de Rechtsstaat opgezet, gericht op het basis-, voortgezet en beroepsonderwijs. Aanleiding was dat de provincie merkte dat de politiek en de overheid ver van jongeren af staan, zij weinig binding hebben met de provincie en weinig weten over de democratie, het politieke bestel en de rechtsstaat. In het programma Democratie en de Rechtsstaat hebben zij daarom allerlei soorten lessen opgezet die jongeren in aanraking brengen met de provinciale politiek en vormen van burgerschap. Om te bepalen of het onderwijsprogramma een vervolg krijgt, hebben wij gemeten wat de effecten zijn geweest van het programma op het onderwijs, maar bovenal of er vanuit het onderwijs behoefte is dat de provincie onderwijsprogramma's aanbiedt. Daarvoor hebben we interviews afgelegd met docenten uit de verschillende vormen onderwijs, de programmamakers, Statenleden en de begeleidingscommissie. Naar aanleiding van deze gesprekken hebben we een rapportage kunnen uitbrengen die antwoorden en adviezen gaf op de vraag of het lesprogramma moet worden voortgezet. Daarnaast hebben we het programma intern geëvalueerd met Statenleden, organisatoren en uitvoerende partijen.
Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.
De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?
• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?
• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.
Regelmatig hoor ik van beleidsmedewerkers en andere professionals dat ze een onderzoek hebben laten doen, maar er niets aan hebben gehad. Meestal omdat de onderzoeksresultaten zo onbegrijpelijk zijn opgeschreven, je verdwaald in de hoeveelheid informatie en details, vervolgacties onduidelijk zijn en soms zelfs omdat de verkeerde informatie verzameld is. Jammer van de energie die je er in hebt gestopt en het geld dat het heeft gekost.
Als je een onderzoeksbureau inschakelt, dan wil je wel zeker weten dat je aan het eind van de rit alle relevante informatie boven tafel hebt. Het is dus zaak dat jij het bureau zo aanstuurt, dat je krijgt wat je nodig hebt. Daarom geef ik graag een paar tips voor uitbesteed onderzoek begeleiden:
Steeds vaker zie ik dat het sportbeleid van een gemeente wordt bepaald in samenspraak met de burgers. Waar voorheen het sportbeleid alleen werd afgestemd met de sportorganisaties en samenwerkingspartners, is het nu steeds meer gericht op de behoeften van de eindgebruiker, de mensen die in de gemeente wonen en sporten. Het sportbeleid verschuift dan van aanbodgericht naar vraaggericht.
Door vraaggericht te werken worden burgers betrokken bij het maken en uitvoeren van het beleid. Niemand weet tenslotte beter aan welke activiteiten er behoefte is dan de mensen binnen de gemeente. Om het beleid vraag gestuurd in te richten, is het wel belangrijk dat de doelen van het sportbeleid vraaggericht zijn. En om vanuit deze doelen aan de slag te gaan.
Een voorbeeld van vraaggericht sportbeleid met vraaggerichte doelen kwam ik tegen tijdens de conferentie ‘De beweegkracht van sport & cultuur’ van LKCA. Dit is het programma CityTrainer van de gemeente ’s-Hertogenbosch. De methode CityTrainer is een samenwerking tussen het jongerenwerk, sport en cultuur. Hierbij wordt gekeken welke talenten er in de stad rondlopen en helpt hen om hun creatieve, sportieve, organisatorische en sociale talenten aan te scherpen en in te zetten voor de gemeente. Het doel van dit beleid is dat burgers vanuit zijn/haar intrinsieke motivatie bijdragen aan een creatieve, sportieve en sociale stad.
Bijzonder aan deze methode is dat minder vanuit bestaand aanbod wordt geredeneerd, maar meer vanuit de mensen in de gemeente. Wat willen zij en wat is hun behoefte? De beleidsdoelen zijn hierop afgestemd. Vervolgens wordt samen met hen een aanbod ontwikkeld.
Van aanbodgericht naar vraaggericht beleid vraagt dus om (nieuwe) beleidsdoelen die deze manier van werken ondersteunen. Deze vraaggerichte doelen geeft beleidsmakers handvatten om weloverwogen aan de slag te gaan met het maken en afstemmen van het beleid met de eindgebruikers.
Hulp nodig bij het formuleren van vraaggerichte doelen? Ik kan je hierbij helpen. Neem gerust contact op voor een (vrijblijvende) afspraak.
De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.
Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.
Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.
Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.
Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen. Een goed instrument voor ex post evaluatie is een effectmeting.
Wat bereik jij met de subsidie die je hebt gekregen? Subsidieverstrekkers willen graag weten wat wordt gerealiseerd met het geld dat zij hebben verstrekt. Er is veel discussie over hoe en wat hierover teruggekoppeld wordt naar de subsidieverstrekker en het verschilt dan ook sterk per gemeente of fonds hoe erover gerapporteerd moet worden. Sommigen willen weten wat je doet. Anderen willen weten wat je bereikt en bijdraagt aan het gezamenlijke doel.
Een voorbeeld van het aan tonen van wat je bereikt en bijdraagt aan het gezamenlijke doel is Natuurmuseum Brabant. Zij vertellen bij hun verantwoording iets over wat ze bereiken door hun manier van werken. En dan gaat het niet over het aantal bezoekers of het aantal leerlingen dat met school deelneemt aan een activiteit, maar over wat zo’n activiteit met school te weeg brengt bij de leerlingen.
Natuurmuseum Brabant heeft meegedaan aan een gezamenlijke benchmark vanuit de VSC waar natuurmusea, wetenschapscentra en techniekmusea samen met mij een meetinstrument hebben samengesteld. Hiermee worden de kwaliteit van binnenschoolse projecten en de effecten ervan bij de leerlingen gemeten. De deelnemende musea hebben aangegeven wat in hun vakgebied zorgt voor kwaliteit en welke doelen zij willen bereiken. Op basis van deze input heb ik een meetinstrument gemaakt, waarmee de deelnemende musea data hebben verzameld.
De analyses van de data worden veelzijdig ingezet. Natuurmuseum Brabant heeft hun analyse gebruikt bij de verantwoording naar de gemeente, maar ook om de activiteiten verder te verbeteren om nog beter hun doelen te bereiken: bezoekers en leerlingen leren over de natuur, interesseren voor de natuur, verwondering op te wekken en zelfs waardering voor de natuur te weeg brengen.
Kun jij aantonen wat je bereikt met je activiteiten?
Voor de beleidsmedewerkers van het sociale domein van de gemeente Roosendaal heb ik twee workshops gegeven om hen te helpen hun subsidieprocessen beter te stroomlijnen en beter zicht te krijgen op de effecten van het beleid en de bijbehorende subsidieafspraken. De eerste workshop ging over het formuleren van doelen, de tweede over het formuleren van indicatoren en mogelijkheden om deze meetbaar te maken.
Containerbegrippen worden helaas vaak gebruikt. In een gesprek denk je beide over hetzelfde te hebben. Maar doe je dat ook? Ik vraag het mijn gesprekspartner. Talentontwikkeling is een onderwerp dat regelmatig aan bod komt. Maar talentontwikkeling heb ik je in alle kleuren van de regenboog. Gaat het over het ontwikkelen van toptalenten en deze naar grotere hoogtes brengen of gaat het over het ontdekken van je talenten (iedereen heeft namelijk talenten).
Helaas worden bij beleidsdoelstellingen steeds vaker containerbegrippen gebruikt. Hoe kun je dan kijken of je je beleidsdoelstellingen haalt? Of hoe je als gesubsidieerde organisatie voldoet aan de verwachtingen?
Voer een groepsgesprek met betrokkenen over wat het voor jullie betekent. Stel hierbij vragen als: wat betekent " " volgens jou? Wat valt er wel en wat valt er niet onder? Hoe zou je dit uitleggen aan een buitenstaander (bijvoorbeeld je moeder)? Discussieer door totdat het duidelijk en afgebakend is. Indien nodig voer je dit gesprek ook met je opdrachtgever, subsidiegever, wethouder.
Voorbeeld: kwaliteit van educatie kan bestaan uit verschillende punten:
Bekijk aan de hand van het geconcretiseerde begrippen hoe je dit kunt meten. Doe dit per onderdeel.
Voorbeeld: Je wilt weten of je met je educatieve programma kwaliteit biedt. Onderzoeksvragen die je stelt naar aanleiding van de eerder genoemde discussie-uitkomsten zijn:
Als je per onderdeel hebt bepaald hoe je de vraag kunt beantwoorden, ga je dit operationaliseren. Je maakt het meetbaar.
Voorbeeld:
Ben je cursist? Log hier in op de Academie voor Onderzoek
