Regelmatig hoor ik van beleidsmedewerkers en andere professionals dat ze een onderzoek hebben laten doen, maar er niets aan hebben gehad. Meestal omdat de onderzoeksresultaten zo onbegrijpelijk zijn opgeschreven, je verdwaald in de hoeveelheid informatie en details, vervolgacties onduidelijk zijn en soms zelfs omdat de verkeerde informatie verzameld is. Jammer van de energie die je er in hebt gestopt en het geld dat het heeft gekost.

Als je een onderzoeksbureau inschakelt, dan wil je wel zeker weten dat je aan het eind van de rit alle relevante informatie boven tafel hebt. Het is dus zaak dat jij het bureau zo aanstuurt, dat je krijgt wat je nodig hebt. Daarom geef ik graag een paar tips voor uitbesteed onderzoek begeleiden:

• Maak aan het onderzoeksbureau bij de offerte-aanvraag duidelijk wat je probleem is en waar je de uitkomsten van het onderzoek voor in gaat zetten.
• Maak bij de offerte-aanvraag duidelijk wat je straks van hen nodig hebt.
• Schroom niet om te vragen. Het is het expertise van een onderzoeksbureau om jouw vraag te beantwoorden, om iets meetbaar te maken. Laat je niet beperken in je vraag, want alles is meetbaar.
• Heb een persoonlijk gesprek met de onderzoekers die offreren en kijk of je elkaar begrijpt. Vraag ook of hij/zij straks het onderzoek gaat doen.
• In het begin van het onderzoek kan nog veel bijgestuurd worden. Zorg dat je deze besprekingen goed voorbereid en zo nodig bijstuurt. Stel alle vragen die je hebt. De onderzoeker moet ze kunnen beantwoorden.
• Bespreek het concept meetinstrument. Dat is bepalend voor de informatie die verzameld wordt. Na de dataverzameling kan er vaak geen andere informatie meer verzameld worden (met name bij interviews, vragenlijsten, observaties).
• Zorg voor intern draagvlak voor je onderzoek, zodat je collega’s met je meedenken en aan de slag willen met de uitkomsten van het onderzoek.
• Laat de informatie in zo’n vorm opleveren zodat jij en je collega’s ermee aan de slag kunnen. Laat de onderzoeker actiepunten formuleren als jij deze nodig hebt. Vraag om een artikel, factsheet of filmpje als je de informatie breed wilt delen.

Observeren is een methode om feitelijk gedrag te achterhalen en te registreren. Er is geen direct contact met de respondenten. Je kiest voor observeren om te achterhalen hoe activiteiten, programma’s of nieuwe projecten ontvangen worden en je spontane reacties wilt registreren. Tijdens het observeren maak je een objectief verslag van wat je ziet.. Ik geef je een aantal tips om goed te observeren:

1. Maak bij het observeren gebruik van een observatielijst. Met een gestructureerde verslaglegging isje informatie consistent en kun je de verzamelde data achteraf gemakkelijk analyseren.
2. Zorg tijdens het observeren voor een open en onderzoekende houding. Voorkom dat je te snel conclusies trekt over gedragingen. Je maakt een objectief verslag van wat je ziet
3. Rapporteer wat je letterlijk ziet gebeuren, niet wat je denkt dat er gebeurt.
4. Kijk niet alleen naar losse gebaren. Een los gebaar zegt niet zoveel. De betekenis ervan wordt begrijpelijke in combinatie met andere gebaren en signalen.
5. In verband met privacyregels moet je jezelf kenbaar maken als je mensen langere tijd gaat volgen.
6. Je kunt observaties combineren met een (kort) interview om te duiden wat je hebt gezien.
7. Door veel observaties te houden, kun je representatieve uitspraken doen over je onderzoeksonderwerp of groep met onderbouwende cijfers.
8. De observatoren moeten goede instructies krijgen, zodat iedereen het geobserveerde op dezelfde manier rapporteert, zonder eigen interpretatie . Om verschillende observanten gelijk te stemmen, kun je de eerste observaties samen doen.
9. Bij het observeren kun je gebruik maken van allerlei technische hulpmiddelen. Er is verschillende volgapparatuur op de markt, maar denk ook aan een stopwatch die je helpt te meten hoe lang iemand ergens gebruik van maakt.
10. Houdt altijd de context in je achterhoofd. Staat iemand in een koude ruimte met zijn armen strak over elkaar, dan is de kans groot dat hij niet defensief en gesloten is, maar dat hij het gewoon koud heeft.
11. Varieer het observatieschema, in tijdstippen en omstandigheden. Zo wordt je observatie zo compleet mogelijk.
12. Verstoor de situatie die je observeert zo min mogelijk. Praat tijdens de observatie niet met de geobserveerden als het niet nodig is en stel je zo onopvallend mogelijk op.

Click on the flag to read this article in English

Bij het organiseren en leiden van een groepsgesprek moet je met andere dingen rekening houden dan bij een individueel interview. Bij groepsinterviews heb je bijvoorbeeld te maken met groepsdynamiek waar je mee om moet gaan. Een aantal tips voor het houden van een groepsgesprek:

1. Begin op tijd met de organisatie van de groepsgesprekken. Anders loop je het risico dat niet voldoende mensen kunnen. Door het groepsinterview ruim van tevoren te plannen, heb je de grootste kans dat iedereen aanwezig kan zijn.

2. Laat iemand het verslag maken die daar ervaring mee heeft. Notuleren bij een groepsgesprek is namelijk ingewikkelder, omdat verschillende mensen aan het woord zijn.

3. Maak video- of geluidsopnamen van het interview als je niet zeker weet of de verslaggever het live bij kan houden bij het maken van een verslag. Zorg er dan voor dat de apparatuur vooraf aanwezig is en klaar staat.

4. Zorg ervoor dat je gesprekspartners zich op hun gemak voelen. Zorg voor een prettige ruimte, iets te drinken en een koekje.

5. Laat iedereen zich voorstellen, zodat de anderen ook weten met wie ze aan tafel zitten. Maak een plattegrond van de tafel met namen en functie / achtergrond als spiekbrief.

6. Zorg ervoor dat iedereen aan het woord komt.

7. Let op de lichaamstaal van de deelnemers.

8. Monitor de tijd en hou je aan de afgesproken tijd. Het is vervelend als je een deel van je vragen niet hebt kunnen stellen.

9. Leg uit wat er gebeurt met de uitkomsten van het gesprek. Ook wat je doet met het verslag dat van het gesprek wordt gemaakt (bv de geluidsopname). Gebruik je dat alleen om zelf iets op te kunnen zoeken of wordt het ook gepubliceerd. Koppel het verslag in het laatste geval in ieder geval terug.

10. Vat tijdens het interview samen en koppel het gezegde terug naar de groep om er zo verzekerd van te zijn dat je het goed begrijpt.

 Meer tips over interviewen? Lees dan ook mijn andere blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?

Click on the flag to read this article in English

In vorige blogs heb ik beschreven hoe je tot de juiste onderzoeksvraag komt en hoe je de juiste onderzoeksmethode kiest. De volgende stap in het onderzoeksproces is de dataverzameling. Bij het verzamelen van data zijn er een aantal dingen waar je rekening mee moet houden. Ik geef je wat tips:

• Bepaal je onderzoekspopulatie. Het is niet altijd nodig om iedereen te spreken om een representatief beeld te krijgen. Zeker bij grote aantallen, zoals bijvoorbeeld het stemgedrag van alle Nederlanders, wordt een representatieve steekproef getrokken.
• Houd tijdens de dataverzameling de representativiteit goed in de gaten (bij kwantitatief onderzoek). Werkt iedereen uit je steekproef ook echt mee? Zijn je subgroepen niet evenredig vertegenwoordigd, dan kun je de missende respondenten alsnog bevragen of besluiten om een bepaalde subgroep weg te laten
• Controleer of je voldoende informatie hebt (bij kwalitatief onderzoek).Blijkt dit niet het geval, dan kun je nog een extra interview afnemen.
• Het registreren van de data moet op zo’n manier gebeuren dat de data overzichtelijk bij elkaar staat en klaar is voor de analyse. Op een grote stapel ingevulde vragenlijsten kun je nog geen analyse loslaten. De beste manier om te registreren is afhankelijk van de onderzoeksmethode die je hebt gebruikt.

Vragenlijsten kun je digitaal uitzetten, maar in bepaalde situaties maak je het je respondenten gemakkelijker als ze het ter plekke op papier in kunnen vullen. Dan moet de data ingevoerd worden. Bij deze zeven tips voor dataverwerking:

1. Werk met een programma dat je kent en aansluit op je behoefte. Zo kun je in Excel data gemakkelijk ordenen en op verschillende  manieren sorteren. Voor vragenlijsten kan dit voldoen. Wil je ingewikkeldere berekeningen maken, kan SPSS een uitkomst zijn.
2. Maak voor de dataverwerking van vragenlijsten een codering aan (bv nee = 0 ja = 1). Dit zorgt ervoor dat antwoorden als hetzelfde worden gezien en de invoer minder gevoelig is voor typefouten. Codering maakt het ook gemakkelijker om te rekenen met de verzamelde data (in dit vb is een gemiddelde van 0,75 75% van de respondenten die ja zegt).
3. Maak een opmerkelijke codering voor overgeslagen vragen, bv -1. Je weet dan dat het geen fout is van de invoerder en opmerkelijke scores kun je gemakkelijk buiten een formule laten vallen.
4. Geef elke vragenlijst/respondent een uniek nummer. Hiermee anonimiseer je de data, maar kun je de bijbehorende vragenlijst nog wel terug vinden.
5. Zorg voor goede instructies voor invoerders, zodat iedereen op dezelfde manier te werk gaat. Laat het invoeren zoveel mogelijk door dezelfde persoon doen, zodat het steeds op dezelfde manier wordt gedaan. Let op: Als de invoerder echter data moet beoordelen, moeten juist meerdere mensen beoordelen.
6. Begin tijdig met het invoeren, zodat het steeds behapbaar blijft. Door het steeds in kleine delen te doen, kun je je beter concentreren (en maak je dus minder fouten).
7. Voer steekproefsgewijs controle uit. Corrigeer ze. Als fouten steeds op dezelfde plek gemaakt worden, moet je hier actie op ondernemen. Fouten maken is menselijk.

Click on the flag to read this article in English

Als je wilt weten of het werkt wat je doet, moet je dit toetsen. Zonder dit te toetsen blijft het raden. Je kunt een goede schatting making omdat je je project hebt gebaseerd op ervaring, kennis en peilers waarvan bekend is dat het werkt. Maar heb je de juiste mix gevonden? Tien punten waarmee je rekening moet houden bij het toetsen of je project, evenement, beleid, activiteit, programma het gewenste effect heeft.

1. Houd voor ogen wat je doel is van je project, evenement, beleid, activiteit, programma. Discussieer hier met collega’s over. Wil je dat kinderen iets leren? Mensen ander gedrag vertonen? Wil keuzen beïnvloeden? Definieer dit zo exact mogelijk. Dit helpt je bij het formuleren van je onderzoeksvragen.

Bedenk vooraf wat je gaat doen met de resultaten van het onderzoek. Wil je het project bijsturen? Ben je bereid ermee te stoppen als het blijkt niet te werken? Neem dit mee bij het formuleren van je onderzoeksvragen want het geeft aan wat voor soort antwoorden je wilt hebben na afloop.

2. Het doel en dus het gewenst effect staan centraal in je onderzoeksvraag en je onderzoek.

3. Formuleer een hoofdvraag en splits deze uit naar deelvragen. Hoe exacter je onderzoeksvraag is geformuleerd, des te gemakkelijker is het om je deelvragen te formuleren. En des te gemakkelijker wordt het om je onderzoeksinstrumenten te formuleren.

4. Het doel en dus het gewenst effect staan ook centraal bij de keuze van je onderzoekmethoden. Kies een manier van dataverzameling die past bij je doel en het gewenste effect. Als je bijvoorbeeld de houding van leerlingen tussen 10 en 14 wilt beïnvloeden, kun je denken aan een vragenlijst die je breed uitzet in het basis- en voortgezet onderwijs. Als je wilt dat mensen meer gaan bewegen, kun je ze beweegdagboeken bij laten houden.

Let hierbij ook op de doelgroep die je gaat bevragen. Veel ouderen zullen moeilijker benaderbaar zijn op internet.

5. Door vooraf een nulmeting te doen kun je de effecten preciezer in kaart brengen. Je kent je startsituatie. Je kunt je effectmeting op korte termijn en op langere termijn vergelijken met de nulmeting. Door te vergelijken kun je effecten van het project, evenement, beleid, activiteit, programma vast stellen en kijken of je dichter bij je doel komt.

6. Denk na over andere factoren die invloed hebben op je doel. Hoe kun je deze invloeden uit je metingen filteren? Je wilt tenslotte de effecten van jouw project vastleggen en weten of wat het effect daar van is. Is het bijvoorbeeld nodig dat je een ook bij een controlegroep meet?

7. Zorg voor een representatief aantal mensen uit je doelgroep die mee willen werken aan het onderzoek. Dit betekent dat mensen met verschillende achtergrondkenmerken vertegenwoordigd zijn, zoals mannen en vrouwen, verschillende leeftijdsgroepen, etc.

8. Laat je niet afleiden door andere vragen die interessant zijn. Vragenlijsten en gespreksprotocollen worden te lang. Je databestand raakt bevuilt. Mensen haken sneller af en de kans is groot dat hierdoor met een onrepresentatief aantal respondenten achter blijft en een wirwar aan data.

9. Grijp bij de analyse van je gegevens weer terug naar je vooraf geformuleerde onderzoeksvraag en deelvragen.

10. Werk gestructureerd, zodat het onderzoek één geheel blijft en de gevonden antwoorden aansluiten op je onderzoeksvragen.