valkuilen onderzoek

Onderzoek doen kan je veel opleveren. Je verkrijgt inzichten waarmee je gefundeerde beslissingen en acties kunt ondernemen. Mits je het goed doet. Pak je het verkeerd aan, dan levert een onderzoek niet (of nauwelijks) op wat je wilt en heeft het enkel onnodig veel tijd gekost. Om je op weg te helpen, noem ik in deze blog een aantal valkuilen van onderzoek waar je voor moet waken:

Onderzoek doen omdat het moet. Je begint aan een onderzoek omdat je informatie nodig hebt waar je iets mee kunt. Bijvoorbeeld om je project te verbeteren, verantwoording af te leggen, besluitvorming te voeden of draagvlak te creëren. Denk echter elke keer weer na, over wat je met het onderzoek wilt bereiken. Doe geen onderzoek omdat het in het proces past of omdat het zo hoort, terwijl je geen informatiebehoefte hebt.

De verkeerde onderzoeksvraag stellen, waardoor je uiteindelijk niet de antwoorden krijgt waarnaar je op zoek bent. Het formuleren van de juiste onderzoeksvraag is essentieel bij het verkrijgen van de informatie die je nodig hebt. Bepaal de onderzoeksvraag aan de hand van de informatie die je nodig hebt. De onderzoeksvraag kan namelijk vaak niet meer aangepast worden gedurende het onderzoek. Als je bepaalde informatie aan het verzamelen bent, kun je gedurende de dataverzameling hier niet meer sterk van afwijken. Realiseer je dit bij het formuleren van je onderzoeksvraag.

Verkeerde onderzoeksmethode kiezen De onderzoeksmethode die je kiest is afhankelijk van het soort informatie dat je nodig hebt. Kies dus niet voor een vragenlijst als je achterliggende motivaties wilt weten. Of: kies niet voor interviews als je veel cijfers en percentages wilt hebben van een grote groep mensen.

Verdwalen in de hoeveelheid informatie. Als je alle informatie verzameld hebt, is het zaak om niet te verdwalen in de informatie en weer terug te gaan naar je onderzoeksvraag. De resultaten van een onderzoek zijn niet een verzameling feiten, maar een samenhangend antwoord op je vraag. De feiten worden dus op zo’n manier geclusterd dat verbanden inzichtelijk zijn (en dus ook geformuleerd worden) en de conclusies een logisch gevolg zijn en antwoord geven op je vraag.

Niets doen met de resultaten. Met alleen het doen van een onderzoek ben je er nog niet. De resultaten moeten geïmplementeerd worden. Hoe je dit doet is afhankelijk van het onderzoek dat je hebt gedaan. Leerpunten of actiepunten vloeien vaak logisch voort uit een onderzoek. Ga hiervoor (met collega’s) zitten om een actieplan of implementatieplan te formuleren. Maak praktische afspraken met collega’s over wat jullie gaan doen met de informatie.

Wil je meer lezen over hoe je de stappen van onderzoek doen wel op een goede manier kunt doorlopen? Lees dan deze eerder verschenen blogs:

Als je een representatieve mening van een bepaalde groep Nederlanders nodig hebt, bijvoorbeeld vrouwen tussen de 35 en 60 jaar maar ook ouders van kinderen op de basisschool of inwoners van Amsterdam, kun je kiezen voor een vragenlijst onder een panel.

Een panel wordt gevormd door een representatieve groep Nederlanders die aangegeven heeft dat ze regelmatig willen meedoen aan een onderzoek. Vaak worden deze panels beheerd door marktonderzoekbureaus, maar ook door andere onderzoekbureaus. Je koopt een aantal vragen en respondenten in. De panelbeheerder legt de panelleden een digitale vragenlijst voor. Meestal wordt er binnen een aantal weken een databestand opgeleverd met een weegfactor. Je kunt dan snel met de uitkomsten van het onderzoek aan de slag.

Het kan interessant zijn om gedurende het jaar een aantal keer een panelonderzoek te doen. Als je vaker data verzamelt, kun je vergelijkingen gaan maken bijvoorbeeld over een verandering van houding of bekendheid met een bepaald product of dienst. Als je in dat jaar aanpassingen doet, kan je zien wat de resultaten hiervan zijn.

 Tips:

Hoe mooi en uitgedacht een plan ook is, de realiteit verloopt vaak anders. Je verwacht vlekkeloos van start naar het eindresultaat te gaan. Maar tussen die twee momenten zitten een hoop obstakels die je moet overwinnen. Maar dat betekent niet dat je niet over die obstakels heen kunt komen of dat je je plan niet kunt aanpassen. Hieronder geef ik vijf tips:

1. Probeer vooruit te kijken
Kijk kritisch naar je plan en bedenk waar het fout kan gaan. Probeer vooruit te bedenken waar mogelijk beren op de weg komen. Ben je bijvoorbeeld afhankelijk van iemand, zorg er dan voor dat je tijdig begint met het zorgen voor medewerking. Heb je een samenwerkingspartner met andere belangen, zorg dan voor goed overleg en afstemming.

2. Focus op je onderzoeksdoel en onderzoeksvraag
Antwoord op je vragen is wat telt. Als iets tegen zit, kun je kijken of er andere manieren zijn om antwoord op je vraag te krijgen. Kun je bijvoorbeeld ook deelnemers observeren als je onvoldoende respons krijgt op een vragenlijst. Of zijn ze wel bereid mee te werken aan een telefonisch interview. Het is belangrijk de juiste informatie te verzamelen en dat deze valide is. Welke methode je gebruikt is minder belangrijk.

3. Bedenk een plan B
Stel dat je vierhonderd respondenten nodig hebt voor je vragenlijst. Maar mensen zijn niet zo bereidwillig als je had gehoopt. Wat ga je dan doen? Houd een plan B achter de hand, zodat je onderzoek niet vastloopt op dit punt. Hoe kun je mensen verleiden om mee te doen aan je onderzoek? En waar kun je je respondenten nog meer bereiken?

4. Praat met anderen
Op sommige momenten kun je het niet alleen, maar heb je hulp van anderen nodig. Vooral als je het even niet meer ziet zitten, kan praten met anderen al helpen om je ‘back on track’ te krijgen. En soms kunnen anderen jou helpen om je nieuwe ideeën te geven of een plan B te bedenken. Ook kan het helpen om je onderzoek uit te leggen aan iemand die totaal geen verstand van het onderwerp heeft. Al pratend kun je op nieuwe ideeën of inzichten komen.

5. Het is niet erg om fouten te maken
Bijna geen enkel plan verloopt vlekkeloos. Het gaat met vallen en opstaan. Soms ben je een aantal dagen kwijt met een idee dat uiteindelijk toch niet blijkt te werken. Onderzoek doen kost tijd. Houd daar rekening mee en bedenk dat het niet erg is om fouten te maken.

Bij het opzetten van een onderzoeksopzet komen er allerlei vragen naar boven. Veel is interessant, maar wat gaat je écht verder helpen? Probeer dit onderscheid steeds te maken tijdens alle fases van je onderzoek: bij het opstellen van je plan, het ontwerpen van je instrument, het verzamelen van je data, maar ook bij de analyse en rapportage. Welke informatie heb je nodig om je doel te bereiken en wat is ‘slechts’ interessant.

Niet verdwalen
Een onderzoek moet informatie opleveren. Maar teveel informatie is ook niet fijn. Je verdwaalt in je data en je kunt je onderzoeksvragen niet meer helder beantwoorden. Als je bijvoorbeeld een vragenlijst maakt, is het heel makkelijk om ‘die ene vraag’ er nog even in te stoppen, omdat het zo leuk is om te weten. Maar zullen de antwoorden ook echt nuttig zijn voor je onderzoek? Vraag jezelf daarom af welke informatie je écht nodig hebt om je onderzoeksvraag te beantwoorden.

Maak daarnaast een overzicht van de informatie die je al bezit. Zo voorkom je dubbel werk.

Helder doel opstellen

Zorg er voor dat je een helder doel voor ogen hebt. Welke informatie moet je onderzoek opleveren? Stel dat je wilt weten hoe je bezoekers jouw tentoonstelling ervaren. Dan is dat waar je onderzoek naar gaat doen. Houdt bij het opstellen van de vragenlijst steeds je doel erbij, zodat je alleen onderzoekt wat je ook echt wilt onderzoeken.

Keuzes maken
Maak keuzes in wat je wilt weten. Hoe doe je dat? Blijf deze vragen stellen om die keuzes goed te kunnen maken:

Veel praktijkonderzoeken stoppen te vroeg. Onderzoeksvragen worden geformuleerd, data worden verzameld en conclusies worden getrokken. Maar dan houdt het helaas op. Met alleen de conclusies ben je er nog niet. Om aan de slag te kunnen met een onderzoek heb je actiepunten nodig. Onderzoek doe je namelijk niet voor de lol, maar omdat je iets wilt DOEN met de informatie die je hebt verzameld.

Je actiepunten sluiten aan op wat je wilde doen met de uitkomsten van je onderzoek. Als je oorspronkelijk doel was je programma beter aan te laten sluiten bij je doelgroep, dan hebben je actiepunten betrekking op het aanpassen van het programma, het veranderen van je communicatiemiddelen of het uitbreiden van een succesvol concept.

Hoe doe je dat?

Tijdens het onderzoek leer je snel veel over het onderwerp. Je krijgt grip om details, de pluspunten en de verbeterpunten. Het is dan gemakkelijk om oplossingen te bedenken en actiepunten te formuleren. Daarbij wordt je vaak geholpen tijdens het onderzoek, omdat uit je data ook oplossingen naar voren komen. Respondenten reiken je tijdens interviews mogelijke oplossingen aan. Ook in een vragenlijst kun je hier naar vragen.

Bedenk dus tijdens je onderzoek al dat je op het einde actiepunten gaat formuleren. Als je bij de dataverzameling en de analyse al aandacht hebt voor oplossingen en actiepunten, is het gemakkelijk deze stap ook te zetten. Bij het schrijven van je conclusies kun je er gemakkelijk actiepunten achter zetten. Zorg ervoor dat dit steeds een doorgaande lijn is: vraag → oplossing(en) → mogelijke actiepunten.

Mijn onderzoeken sluit ik af met conclusies en actiepunten. Dat doe ik door tijdens mijn onderzoek steeds overzicht te houden op alle vragen en drempels, oplossingen en argumenten en aansluitend mogelijke actiepunten. Graag kijk ik samen met de opdrachtgevende organisatie wat vervolgens praktisch mogelijk is. Het verschilt namelijk per organisatie wat kan en wat bij hen past.

Het is niet altijd nodig om zelf data te verzamelen. Je kunt ook gebruik maken van bestaande bronnen. Denk hierbij aan databestanden die je kunt kopen bij bijvoorbeeld SCP of CBS, maar ook aan je eigen administratie of kassaregistratiesysteem. Je maakt gebruik van bestaande databestanden als je meer wilt weten over een bepaald onderwerp waar landelijk gegevens over worden verzameld of als je kwantitatieve data wilt over je eigen organisatie. Er wordt al veel data verzameld. Maak daar slim gebruik van.

Tips:

Kijk hier voor een overzicht van verschillende onderzoeksmethoden

De mysterie shopper is iedereen bekend: iemand die met een opdracht gaat winkelen of producten retourneren om te kijken hoe de ervaring is voor de klant en hoe medewerkers omgaan met klanten. Een variatie hierop is de mysterie bezoeker: iemand die zich voordoet als een alledaagse bezoeker en zo de gehele consumentenervaring registreert. Je kunt de mysterie bezoeker hierbij een extra opdracht meegeven, bijvoorbeeld een klacht. De mysteriebezoeker vult na afloop van het bezoek een vragenlijst in met criteria.

Je kiest voor een mysterie bezoeker als klantgerichtheid, de faciliteiten van je organisatie of commerciële vaardigheden van medewerkers wilt analyseren. Het doel is om op basis van de klantervaring te evalueren en waar mogelijk te verbeteren.

Een mysterie bezoeker kan verder gaan in het geven van zijn/haar ervaring en geeft geen sociaal wenselijke antwoorden. Bij echte bezoekers heb je wel het risico op sociaal wenselijke antwoorden. Een ander voordeel is dat je je bezoekers niet belast. Je bent dan ook niet afhankelijk van respondenten.

Tips

  1. Zorg voor vooraf opgestelde scripts en observatieformulieren.
  2. Bepaal goed welk aspect van de organisatie je wilt screenen: klantgerichtheid van de medewerkers, de aanwezige faciliteiten of consumentenproces?
  3. Beslis vooraf of de mysterie bezoeker zich als een gemiddelde bezoeker voordoet omdat je een beeld wilt van de normale gang van zaken. Of wil je dat er moeilijke vragen gesteld worden, een probleem is om te testen hoe de organisatie daarop reageert.
  4. Laat je beeld niet bepalen door één bezoeker of medewerker, maar door het grotere geheel.
  5. Zet een mysterie bezoeker in die een objectief beeld kan schetsen over de organisatie.
  6. Naast een fysiek bezoek, kun je mysteriebezoeker inzetten via andere vormen: telefoongesprek, e-mail en websiteanalyse.

De juiste keuze en opmaak voor grafieken en diagrammen zorgt ervoor dat de onderzoeksresultaten gelezen en begrepen worden. Probeer dus altijd te bedenken wat de belangrijkste boodschap is die je wilt overbrengen en of de grafiek deze boodschap ook daadwerkelijk overbrengt. Vooral bij kwantitatief onderzoek is het zaak om de juiste grafieken en opmaak te kiezen die de data goed weergeven. Ik geef een aantal tips:

Algemeen

  1. Sorteer de antwoorden op logische volgorde (bijvoorbeeld van oud naar nieuw) of aan de hand van de score (hoogste score bovenaan).
  2. Schrijf vragen en afkortingen voluit.
  3. Geef de diagram of grafiek altijd een duidelijke titel. Zo kan men in een oogopslag zien waar het over gaat.
  4. Zorg dat de percentages duidelijk leesbaar zijn.
  5. Laat onnodige onderdelen weg in je grafiek, maar zorg er wel voor dat de grafiek duidelijk leesbaar blijft. De horizontale en verticale lijnen maken het beeld bijvoorbeeld vaak rommelig, net zoals as-streepjes. Een legenda kan daarentegen wel handig zijn.
  6. Zorg ervoor dat de grafiek groot genoeg is zodat alles goed leesbaar is.
  7. Geef in de tekst een toelichting bij de grafiek. Sommige mensen zijn namelijk minder beeldend ingesteld en vinden het prettiger om de bevindingen in tekstvorm te lezen.
  8. Gebruik kleuren ter verduidelijking. Geef een negatief antwoord een rode kleur en een positief antwoord een groene kleur. Zijn er geen goede/foute antwoorden in de grafiek, dan is het leuk om de kleuren van je huisstijl te gebruiken. Gebruik een opvallende kleur voor datgene dat je wilt benadrukken.

 Wanneer welke grafiek?

  1. Kies een taartgrafiek als de respondenten maar één antwoord konden kiezen. De grafiek geeft dan een beeld van de verdeling van je onderzoeksgroep.
  2. Kies een staafdiagram (staand of liggend) als respondenten meerdere antwoorden konden geven of als je verschillen tussen twee groepen wilt laten zien.
  3. Een lijngrafiek gebruik je om te laten zien hoe iets zich in verloop van tijd heeft ontwikkeld of om een trend te laten zien.
  4. Spreidingsdiagrammen (puntenwolk) gebruik je als je relaties tussen verschillende gegevensreeksen wilt aantonen. Je toont een verband aan als je door een puntenwolk een rechte lijn kunt trekken waar de punten dichtbij liggen.

Veel mensen denken bij interviewen aan de veelgebruikte methode waarin de interviewer vragen stelt aan de geïnterviewde. Maar wist je dat er naast deze methode nog meer manieren zijn waarop je een interview kunt afnemen? In deze blog geef ik je een aantal voorbeelden van interviewmethoden.

1. Mindmapping

Vraag je respondenten om zoveel mogelijk informatie op te schrijven rondom een centraal onderwerp. Geef je respondent(en) hiervoor voldoende tijd en bespreek daarna samen de mindmap.
Het voordeel van mindmapping is dat je respondenten de vrijheid geeft hun eigen gedachten in kaart brengen en hen hierbij de mogelijkheid geeft om op onverwachte ideeën te komen. Zo open je tijdens het interview deuren die anders gesloten zouden blijven.

2. Post-it

Vraag je respondenten op een paar momenten tijdens het interview het interview tot dan toe samen te vatten in trefwoorden op post-it blaadjes. Vraag deze post-its ook te structureren. Na afloop van het interview bespreek je samen de inhoud en de structuur van de beschreven notitieblaadjes. Omdat je de respondent zelf structuur laat aanbrengen in het interview en de gelegenheid geeft hier gelijk op te reageren, verhoog je de validiteit van je onderzoek.

3. Gebruik maken van bestaand (beeld)materiaal

Tijdens het interview laat je de respondent(en) reageren op een afbeelding, film, geluidsfragment of data. Je kunt aan de hand van het materiaal na een eerste reactie verschillende vragen stellen of een (groeps)discussie starten.
Het gebruik van materiaal maakt een interview levendiger. Het gesprek wordt anders door te praten over iets tastbaars dat voor je ligt of iets wat je net samen bekeken hebt. Door een eerste reactie af te wachten kun je onverwachte reacties krijgen.

4. Samen een schema of tijdslijn invullen

Je kunt je interview structureren met een schema of tijdslijn die je samen invult. Respondenten kunnen hierdoor hun ervaring, mening en kennis structureren. Gedurende het interview vallen zwarte gaten op die je samen kunt invullen of verklaren. Bij een lange tijdslijn kun je bij een groepsinterview gebruik maken van een witte behangrol. Zo heeft iedereen inzicht in de tijdsbalk.
Respondenten leggen tijdens het vullen van een schema of tijdslijn accenten. Het helpt respondenten als je visueel werkt.

Wil je meer tips over het houden van een interview? Lees dan ook mijn andere blogs: Hoe maak je het respondenten zo gemakkelijk mogelijk? & 15 tips voor een goed interview

Het aanbod van onderzoeksmethoden is groot waardoor je soms door de bomen het bos niet meer ziet. Daarom geef ik je in deze blog een handig overzicht met verschillende onderzoeksmethoden. Bij een aantal onderzoeksmethoden vind je een link naar een blog met meer informatie.

In dit overzicht maak ik onderscheid tussen kwantitatieve en kwalitatieve onderzoeksmethoden. Wil je hier meer over weten? In mijn vorige blog ‘Keuze: kwalitatief onderzoek of kwantitatief onderzoek’ vind je informatie over het verschil tussen deze twee soorten onderzoek.

Kwalitatief onderzoek

Kwantitatief onderzoek

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone