In deze blog richten we ons op kwantitatieve data, data bijvoorbeeld verkregen uit vragenlijsten (meer weten over vragenlijsten? Lees deze blog). Deze data ga je analyseren, maar voordat je daaraan begint is het goed om de kwaliteit van je data te optimaliseren. Dit doe je door de data te cleanen om vervolgens met goede data aan de analyse en rapportage te beginnen. Een rapport op basis van vervuilde en/of incomplete data kan nooit van goede kwaliteit zijn en kan ook niet tot de juiste conclusies/aanbevelingen leiden. Dus CLEANING. 

Veel gebruikte software voor cleaning zijn Excel, SPSS, SAS, R en Python. Het is verstandig om voordat je hieraan gaat beginnen een kopie van je data te maken, zodat je altijd nog kunt teruggrijpen naar je originele data. In hoofdlijnen zijn er 3 methoden om je data te cleanen:

Deze methoden worden in het kort hieronder toegelicht.

Het verwijderen van een respondent

Tegenwoordig is het lastig om voldoende respons te krijgen, dus elke respondent is meegenomen. Toch is het soms verstandig om een respons te verwijderen, maar waarom zou je dit doen?

Het verwijderen van een antwoord van een respondent

Hierbij kan het gaan over een waarde die logischerwijs niet voor kan komen. Bij een online vragenlijst wordt hier vaak al op gecontroleerd, maar niet altijd en bij papieren vragenlijsten gebeurt dit sowieso niet. Bijvoorbeeld een hele hoge of juist heel lage leeftijd. Het detecteren van dit soort ‘outliers’ kan simpelweg door een frequency uit te draaien.

Veel vaker gaat het hierbij om combinaties van antwoorden. Ook hiervoor kan bij een online vragenlijst een controle worden ingebouwd, maar gebeurt lang niet altijd. Denk bijvoorbeeld aan iemand van 30 jaar met 25 jaar werkervaring. Het oplossen hiervan is niet altijd makkelijk. Welk antwoord is in dit voorbeeld fout? Beste is om beide antwoorden te verwijderen. Het detecteren van dit soort ‘fouten’ kan door kruistabellen te draaien of door respondenten alleen mee te nemen wanneer aan een voorwaarde wordt voldaan, bijvoorbeeld dat de leeftijd minimaal 15 jaar hoger moet zijn dan het aantal dienstjaren.

Het vervangen van een antwoord door een andere waarde

Stel: je wilt weten hoe vaak een wijkbewoner de lokale supermarkt heeft bezocht het afgelopen half jaar. In de vragenlijst worden hier 2 vragen over gesteld.

  1. Heeft u de supermarkt het afgelopen jaar bezocht (ja/nee)
  1. Zo ja (doorverwijzing) Hoe vaak heeft u de supermarkt het afgelopen jaar bezocht?

Wanneer je nu het gemiddelde aantal bezoeken wilt weten en je draait een gemiddelde van vraag 2, dan kom je te hoog uit, aangezien bij diegenen die de supermarkt niet hebben bezocht deze vraag leeg is. Een oplossing is om bij diegenen die op vraag 1 ‘nee’ hebben beantwoord, vraag 2 op nul te zetten. En dan een gemiddelde berekenen.

Wil je meer weten over wat datacleaning inhoudt? Lees het hier.

Voordat je begint met de analyse van je data is het goed om te controleren of het veldwerk dat je hebt gedaan goed is uitgevoerd en geregistreerd. Zijn er voldoende respondenten, voldoende vragenlijsten, voldoende observaties, voldoende interviews? En het belangrijkste is je data representatief? Is het representatief voor de gehele onderzoekspopulatie? Om hierachter te komen is het goed om aan datacleaning te doen. Maar wat is dat eigenlijk?

Kwalitatieve datacleaning

Bij interviews of groepsgesprekken wil het wel eens dat er bepaalde informatie onderbelicht blijft. Kijk daarom halverwege je veldwerk of je al antwoord kunt geven op je onderzoeksvragen. Je hebt dan namelijk nog tijd om extra gesprekken in te plannen of je protocol aan te passen. Op deze manier krijg je alsnog de informatie boven die je nodig hebt. Wanneer je hier aan het eind van je veldwerk achter komt, moet je extra gesprekken inplannen om alsnog achter de informatie te komen.

Kwantitatieve datacleaning

Bij kwantitatieve data is het belangrijk om te controleren of je voldoende respons hebt ontvangen. Tevens kijk je of de aantallen representatief zijn voor je onderzoekspopulatie. Doe je een onderzoek in de provincie en je hebt alleen respons van één gemeente, dan is dit niet representatief voor de gehele provincie. Naast representativiteit moet je ook controleren op fouten bij invoeren en registreren. Als je fouten ontdekt in de registratie, kijk of je het kunt corrigeren zonder dat de data wordt veranderd. Als je veel fouten ontdekt, kijk waar de fout ligt en pas de vragenlijst aan en controleer intensiever de data.

Controleer of respondenten minimaal 2/3 van de vragen die ze hebben gekregen hebben ingevuld. Let op: soms krijgen ondervraagden slechts een deel van de vragenlijst te zien. Houd daar rekening mee. Als iemand minder dan 2/3 van de vragen heeft ingevuld, moet deze uit het databestand worden verwijderd.

Bekijk tevens de antwoorden van de respondenten, spreken de antwoorden elkaar tegen? Zijn de vragenlijsten ingevuld om ervan af te zijn, als iemand bijvoorbeeld altijd het eerste antwoord heeft aangekruist. Als er te veel interne tegenspraak is, de vragenlijst te onzorgvuldig ingevuld is of veel antwoorden ontbreken, verwijder dan de gehele vragenlijst. Deze antwoorden zijn niet betrouwbaar.

Zorg dat je een databestand hebt waar de goede data in staat, waarmee je de analyse kunt maken. Hierdoor wordt je analyse makkelijker en representatief.

Wanneer je interviews afneemt kun je veel te weten komen. Je verzamelt voornamelijk kwalitatieve data. (Er zijn enkele trucjes om ook kwantitatieve data te verzamelen.) Nog voordat je interview start, is het van belang dat je je interviewvragen goed gedefinieerd hebt. Want vragen stellen doe je niet voor de lol: ze moeten uiteindelijk antwoord geven op de hoofdvraag van je onderzoek. Daarom geef ik je tips hoe je je interviewvragen zo goed mogelijk vormgeeft:

  1. Zorg dat je helder geformuleerde hoofd- en deelvragen paraat hebt.
  2. Stel vragen op die aansluiten bij je hoofd- en deelvragen. Om er zeker van te zijn dat je ze allemaal kunt beantwoorden, zet je achter iedere vraag bij welke hoofd- of deelvraag de vraag aansluit.
  3. Zet de vragen op een logische volgorde waarmee je overlap voorkomt.
  4. Voorzie je interviewvragen van een introducerende tekst. Hierin staat waarom deelnemers worden geïnterviewd en hoe lang het interview duurt.
  5. Formuleer je vragen zo, zodat de geïnterviewde ze begrijpt. Je kunt dit testen door het protocol te oefenen met je collega. Zo merk je ook of je vragen in de juiste volgorde gesteld worden.
  6. Zorg dat je vragen objectief worden gesteld. Hierdoor voorkom je vooroordelen die ertoe leiden dat het onderzoek de verkeerde antwoorden geeft en blijft er ruimte om door te vragen tijdens je interview. Vooroordelen komen voor als je leidende vragen stelt zoals ‘Vind je ook niet dat’, ‘zou je…?’ of ‘Klopt het dat…?’.
  7. Zorg ervoor dat er ruimte is om verdiepende vragen te stellen. Verdiepende vragen beginnen met ‘waarom’, ‘hoe’, ‘wat’ en ‘wie’. In deze vragen vind je dé ‘goudklompjes’ die speciale inzichten voor je onderzoek opleveren.
  8. Stel een afsluitende tekst op met uitleg over wat er met de uitkomsten van het gesprek gebeurt.

Tot slot wil ik je meegeven dat het belangrijk is om objectief te blijven tijdens het interview. Je eigen mening speelt hierin geen rol. Zorg ervoor dat de geïnterviewde zijn eigen verhaal kan vertellen.

Meer tips om je interview goed voor te bereiden? Lees dan mijn blog ’10 tips om een interview voor te bereiden’ of ’15 tips voor een goed interview’.

Department of Performing Arts

Het Department of Performing Arts (onderdeel van Fonds Podiumkunsten) wilde inzicht in haar bereik en wil dit kunnen monitoren. Hiervoor hebben we samen gedurende een traject output- en outcome-indicatoren opgesteld. Door middel van een aantal casussen zijn de indicatoren getoetst. Na deze toets zijn de indicatoren aangescherpt. Dit proces hebben we herhaald totdat het goed was. Aansluitend is gekeken naar hoe de informatie van de indicatoren verzameld kon worden. Na afloop van het traject heeft het department indicatoren waarmee ze hun bereik kunnen meten en weten ze hoe ze de bijbehorende informatie kunnen verzamelen, die veelal aanwezig bleek te zijn. Er is ook een instructie gemaakt hoe deze data te analyseren. Het department kon na dit traject zelf aan de slag met het monitoren van hun beleid.

Lees meer:

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone