In deze blog richten we ons op kwantitatieve data, data bijvoorbeeld verkregen uit vragenlijsten (meer weten over vragenlijsten? Lees deze blog). Deze data ga je analyseren, maar voordat je daaraan begint is het goed om de kwaliteit van je data te optimaliseren. Dit doe je door de data te cleanen om vervolgens met goede data aan de analyse en rapportage te beginnen. Een rapport op basis van vervuilde en/of incomplete data kan nooit van goede kwaliteit zijn en kan ook niet tot de juiste conclusies/aanbevelingen leiden. Dus CLEANING. 

Veel gebruikte software voor cleaning zijn Excel, SPSS, SAS, R en Python. Het is verstandig om voordat je hieraan gaat beginnen een kopie van je data te maken, zodat je altijd nog kunt teruggrijpen naar je originele data. In hoofdlijnen zijn er 3 methoden om je data te cleanen:

Deze methoden worden in het kort hieronder toegelicht.

Het verwijderen van een respondent

Tegenwoordig is het lastig om voldoende respons te krijgen, dus elke respondent is meegenomen. Toch is het soms verstandig om een respons te verwijderen, maar waarom zou je dit doen?

Het verwijderen van een antwoord van een respondent

Hierbij kan het gaan over een waarde die logischerwijs niet voor kan komen. Bij een online vragenlijst wordt hier vaak al op gecontroleerd, maar niet altijd en bij papieren vragenlijsten gebeurt dit sowieso niet. Bijvoorbeeld een hele hoge of juist heel lage leeftijd. Het detecteren van dit soort ‘outliers’ kan simpelweg door een frequency uit te draaien.

Veel vaker gaat het hierbij om combinaties van antwoorden. Ook hiervoor kan bij een online vragenlijst een controle worden ingebouwd, maar gebeurt lang niet altijd. Denk bijvoorbeeld aan iemand van 30 jaar met 25 jaar werkervaring. Het oplossen hiervan is niet altijd makkelijk. Welk antwoord is in dit voorbeeld fout? Beste is om beide antwoorden te verwijderen. Het detecteren van dit soort ‘fouten’ kan door kruistabellen te draaien of door respondenten alleen mee te nemen wanneer aan een voorwaarde wordt voldaan, bijvoorbeeld dat de leeftijd minimaal 15 jaar hoger moet zijn dan het aantal dienstjaren.

Het vervangen van een antwoord door een andere waarde

Stel: je wilt weten hoe vaak een wijkbewoner de lokale supermarkt heeft bezocht het afgelopen half jaar. In de vragenlijst worden hier 2 vragen over gesteld.

  1. Heeft u de supermarkt het afgelopen jaar bezocht (ja/nee)
  1. Zo ja (doorverwijzing) Hoe vaak heeft u de supermarkt het afgelopen jaar bezocht?

Wanneer je nu het gemiddelde aantal bezoeken wilt weten en je draait een gemiddelde van vraag 2, dan kom je te hoog uit, aangezien bij diegenen die de supermarkt niet hebben bezocht deze vraag leeg is. Een oplossing is om bij diegenen die op vraag 1 ‘nee’ hebben beantwoord, vraag 2 op nul te zetten. En dan een gemiddelde berekenen.

Wil je meer weten over wat datacleaning inhoudt? Lees het hier.

Veel organisaties uit de culturele sector werken met vrijwilligers die in contact staan met bezoekers. Het is daarom fijn als zij tijdens een bezoekersonderzoek helpen bij het afnemen van vragenlijsten. In deze blog geven we je enkele tips om hier een succes van te maken.

  1. Neem de vrijwilligers mee in het doel en het nut van het bezoekersonderzoek, bijvoorbeeld door net voor de start een bijeenkomst te organiseren.
  2. Leg uit dat het belangrijk is dat enkele vrijwilligers als enige taak het afnemen van vragenlijsten hebben.
  3. Maak duidelijk dat het gaat om kwalitatief goed ingevulde vragenlijsten en niet om zo veel mogelijk vragenlijsten. Het is niet handig er een wedstrijdje van te maken.
  4. Het is voor vrijwilligers fijn als ze bezoekers een presentje kunnen aanbieden bij het afnemen van een vragenlijst, bijvoorbeeld iets kleins uit de museumwinkel (pen, koelkastmagneet) of consumptiebon.
  5. Zorg dat je voldoende materiaal bij de hand hebt voor vrijwilligers.
  6. Een actieve uitstraling is belangrijk. Vraag vrijwilligers bezoekers actief en beleefd te benaderen met de vraag of ze mee willen doen.
  7. Laat vrijwilligers bezoekers willekeurig benaderen. Bijvoorbeeld door iedere vijfde bezoeker uit te nodigen die langskomt, of de eerste bezoeker die langskomt nadat een vragenlijst is ingevuld. Zo vermijd je dat bepaalde bezoekersprofielen voorkeur krijgen.
  8. Laat vrijwilligers assisteren bij vragenlijsten, bijvoorbeeld door het hardop voorlezen van de vragen.
  9. Maak duidelijke instructies wat er met de ingevulde vragenlijsten moet worden gedaan: aan wie moeten ze worden afgeleverd, wat moet er worden vermeld, etc.

Meer weten over vrijwilligers en wat te doen met feedback? Lees dan de blog Hoe verwerk je feedback van vrijwilligers.

In eerdere blogs hebben we uitgelegd waarom een mto interessant is voor de creatieve sector, maar ook hoe je je bedrijf kunt verbeteren met een MTO. In deze blog geven we je 5 redenen om een MTO te willen doen in je organisatie.

  1. Je wilt weten wat er leeft binnen je bedrijf. Er is zoveel veranderd binnen je bedrijf dat je niet meer het overzicht hebt over wat er leeft binnen het bedrijf: Waar lopen de werknemers tegenaan en hoe denken ze over bepaalde zaken? Een aantal voorbeelden waar je graag een antwoord op wilt. Wanneer je weet wat er leeft, kun je maatregelen nemen en veranderingen doorvoeren waardoor je medewerkers weten dat er naar ze geluisterd wordt. Ze zien dat de organisatie weet wat er leeft op de vloer.
  1. Je wilt weten waar behoeftes liggen van werknemers. In de verschillende teams leven verschillende dingen. Je raakt hierdoor af en toe het overzicht kwijt. Daarnaast roepen sommige medewerkers heel hard en hoor je anderen maar weinig. Graag wil je een keer weten van iedereen wat hun behoeftes zijn. Willen ze minder protocollen of juist heldere protocollen. Is er behoefte aan een duurzame ontwikkeling van de werknemers? Hoe denken ze over het managementteam? Voor een werkgever is het goed om te weten waar de behoeftes liggen van je werknemers, zodat je ervoor kunt zorgen dat werknemers met plezier naar het werk gaan en blijven gaan.
  1. Je wilt weten of je werknemers tevreden zijn. Het is goed regelmatig te meten of je medewerkers tevreden zijn over jouw organisatie. Dit kan op het gebied van creativiteit, werkzaamheden, werkomstandigheden, ontwikkeling, communicatie, cultuur en arbeidsvoorwaarden. Wanneer je weet waar je werknemers minder tevreden over zijn, kun je daar aan werken om ervoor te zorgen dat ze er wel tevreden over raken. Maar ook als ze ergens tevreden over zijn, kun je het uitbouwen zodat ze tevreden blijven. Tevreden medewerkers zijn belangrijk voor je bedrijf.
  1. Je wilt de organisatie stabiliseren en verstevigen. Er zijn een aantal interne processen die goed gemonitord moeten worden om te kijken of ze nog relevant zijn. Wanneer deze processen goed geregeld zijn, kun je groeien met je organisatie.
  1. Je wilt je organisatie verbeteren. Je hebt doelen gesteld voor je organisatie en wilt hieraan werken. Hiervoor is het belangrijk om te weten wat de medewerkers vinden van de organisatie. Is het te log of kunnen ze juist gemakkelijk met iemand van het management spreken?

Lees hier hoe wij als onderzoeksbureau kunnen helpen met een MTO binnen jouw organisatie.

In de blog MTO in de creatieve sector is uitgelegd wat een MTO is en wat het kan betekenen voor je organisatie. Hieronder een aantal tips om je resultaten in te zetten voor verbetering en groei van je organisatie.

  1. Laat je werknemers in het MTO verbeterpunten aandragen voor de organisatie. Zo heb je toepasbare tips, waarvan werknemers denken dat ze werken. Tevens hebben de werknemers inspraak en hoef je niet alles zelf te bedenken. Er zullen zaken zijn die je zelf waarschijnlijk niet ziet.
  1. Betrek je werknemers bij de verbeteringen. In het MTO hebben zij aangegeven hoe ze over zaken denken in de organisatie. Bespreek daarom de resultaten met de werknemers, bijvoorbeeld in een presentatie. Kijk hoe je ze kan betrekken bij het maken van verbeteringen. Laat zien dat je iets doet met de resultaten uit het MTO.
  1. Stel prioriteiten aan onderwerpen waarvan is aangegeven dat er verbeteringen liggen. Onderwerpen waar de medewerkers van hebben aangegeven er ontevreden over te zijn en prioriteit hebben, zullen als eerste aangepakt moeten worden.
  1. Bekijk welke verbeterpunten snel en makkelijk zijn te realiseren. Voer deze verbeterpunten als eerste door. Hiermee laat je aan je werknemers zien dat je de resultaten uit het MTO serieus neemt.
  1. Bekijk van de andere verbeterpunten wat realistisch is. Leg aan de werknemers uit wat wel en wat niet kan. Beargumenteer het. Wanneer aangedragen oplossingen niet realistisch zijn, bekijk dan hoe je het op een andere manier kunt realiseren.

Hier kun je lezen hoe wij als onderzoeksbureau kunnen helpen met een MTO binnen jouw organisatie

Creativiteit is een belangrijke vaardigheid. Er wordt steeds vaker een beroep op gedaan. Zowel  in je volwassen leven als op school. Daarom is er ook steeds meer aandacht voor de ontwikkeling van creativiteit op scholen en met name het basisonderwijs. Samen met de Stichting Cultuur Eindhoven ben ik gaan kijken of je creativiteit kunt meten en wat je met zo’n instrument zou kunnen doen.

TNO[1] heeft in 2015 in opdracht van het ministerie OCW een instrument ontwikkeld waarmee gemeten kan worden hoe creatief iemand is aan de hand van zeven indicatoren en daarnaast in hoeverre de ontwikkeling van creativiteit gestimuleerd wordt (drie indicatoren).


De indicatoren voor creatief vermogen zijn:

✔ Nieuwsgierig

Volhardend

Vindingrijk

Interacterend met anderen

Output gericht

Trots op werk

Anders durven zijn

 En de indicatoren voor het ontwikkelen van creatief vermogen zijn:

✔ Richting

✔  Ruimte

✔  Ruggenspraak

Maar wat kun je nu met deze indicatoren? Deze indicatoren zijn inmiddels vertaald in een gevalideerde vragenlijst. Met deze vragenlijst kun je leerlingen dus scoren op deze tien indicatoren. En dat biedt allerlei opties.

Maatwerk aanbieden aan leerlingen

Allereerst kun je de creativiteit van de leerlingen (of andere personen) in beeld brengen, bijvoorbeeld met een spinnenwebgrafiek. Hiermee zie je waar iemand goed in is en waar minder goed. Aan de hand hiervan kun je de opdrachten en begeleiding die je geeft aanpassen. Het onderzoek van TNO heeft negen prototypische profielen onderscheiden en geeft per profiel tips. Je kunt dus ook kijken in welk prototypisch profiel iemand valt. Je kunt aan de hand hiervan aanpassen wat je aanbiedt.

Ontwikkeling per leerling in beeld brengen

Ten tweede kun je door de vragenlijst vaker af te nemen, de ontwikkeling op het gebied van creativiteit in beeld brengen. Door bijvoorbeeld (half) jaarlijks de vragenlijst af te nemen en de score van de zeven indicatoren in een spinnenweb naast elkaar in beeld te brengen. Kun je de ontwikkeling van leerlingen inzichtelijk maken.

Feedback voor de begeleiders en leerkrachten

Door de scores op de drie indicatoren voor het ontwikkelen van creatief vermogen in beeld te brengen, zie je wat de leerlingen aangeboden krijgen. Geeft de begeleider of leerkracht richting, ruimte en ruggenspraak? In welke mate wordt dit gedaan? Dit geeft de begeleider of leerkracht inzicht in wat hij/zij doet en daarmee de mogelijkheid dit te verbeteren.

Impact in beeld brengen

Als je de creatieve ontwikkeling van leerlingen die aan een bepaald project meedoen in beeld brengt (zoals wij hebben gedaan met ‘de Reünie’ van de Ontdekfabriek), zie je op welke indicator(en) dat project impact heeft. Je moet hiervoor voor aanvang en na afloop van het project de vragenlijst afnemen. Op zeven indicatoren van creativiteit kun je zien of deze zijn toegenomen. Het beste kun je dit zien op individueel niveau. Als je werkt met alle tien de indicatoren zie je ook of je alle indicatoren aanbiedt die nodig zijn om creativiteit te ontwikkelen.

Observeren

Het is natuurlijk ook mogelijk om leerlingen en begeleiders te observeren op deze indicatoren. Het rapport van TNO biedt geen observatielijst, maar wel voldoende aanknopingspunten om deze te maken. Beschreven staat hoe de indicatoren er uit zien en dit heb ik vertaald in een observatielijst voor de hele groep om lessen in het kader van ‘de Reünie’ te observeren. Dit kun je ook doen om leerlingen en begeleiders individueel te observeren en scoren. Je krijgt zo meer inzicht in de creativiteit en de ontwikkeling ervan, van de leerlingen. Deze observaties kun je op dezelfde manieren inzetten als de vragenlijst: om maatwerk te bieden, de ontwikkeling in beeld te brengen, feedback te geven aan begeleiders en leerkrachten en de impact van projecten in beeld te brengen.

Download het onderzoeksrapport hier met de resultaten van creativiteitsmetingen? 

[1] Stubbé, H.E. Jetten, A.M. Paradies, G.L. en Veldhuis, G.J. (2015) Creatief Vermogen - de ontwikkeling van een meetinstrument voor leerlingen op school, TNO-Soesterberg

De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij kwantitatief onderzoek gaat dat over aantallen: het betrouwbaarheidspercentage en de juiste steekproef van de onderzoekspopulatie. Lees hiervoor mijn blog Wat betekent betrouwbaarheid?

Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Bij (groeps)interviews spreek je vaak met belangrijke spelers in het veld, deelnemers, samenwerkingspartners of andere belanghebbenden. Zorg dat je verschillende mensen spreekt met verschillende standpunten. Je moet je vraagstuk van verschillende kanten kunnen bekijken. Kies je gesprekspartners dus bewust.

Bij literatuurstudie is het belangrijk dat je in de volledige breedte kijkt naar de literatuur. Kijk naar verschillende standpunten en theorieën. Niet alleen theorieën die jouw standpunt onderbouwen, maar kijk ook naar criticasters.

Daarnaast is het vastleggen van je gegevens heel belangrijk. Maak verslagen van je gesprekken, zodat anderen terug kunnen lezen wat gezegd is. Houd bij een literatuurstudie je literatuurlijst goed bij.

Subsidiegevers (zoals de gemeente en fondsen) willen graag weten wat er met het geld gebeurd wat zij aan subsidienemers (zoals culturele organisaties) verstrekken. Wat heeft de subsidienemer bereikt, wat is de kwaliteit en wat hebben ze bijgedragen aan het gezamenlijk doel? Om dit in kaart te brengen moet een onderzoek uitgevoerd worden. Zo’n onderzoek (monitor of evaluatie) is zowel leerzaam voor de subsidiegever als de subsidienemer. Beide partijen leren over hun doelbereik en hoe ze dit kunnen vergroten.

De evaluatie of monitor kan door beide partijen gedaan worden of opdracht toe gegeven worden. Wat is een slimme keuze?

Als de subsidiegever het onderzoek verzorgt:

• Objectief: De subsidiegever kijkt vaak met een objectievere blik naar projecten dan de instelling zelf.
• Expertise: Subsidiegevers hebben meer middelen om expertise in te huren of hebben zelf experts in dienst.
• Medewerking: Organisaties voelen zich soms gecontroleerd bij zo’n monitor en kunnen daarom minder bereid zijn mee te werken.
• Vergelijking: Het is mogelijk om naar meer projecten en subsidienemers te kijken en zo een vergelijking te maken. Dit kan heel leerzaam zijn: wat werkt en waarom bij de ene wel en bij de andere niet?

Subsidienemer:

• Inzicht in eigen project: De subsidienemer is degene die de projecten heeft ontwikkeld en is dus ook degene met de meeste inzicht in die projecten.
• Oppassen voor subjectiviteit: Omdat subsidienemers zo dicht bij hun eigen projecten staan, is het belangrijk dat het onderzoek niet te subjectief wordt.
• Zelf uitvoeren: Omdat subsidienemers het onderzoek vaak zelf doen, kan het zijn dat het minder professioneel wordt uitgevoerd dan als een derde partij het doet.
• Vergelijking: Ook hier is het mogelijk om naar andere projecten en subsidienemers te kijken en een vergelijking te maken. Zo kunnen subsidienemers van elkaar leren en erachter komen wat wel en niet werkt.

juiste onderzoeksvraag

Als opdrachtgever bepaal jij wat je wilt laten onderzoeken. Dat betekent dat jij de touwtjes in handen hebt. Jij kunt invloed kan uitoefenen op het onderzoek (en de onderzoeker) op bepaalde momenten in het proces. Maar welk moment is nu de juiste om dat te doen?

Scherpstellen plan

In het eerste gesprek tussen de opdrachtgever en onderzoeker wordt besproken wat er precies onderzocht gaat worden. Geef goed aan wat jij voor ogen hebt en wat je verwacht van het onderzoek en de onderzoeker. Je kunt hier ook kort aangeven hoe de rapportage eruit moeten komen te zien, maar details zijn later pas van belang.

Opzetten meetinstrumenten

Nadat het duidelijk is wat er onderzocht gaat worden, zet de onderzoeker een meetinstrument op. Op dit moment kun je nog vragen stellen over de inhoud van het onderzoek en aanpassingen maken aan het meetinstrument. Ben je toch niet helemaal tevreden over de richting waar het onderzoek opgaat? Geef dat dan nu aan.

Dataverzameling

Zodra de dataverzameling is begonnen, kan er niks meer worden veranderd aan de richting van het onderzoek of het meetinstrument. Houd in deze periode wel vinger aan de pols of er voldoende respons is, hoe het gaat en of het nodig is extra inspanningen te doen.

Analyse, rapportage en presentatie

Geef aan, vóórdat de onderzoeker aan de analyse en het rapport begint, welke informatie en gegevens erin moeten komen, maar ook wat het doel is van je rapport (naslagmateriaal, mensen overtuigen, verantwoording). Dan kan de onderzoeker het rapport en de vormgeving ervan daarop aan laten sluiten. Bespreek ook welke vorm het rapport moet krijgen. Het hoeft namelijk geen klassiek rapport te zijn, het kan ook een artikel, presentatie of factsheet zijn. Lees voor verschillende mogelijkheden ook mijn blog: 8 vormen om je onderzoeksresultaten te verspreiden.

Hoe mooi en uitgedacht een plan ook is, de realiteit verloopt vaak anders. Je verwacht vlekkeloos van start naar het eindresultaat te gaan. Maar tussen die twee momenten zitten een hoop obstakels die je moet overwinnen. Maar dat betekent niet dat je niet over die obstakels heen kunt komen of dat je je plan niet kunt aanpassen. Hieronder geef ik vijf tips:

1. Probeer vooruit te kijken
Kijk kritisch naar je plan en bedenk waar het fout kan gaan. Probeer vooruit te bedenken waar mogelijk beren op de weg komen. Ben je bijvoorbeeld afhankelijk van iemand, zorg er dan voor dat je tijdig begint met het zorgen voor medewerking. Heb je een samenwerkingspartner met andere belangen, zorg dan voor goed overleg en afstemming.

2. Focus op je onderzoeksdoel en onderzoeksvraag
Antwoord op je vragen is wat telt. Als iets tegen zit, kun je kijken of er andere manieren zijn om antwoord op je vraag te krijgen. Kun je bijvoorbeeld ook deelnemers observeren als je onvoldoende respons krijgt op een vragenlijst. Of zijn ze wel bereid mee te werken aan een telefonisch interview. Het is belangrijk de juiste informatie te verzamelen en dat deze valide is. Welke methode je gebruikt is minder belangrijk.

3. Bedenk een plan B
Stel dat je vierhonderd respondenten nodig hebt voor je vragenlijst. Maar mensen zijn niet zo bereidwillig als je had gehoopt. Wat ga je dan doen? Houd een plan B achter de hand, zodat je onderzoek niet vastloopt op dit punt. Hoe kun je mensen verleiden om mee te doen aan je onderzoek? En waar kun je je respondenten nog meer bereiken?

4. Praat met anderen
Op sommige momenten kun je het niet alleen, maar heb je hulp van anderen nodig. Vooral als je het even niet meer ziet zitten, kan praten met anderen al helpen om je ‘back on track’ te krijgen. En soms kunnen anderen jou helpen om je nieuwe ideeën te geven of een plan B te bedenken. Ook kan het helpen om je onderzoek uit te leggen aan iemand die totaal geen verstand van het onderwerp heeft. Al pratend kun je op nieuwe ideeën of inzichten komen.

5. Het is niet erg om fouten te maken
Bijna geen enkel plan verloopt vlekkeloos. Het gaat met vallen en opstaan. Soms ben je een aantal dagen kwijt met een idee dat uiteindelijk toch niet blijkt te werken. Onderzoek doen kost tijd. Houd daar rekening mee en bedenk dat het niet erg is om fouten te maken.

Bij het opzetten van een onderzoeksopzet komen er allerlei vragen naar boven. Veel is interessant, maar wat gaat je écht verder helpen? Probeer dit onderscheid steeds te maken tijdens alle fases van je onderzoek: bij het opstellen van je plan, het ontwerpen van je instrument, het verzamelen van je data, maar ook bij de analyse en rapportage. Welke informatie heb je nodig om je doel te bereiken en wat is ‘slechts’ interessant.

Niet verdwalen
Een onderzoek moet informatie opleveren. Maar teveel informatie is ook niet fijn. Je verdwaalt in je data en je kunt je onderzoeksvragen niet meer helder beantwoorden. Als je bijvoorbeeld een vragenlijst maakt, is het heel makkelijk om ‘die ene vraag’ er nog even in te stoppen, omdat het zo leuk is om te weten. Maar zullen de antwoorden ook echt nuttig zijn voor je onderzoek? Vraag jezelf daarom af welke informatie je écht nodig hebt om je onderzoeksvraag te beantwoorden.

Maak daarnaast een overzicht van de informatie die je al bezit. Zo voorkom je dubbel werk.

Helder doel opstellen

Zorg er voor dat je een helder doel voor ogen hebt. Welke informatie moet je onderzoek opleveren? Stel dat je wilt weten hoe je bezoekers jouw tentoonstelling ervaren. Dan is dat waar je onderzoek naar gaat doen. Houdt bij het opstellen van de vragenlijst steeds je doel erbij, zodat je alleen onderzoekt wat je ook echt wilt onderzoeken.

Keuzes maken
Maak keuzes in wat je wilt weten. Hoe doe je dat? Blijf deze vragen stellen om die keuzes goed te kunnen maken:

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone