Bij een onderzoekrapportage denken veel mensen, helaas, nog steeds aan een lijvig boekwerk dat leest als een spannend boek (er wordt langzaam toegewerkt naar de conclusie). Er zijn echter ook andere manieren van rapporteren die steeds vaker gebruikt worden. Afhankelijk van de mate waarin je de onderzoeksresultaten wilt verspreiden, staan hieronder enkele mogelijkheden:
Een andere manier van schriftelijk rapporteren is per hoofdstuk een onderzoeksvraag beantwoorden. Binnen deze antwoorden begin je met de conclusie en wordt vervolgens uitgelegd hoe dit antwoord is opgebouwd.
Naast een schriftelijke rapportage is een presentatie ook mogelijk. Veel mensen vinden het prettiger om te luisteren of te kijken dan om te lezen. Met een presentatie krijgen luisteraars de mogelijkheid meteen te reageren en vragen te stellen als iets niet duidelijk is. Om de presentatie te bewaren kun je deze filmen.
Een dashboard is een dynamische manier van presenteren. In Excel kun je met grafieken een mooie presentatie maken. Elke keer dat je nieuwe informatie hebt wordt deze informatie meegenomen in je grafieken. Door gebruik te maken van filters kun je spelen met je data. Het dashboard vernieuwt zich daardoor steeds en laat de informatie zien die jij interessant vindt.
In zo’n rapportage ligt het accent op grafieken en tabellen. Conclusies worden beknopt geformuleerd. Dit is voor de schrijver lastig, omdat zij minder woorden heeft om nuances aan te brengen. Voor de lezer is het overzichtelijker en minder leeswerk. De nuances staan in de grafieken en tabellen en vergt dus soms nog wat interpreteerwerk vanuit de lezer.
Op internet zie je steeds vaker infographics voorbij komen. Het zijn informatieve illustraties waarbij gebruik wordt gemaakt van tekst, grafieken en tekeningen. Het is een snelle manier om informatie te delen.
Om onderzoeksresultaten te verspreiden aan een breder publiek is een animatiefilmpje een mogelijkheid om informatie op een prettige manier te vertellen en tonen, welke vervolgens gemakkelijk te verspreiden is. Door hierbij gebruik te maken van YouTube en social media, kan de informatie breed verspreid worden. Mensen zullen sneller geneigd zijn het te bekijken omdat de informatie toegankelijk en aantrekkelijk aangeboden wordt (bv in vergelijking met een schriftelijke rapportage).
Een andere manier om informatie laagdrempelig en aantrekkelijk te verspreiden is een folder of flyer. De hoofdzaken worden samengevat en aantrekkelijk vormgegeven met grafieken en illustraties. Het voordeel van een folder is dat deze gedrukt kan worden en dan zowel fysiek (bijvoorbeeld bij een bijeenkomst) als digitaal verspreid kan worden.
Een andere laagdrempelige manier om informatie te verspreiden is een tijdschrift. Door de vormgeving wordt de informatie aantrekkelijker gemaakt. De wijze van schrijven (in losse artikels en columns) wordt de informatie laagdrempeliger gemaakt.
Een artikel schrijven en vervolgens publiceren in een tijdschrift zorgt voor een brede verspreiding van je resultaten onder je doelgroep. Kies hierbij in welk tijdschrift je wilt publiceren en pas hierop je artikel aan. Een artikel voor een vaktijdschrift ziet er anders uit dan een artikel voor een populair tijdschrift.
Wil je meer informatie over het formuleren van onderzoeksvragen? Lees dan deze blog: Hoe kom je tot de juiste onderzoeksvraag?
Click on the flag to read this article in English
In deze blog richten we ons op kwantitatief onderzoek waarbij via een vragenlijst data wordt verzameld, meestal door gebruik te maken van een online tool. Nu wil je als onderzoeker in de meeste gevallen zoveel mogelijk data om de analyses op uit te voeren. Een ander doel is om zo min mogelijk ‘vervuiling’ in het bestand te hebben. Dat maakt je onderzoeksresultaten namelijk minder betrouwbaar.
Vervuiling in een respondentenbestand kan ontstaan door:
Er zijn 2 manieren om een online vragenlijst te versturen. Via een gepersonaliseerde link of via een open link. Het probleem van dubbele respondenten doet zich alleen voor bij een open link aangezien een gepersonaliseerde link maar 1x gebruikt kan worden.
Het probleem van dubbele respondenten doet zich met name voor wanneer er een beloning gekoppeld wordt aan deelname aan het onderzoek. Dit is helaas steeds vaker nodig om voldoende respons te krijgen. Wanneer je een vragenlijst vaker invult heb je logischerwijs meer kans bij een verloting van een prijs. Voor het versturen van een beloning heb je een mailadres nodig. Heel eenvoudig is om te controleren op dubbele mailadressen. Nu kan het zijn dat meerdere mensen gebruik maken van hetzelfde mailadres. Vraag dan behalve mailadres ook naar de naam en controleer dan op dubbelen. Ook kan in de introtekst van de vragenlijst vermeld worden dat er per mailadres slechts 1 beloning kan worden verstrekt.
Al met al geen waterdicht systeem, maar voldoende om een groot deel van de ‘fraudeurs’ te ontmantelen.
Ook dit probleem doet zich vooral voor wanneer er sprake is van een beloning, maar ook als leerlingen een vragenlijst klassikaal (verplicht) invullen. Respondenten willen in deze gevallen snel klaar zijn en vullen de vragenlijst niet serieus in. Je kunt dit herkennen door een paar controles uit te voeren:
Bij het gebruik van een open link die bijvoorbeeld via sociale media verspreid wordt, kan het voorkomen dat er respons binnenkomt van respondenten die niet tot de doelgroep behoren ondanks dat dit vanzelfsprekend duidelijk in de introtekst is aangegeven. We weten allemaal dat introteksten slecht of niet worden gelezen. Om dit verder te voorkomen is het verstandig om aan het begin van de vragenlijst een filtervraag te zetten. Gebeurt het toch dat er respondenten in je databestand zitten die niet tot de doelgroep behoren, is het vanzelfsprekend verstandig om die te verwijderen en daarmee vervuiling van je bestand tegen te gaan.
Iets wat helaas veel gebeurt, is dat respondenten wel beginnen aan een vragenlijst, maar deze niet afmaken. Nu is het de vraag wanneer je respondenten wel of niet meeneemt bij deels ingevulde vragenlijsten. Hier zijn geen harde regels voor. Ik ben hier zelf redelijk streng in en neem respondenten mee als ze minimaal de helft hebben ingevuld. Probeer respondenten te ontmoedigen om de vragenlijst af te breken. Zorg voor kwalitatief goede vragenlijsten en probeer zo min mogelijk vragen verplicht te stellen.
Je bent bijna aan het einde van je studie en moet je scriptie schrijven. Maar hoe bouw je een scriptie op en wat moet er in? De eisen aan de opbouw kunnen per universiteit of hogeschool verschillen. Kijk hier daarom goed naar voordat je begint met schrijven. Een algemene indeling vind je hieronder.
Hoewel het voorwoord vooraan in je scriptie staat schrijf je deze vaak als laatste. Hierin kun je het verloop van het scriptieproces beschrijven, maar ook eventuele persoonlijke motivaties om juist deze scriptie te doen. En hier kan je personen bedanken die belangrijk zijn geweest voor het proces en je onderzoek.
In de samenvatting deel je de belangrijkste inzichten, vaak op 1 pagina. Het dient een snel overzicht te zijn voor de lezer, waarbij ook de aanleiding van het onderzoek, de probleemstelling en de onderzoeksmethode worden beschreven.
De inhoudsopgave is de pagina die je het eerst maakt. Hierin zet je de indeling van je scriptie op.
In de introductie beschrijf je de aanleiding van je scriptie, de probleemstelling en de onderzoeksdoelstelling. Vaak wordt hier ook de relevantie van het onderzoek beschreven en tot slot een leeswijzer. Hoe moet de lezer dit verslag lezen en waar staat welk onderdeel van je scriptie.
In het theorie-deel beschrijf je het theoretisch kader op basis waarvan je het onderzoek gaat uitvoeren. Dit geeft handvatten voor de verschillende manieren waarop een onderzoek kunnen worden uitgevoerd, het geeft (wetenschappelijke) perspectieven en helpt bij het kiezen van de geschikte methode.
In het methoden-deel geef je antwoord op de vragen: wat, waar, wanneer, wie en hoe het onderzoek is uitgevoerd. Daarbij geef je toelichting waarom voor bepaalde methoden is gekozen en waarom juist niet voor een andere methode. Hier kun je ook een conceptueel model laten zien.
De resultaten van het onderzoek toon je in dit deel. Je laat de analyses zien en de interpretatie van deze analyses. Daarbij houd je rekening met het theoretisch kader.
Na de resultaten volgt de conclusie: hierbij beschrijf je wat het onderzoek betekent, zowel voor jezelf als voor de praktijk en de wetenschap.
Indien het onderzoek praktisch is, worden hier de aanbevelingen voor de praktijk gedaan. Hier beschrijf je ook opties voor vervolgonderzoek. Indien van toepassing kun je hier een verklaring geven of de resultaten afhankelijk zijn van bepaalde keuzes tijdens het onderzoek.
In de bijlagen komt de bibliografie, ofwel literatuurlijst met alle bronnen die je hebt gebruikt. Let er op dat je deze op de juiste wijze opmaakt.
Onlangs interviewde een stagiaire mij over de voor- en nadelen van een onderzoeksbureau. Ze liep stage voor een organisatie die graag de effecten van hun projecten inzichtelijk wilde maken, maar waren zoekende naar de beste manier dit aan te pakken. Het nadeel van een onderzoeksbureau is dat het geld kost en deze middelen kunnen beter aan het project zelf besteed worden.
Maar is een onderzoeksbureau duur? Of is een onderzoeksbureau effectiever en efficiënter dan zelf een onderzoek doen?
Het formuleren van de juiste onderzoeksvraag en de daarbij behorende onderzoeksmethodiek kiezen is een vak. Menig medior onderzoeker struikelt hier nog over. Verwacht dus niet van jezelf of een stagiaire dat deze dit kan. Hier is kennis en vooral ervaring voor nodig.Bij een verkeerd gekozen onderzoeksvraag of methodiek, krijg je na het onderzoek niet de antwoorden op je vragen die je nodig hebt. Je hebt energie gestoken in verkeerde informatie.
Na het formuleren van de onderzoeksvraag en het uitdokteren van de juiste methodiek om deze vragen beantwoord te krijgen, zijn er allerlei drempels en valkuilen om de juiste en voldoende informatie te verzamelen en deze vervolgens te formuleren als antwoorden op je vragen. Een onderzoeksbureau weet een goede vragenlijst/interviewleiddraad op te stellen waardoor niet alleen de oppervlakkige informatie wordt ingewonnen. Ze weet om te gaan met een lage respons en kunnen een grote hoeveelheid data vertalen in antwoorden en aanbevelingen. Doordat ze ervaring hebben met het uitzetten van veldwerk, analyse en rapporteren zijn ze hier minder tijd mee kwijt dan een medewerker. Ze weten welke drempels er zijn en waar de valkuilen zitten.
Door een onderzoeksbureau in te schakelen koop je inzicht in effecten. Voor een vooraf gesproken bedrag koop je een onderzoeksrapportage waarin de informatie staat waar je behoefte aan hebt. Je krijgt antwoord op je vragen. Al het andere is voor het onderzoeksbureau om op te lossen.
Als je gemeten effecten wilt communiceren naar derden, wil je niet het “wij van wc-eend, adviseren wc-eend” effect. Je onderzoeksresultaten zullen niet betrouwbaar worden gevonden als je zelf hebt gemeten volgens je eigen maatstaf. Een onderzoeksbureau zal zorgen voor een objectieve meting, waarbij de uitkomsten hetzelfde zullen zijn als het onderzoek door anderen herhaalt wordt.
Onderzoek doen kan tijdsintensief zijn. Zeker als je hier onvoldoende ervaring mee hebt. Als een medewerker een effectmeting doet kost dit uren en zo ook geld. Dit gaat ten koste van de andere werkzaamheden.
Meer weten over het doen van onderzoek? Bekijk hier wat ik voor je kan betekenen!
Uit een interview kun je veel informatie halen. Je kunt bijvoorbeeld nieuwe ideeën voorleggen, een lopend project bijsturen, of een programma evalueren. Met interviews verzamel je voornamelijk kwalitatieve data.
In deze blog geef ik tips voor de voorbereiding en uitvoering van interviews. Waaraan moet je denken bij de planning? Hoe maak je goede interviewvragen? Waar moet je rekening mee houden bij een groepsinterview? Ten slotte bespreek ik nog enkele alternatieve interviewmethoden.
Bij het organiseren en leiden van een groepsgesprek zijn er nog andere dingen waarmee je rekening moet houden. Je hebt bijvoorbeeld te maken met groepsdynamiek waar je mee om moet gaan.
Naast het gebruikelijke tweegesprek, waarin de interviewer vragen stelt aan de respondent, zijn er nog meer interviewmethoden. Hieronder staan vier voorbeelden.
Meer tips over het houden van een interview? Lees dan ook mijn andere blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?
Het eerste dat je doet als als je een onderzoek gaat uitvoeren is het doel van het onderzoek en de juiste onderzoeksvraag formuleren. Het doel van het onderzoek en de onderzoeksvraag geven namelijk aan hoe de verdere opzet van het onderzoek eruit zal zien. En een goede onderzoeksvraag zorgt ervoor dat je aan het eind van het onderzoek de juiste informatie in handen hebt waarmee je actie kunt ondernemen. De onderzoeksvraag formuleer je in vijf stappen:
De eerste stap om tot een juiste onderzoeksvraag te komen is het formuleren van het onderzoeksdoel door middel van het beantwoorden van de vraag ‘waarom wil je een onderzoek uitvoeren?’ Het beantwoorden van deze vraag geeft je een beeld van het soort onderzoeksvraag dat je gaat stellen, welke informatie en welke antwoorden je nodig hebt. Wil je een project of proces verbeteren of wil je je project verantwoorden? Bij beide doelen ga je evalueren, maar de antwoorden die je na afloop wilt zijn heel anders. Verbeterpunten versus aangetoonde effecten.
Aan de hand van je doel (stap 1) kun je bepalen welke informatie je nodig hebt om aan dit doel te voldoen. Wat moet je weten om je doel te bereiken? Wil je je doelbereik verbeteren? Dan heb je informatie nodig in de vorm van verbeterpunten (wat gaat er goed en wat kan beter?) Is het doel om je project te legitimeren voor financiers? Dan heb je informatie nodig in de vorm van effecten van het project. Wil je een betere afstemming met de doelgroep en is dit het doel van je onderzoek? Dan heb je informatie nodig in de vorm van kenmerken, wensen en behoeften van de doelgroep. Stel jezelf steeds de vraag; wat ga ik straks doen met deze informatie? Hiermee kun je prioriteiten aanbrengen.
Aan de hand van je onderzoeksdoel en de concrete beschrijving van je informatiebehoefte kun je de onderzoeksvraag of -vragen opstellen. Formuleer deze vragen zo exact mogelijk. Bedenk bij het formuleren van de vragen dat jijzelf of een onderzoeker straks antwoord gaat geven op deze vragen. Kun je met behulp van de antwoorden op de onderzoeksvraag je onderzoeksdoel bereiken? Kun je vervolgactie ondernemen als je antwoord krijgt op deze vragen?
Aan een onderzoek zitten over het algemeen verschillende randvoorwaarden . Het is belangrijk om hier in de fase van het formuleren van de onderzoeksvraag al inzicht in te krijgen. Randvoorwaarden waar je rekening mee moet houden zijn bijvoorbeeld tijd, budget, beschikbaarheid van bepaalde gegevens, privacy regels, etc.
De resultaten van een onderzoek kunnen verschillende vormen aannemen:
Onderzoeksresultaten kunnen in verschillende vormen opgeleverd worden: een rapport, een factsheet, een dashboard, een boek, een filmpje, een artikel, een discussiebijeenkomst, een presentatie, een website, een PowerPointpresentatie, een infographic, een animatie, een tijdschrift, een flyer, etc. Bedenk nu vast wat je daarin wilt communiceren en met wie. Welke vorm gaat je daarbij helpen. Effecten, argumenten of verbeterpunten. Maak vooraf een voorstelling van wat je op het einde van het onderzoek zou willen krijgen en of je daar je voorgenomen actie mee kunt ondernemen (anderen overtuigen, beleid of projecten verbeteren, een beslissing nemen).
Click on the flag to read this article in English
Bij sommige organisaties is evalueren heel gewoon, anderen doen er niet aan. Dat kan om verschillende redenen zijn, zoals het spannend vinden om kritiek te krijgen, het ingewikkeld vinden of het te veel werk/gedoe te vinden. Wat zijn dan zes slimme stappen om het evalueren van projecten in te voeren?
Van evalueren kun je leren. Wat je leert is afhankelijk van wat je evalueert. Een aantal mogelijke leerpunten zijn:
Een procesevaluatie gericht is op de manier waarop je werkt en samenwerkt. Van een procesevaluatie profiteer je dus bij alle volgende projecten, maar ook bij doorlopende processen.
Wacht dus niet tot het project is afgelopen met nadenken over evalueren. Plan bij voorkeur al bij de opzet van je project een evaluatie. Op welke momenten wil je evalueren? En wat wil je dan weten. Zijn er bepaalde mijlpalen in het project waarop het slim is om te reflecteren op het verloop van het project? Als je hier bij aanvang over nadenkt, wordt het gemakkelijker deze na afloop te beantwoorden.
Over de verschillende fasen van het proces, kun je de volgende vragen stellen.
Beantwoord deze evaluatievragen samen met het projectteam en zo nodig met externe partijen. Concentreer je niet op wat er niet goed ging, maar op wat er wel goed ging. Mensen leren namelijk meer van successen dan van fouten.
Organisaties vragen zich gedurende evaluaties vaak de vraag 'doen we de dingen goed?'. Een goede vraag, die je wilt beantwoorden om je projecten te verbeteren. Maar als je je doelen wilt bereiken, is de vraag 'doen we de goede dingen?' belangrijker. Een vraag die helaas veel minder vaak wordt gesteld. Je wilt graag weten of de ontwikkelde activiteiten bijdragen aan de beoogde doelstelling en dus het beoogde effect hebben.
Om deze vraag te beantwoorden, kun je effecten van je projecten gaan meten (Tien tips voor het meten van effecten), maar je kunt ook kritisch kijken naar waarom activiteiten worden uitgevoerd.
Veel instellingen hebben een visie en missie. Waarschijnlijk de instelling waar u werkt ook. Deze worden vervolgens vertaald in doelstellingen (en subdoelstellingen), die vervolgens omgezet zijn in activiteiten. Hier komen vaak een aantal aannames om de hoek. Een voorbeeld: Een gemeente die burgers wil stimuleren een gezond leven te leiden, kan besluiten sport te subsidiëren (de activiteit). Immers (verantwoord) bewegen is gezond. Door vervolgens alle sportverenigingen te subsidiëren, wordt de aanname gemaakt dat elke sport leidt tot meer bewegen is dus gezond is. Er zijn echter ook sporten, zoals denksport (bridge, schaken) en vaardigheidssporten (handboogschieten en darts) die niet leiden tot meer bewegen. Dit neemt niet weg dat ze andere positieve effecten hebben.
Als je wilt weten of je de goede dingen doet, kijk dan kritsisch naar de verbindingen tussen je missie, doelstellingen en je activiteiten. Zijn deze logisch met elkaar verbonden? Welke aannames zijn er gemaakt? Kun je werken met deze aannames?
Voor OTIB (het Opleidings- en Ontwikkelingsfonds voor het Technisch InstallatieBedrijf) heb ik de verbanden tussen missie, doelstellingen en meetpunten doorgelicht. Meer informatie over dit project vindt je bij 'wordt het doel bereikt als de meetpunten worden behaald?'. Wil je meer weten over het opstellen van meetpunten, kerncijfers of wil je deze verbanden binnen je organisatie onder het licht houden, kun je contact opnemen met mij via de mail (info@claudiadegraauw.nl) of telefoon (06 42 88 77 29).
Monitoring en evaluatie wordt steeds vaker verplicht gesteld bij subsidieaanvragen. Dit wordt onder andere gedaan omdat monitoren en evalueren de aanvragers helpen zicht te houden op hun project en het bereiken van hun doel.
Door een project te monitoren krijgt een projectleider inzicht in zijn project en weet tijdig wanneer en waar er bijgestuurd moet worden. Door stelselmatig, dus regelmatig, voor het project belangrijke feiten op een rijtje te zetten, houdt de projectleider grip op het project en is de kans groter dat het projectdoel gehaald wordt.
Dit kan zo uitgebreid en dus ook zo praktisch als nodig. Wetenschappelijke onderzoeken zijn hiervoor niet nodig. Ook vergelijkingen met andere soortgelijke projecten niet. (Het gaat ten slotte om het bereiken van jouw projectdoel en niet meer of iets anders te bereiken dan je collega-projectaanvragers). Wel is een duidelijk beeld over het te behalen doel nodig, welke subdoelen hier aan bijdragen en wat hiervoor gedaan moet worden. Dit leidt tot het meetbaar maken van je doel.
Om je doel meetbaar te maken en dus een instrumentarium te krijgen dat je in kunt zetten om te monitoren moet je allereerst je doel duidelijk stellen. Hoe specifieker je dit doet, des te gemakkelijker wordt het dit meetbaar te maken. Splits je doel hiervoor op in subdoelen. En blijf doorvragen (wat, hoe, wanneer, hoeveel, waar). Vertaal container begrippen in concrete doelen en probeer hierbij niet te verzanden in overtreffende woorden (beter, meer), maar maak het specifiek. Stel je doel en subdoelen zo SMART mogelijk op.
Als je je subdoelen hebt vastgesteld en je hebt hierbij in detail doorgevraagd, heb je enerzijds input voor je projectplan en anderzijds een aantal ijkpunten waarop je wilt monitoren. Per ijkpunt moet gekeken worden hoe je je dat gaat meten. Er zijn verschillende manieren van meten: gestructureerde gesprekken, vragenlijsten, documentstudie van aanwezig materiaal zijn enkele voorbeelden. Kun je het zelf doen, zoals het aantal scholen dat mee werkt of heb je hulp nodig. Omdat de subdoelen verschillen per project, is het lastig daar iets algemeens over te zeggen. Mocht je hier behoefte aan hebben, kijk ik graag een keer mee naar het projectplan, de doelen en subdoelen om samen te komen tot manieren waarop iets gemeten kan worden. Kijk ook naar mijn blog: tien tips voor het meten van effecten en enkele cases toegelicht in mijn blog over het meetbaar maken van effecten van projecten of programma.
De eerste meting is bij aanvang. Je wilt ten slotte de beginsituatie weten.
Vervolgens ga je naar behoeve gedurende het project meten. Dit kan halfjaarlijks of jaarlijks. De ijkpunten die je hebt gebruikt bij de eerste meting, ga je gedurende het project regelmatig vaststellen. Indien nodig kun je een informatiesysteem ontwerpen waarin de benodigde informatie op gezette tijden aangeleverd wordt. Je kunt hierbij denken aan halfjaarlijks terugkerende gesprekken met een vast structuur met betrokken partijen of aan het jaarlijks bestuderen van het beleidsplan van de school via een vast stramien.
Zorg er voor dat je telkens weer dezelfde soort informatie krijgt waardoor ontwikkeling zichtbaar is, maar ook die informatie waarop je kunt sturen.
[1] Enkele voorbeelden van vragen: Wat verstaan wij onder een doorgaande leerlijn? Hoe moet deze eruit zien? Wat is een relatie tussen school en culturele instelling (elkaars telefoonnummer hebben, op de hoogte zijn van het aanbod, regelmatig overleggen hoe het cultureel aanbod ingepast kan worden in het curriculum). Over hoeveel scholen gaat het? Wat is het deskundigheidsniveau van leerkrachten nu en wat zou het moeten zijn. Wat definieert het deskundigheidsniveau (inhoudelijke kennis, vaardigheid om cultuur te relateren aan andere lesstof).
