In deze blog richten we ons op kwantitatief onderzoek waarbij via een vragenlijst data wordt verzameld, meestal door gebruik te maken van een online tool. Nu wil je als onderzoeker in de meeste gevallen zoveel mogelijk data om de analyses op uit te voeren. Een ander doel is om zo min mogelijk ‘vervuiling’ in het bestand te hebben. Dat maakt je onderzoeksresultaten namelijk minder betrouwbaar.
Vervuiling in een respondentenbestand kan ontstaan door:
Er zijn 2 manieren om een online vragenlijst te versturen. Via een gepersonaliseerde link of via een open link. Het probleem van dubbele respondenten doet zich alleen voor bij een open link aangezien een gepersonaliseerde link maar 1x gebruikt kan worden.
Het probleem van dubbele respondenten doet zich met name voor wanneer er een beloning gekoppeld wordt aan deelname aan het onderzoek. Dit is helaas steeds vaker nodig om voldoende respons te krijgen. Wanneer je een vragenlijst vaker invult heb je logischerwijs meer kans bij een verloting van een prijs. Voor het versturen van een beloning heb je een mailadres nodig. Heel eenvoudig is om te controleren op dubbele mailadressen. Nu kan het zijn dat meerdere mensen gebruik maken van hetzelfde mailadres. Vraag dan behalve mailadres ook naar de naam en controleer dan op dubbelen. Ook kan in de introtekst van de vragenlijst vermeld worden dat er per mailadres slechts 1 beloning kan worden verstrekt.
Al met al geen waterdicht systeem, maar voldoende om een groot deel van de ‘fraudeurs’ te ontmantelen.
Ook dit probleem doet zich vooral voor wanneer er sprake is van een beloning, maar ook als leerlingen een vragenlijst klassikaal (verplicht) invullen. Respondenten willen in deze gevallen snel klaar zijn en vullen de vragenlijst niet serieus in. Je kunt dit herkennen door een paar controles uit te voeren:
Bij het gebruik van een open link die bijvoorbeeld via sociale media verspreid wordt, kan het voorkomen dat er respons binnenkomt van respondenten die niet tot de doelgroep behoren ondanks dat dit vanzelfsprekend duidelijk in de introtekst is aangegeven. We weten allemaal dat introteksten slecht of niet worden gelezen. Om dit verder te voorkomen is het verstandig om aan het begin van de vragenlijst een filtervraag te zetten. Gebeurt het toch dat er respondenten in je databestand zitten die niet tot de doelgroep behoren, is het vanzelfsprekend verstandig om die te verwijderen en daarmee vervuiling van je bestand tegen te gaan.
Iets wat helaas veel gebeurt, is dat respondenten wel beginnen aan een vragenlijst, maar deze niet afmaken. Nu is het de vraag wanneer je respondenten wel of niet meeneemt bij deels ingevulde vragenlijsten. Hier zijn geen harde regels voor. Ik ben hier zelf redelijk streng in en neem respondenten mee als ze minimaal de helft hebben ingevuld. Probeer respondenten te ontmoedigen om de vragenlijst af te breken. Zorg voor kwalitatief goede vragenlijsten en probeer zo min mogelijk vragen verplicht te stellen.
Je bent bijna aan het einde van je studie en moet je scriptie schrijven. Maar hoe bouw je een scriptie op en wat moet er in? De eisen aan de opbouw kunnen per universiteit of hogeschool verschillen. Kijk hier daarom goed naar voordat je begint met schrijven. Een algemene indeling vind je hieronder.
Hoewel het voorwoord vooraan in je scriptie staat schrijf je deze vaak als laatste. Hierin kun je het verloop van het scriptieproces beschrijven, maar ook eventuele persoonlijke motivaties om juist deze scriptie te doen. En hier kan je personen bedanken die belangrijk zijn geweest voor het proces en je onderzoek.
In de samenvatting deel je de belangrijkste inzichten, vaak op 1 pagina. Het dient een snel overzicht te zijn voor de lezer, waarbij ook de aanleiding van het onderzoek, de probleemstelling en de onderzoeksmethode worden beschreven.
De inhoudsopgave is de pagina die je het eerst maakt. Hierin zet je de indeling van je scriptie op.
In de introductie beschrijf je de aanleiding van je scriptie, de probleemstelling en de onderzoeksdoelstelling. Vaak wordt hier ook de relevantie van het onderzoek beschreven en tot slot een leeswijzer. Hoe moet de lezer dit verslag lezen en waar staat welk onderdeel van je scriptie.
In het theorie-deel beschrijf je het theoretisch kader op basis waarvan je het onderzoek gaat uitvoeren. Dit geeft handvatten voor de verschillende manieren waarop een onderzoek kunnen worden uitgevoerd, het geeft (wetenschappelijke) perspectieven en helpt bij het kiezen van de geschikte methode.
In het methoden-deel geef je antwoord op de vragen: wat, waar, wanneer, wie en hoe het onderzoek is uitgevoerd. Daarbij geef je toelichting waarom voor bepaalde methoden is gekozen en waarom juist niet voor een andere methode. Hier kun je ook een conceptueel model laten zien.
De resultaten van het onderzoek toon je in dit deel. Je laat de analyses zien en de interpretatie van deze analyses. Daarbij houd je rekening met het theoretisch kader.
Na de resultaten volgt de conclusie: hierbij beschrijf je wat het onderzoek betekent, zowel voor jezelf als voor de praktijk en de wetenschap.
Indien het onderzoek praktisch is, worden hier de aanbevelingen voor de praktijk gedaan. Hier beschrijf je ook opties voor vervolgonderzoek. Indien van toepassing kun je hier een verklaring geven of de resultaten afhankelijk zijn van bepaalde keuzes tijdens het onderzoek.
In de bijlagen komt de bibliografie, ofwel literatuurlijst met alle bronnen die je hebt gebruikt. Let er op dat je deze op de juiste wijze opmaakt.
Onlangs interviewde een stagiaire mij over de voor- en nadelen van een onderzoeksbureau. Ze liep stage voor een organisatie die graag de effecten van hun projecten inzichtelijk wilde maken, maar waren zoekende naar de beste manier dit aan te pakken. Het nadeel van een onderzoeksbureau is dat het geld kost en deze middelen kunnen beter aan het project zelf besteed worden.
Maar is een onderzoeksbureau duur? Of is een onderzoeksbureau effectiever en efficiënter dan zelf een onderzoek doen?
Het formuleren van de juiste onderzoeksvraag en de daarbij behorende onderzoeksmethodiek kiezen is een vak. Menig medior onderzoeker struikelt hier nog over. Verwacht dus niet van jezelf of een stagiaire dat deze dit kan. Hier is kennis en vooral ervaring voor nodig.Bij een verkeerd gekozen onderzoeksvraag of methodiek, krijg je na het onderzoek niet de antwoorden op je vragen die je nodig hebt. Je hebt energie gestoken in verkeerde informatie.
Na het formuleren van de onderzoeksvraag en het uitdokteren van de juiste methodiek om deze vragen beantwoord te krijgen, zijn er allerlei drempels en valkuilen om de juiste en voldoende informatie te verzamelen en deze vervolgens te formuleren als antwoorden op je vragen. Een onderzoeksbureau weet een goede vragenlijst/interviewleiddraad op te stellen waardoor niet alleen de oppervlakkige informatie wordt ingewonnen. Ze weet om te gaan met een lage respons en kunnen een grote hoeveelheid data vertalen in antwoorden en aanbevelingen. Doordat ze ervaring hebben met het uitzetten van veldwerk, analyse en rapporteren zijn ze hier minder tijd mee kwijt dan een medewerker. Ze weten welke drempels er zijn en waar de valkuilen zitten.
Door een onderzoeksbureau in te schakelen koop je inzicht in effecten. Voor een vooraf gesproken bedrag koop je een onderzoeksrapportage waarin de informatie staat waar je behoefte aan hebt. Je krijgt antwoord op je vragen. Al het andere is voor het onderzoeksbureau om op te lossen.
Als je gemeten effecten wilt communiceren naar derden, wil je niet het “wij van wc-eend, adviseren wc-eend” effect. Je onderzoeksresultaten zullen niet betrouwbaar worden gevonden als je zelf hebt gemeten volgens je eigen maatstaf. Een onderzoeksbureau zal zorgen voor een objectieve meting, waarbij de uitkomsten hetzelfde zullen zijn als het onderzoek door anderen herhaalt wordt.
Onderzoek doen kan tijdsintensief zijn. Zeker als je hier onvoldoende ervaring mee hebt. Als een medewerker een effectmeting doet kost dit uren en zo ook geld. Dit gaat ten koste van de andere werkzaamheden.
Meer weten over het doen van onderzoek? Bekijk hier wat ik voor je kan betekenen!
Het eerste dat je doet als als je een onderzoek gaat uitvoeren is het doel van het onderzoek en de juiste onderzoeksvraag formuleren. Het doel van het onderzoek en de onderzoeksvraag geven namelijk aan hoe de verdere opzet van het onderzoek eruit zal zien. En een goede onderzoeksvraag zorgt ervoor dat je aan het eind van het onderzoek de juiste informatie in handen hebt waarmee je actie kunt ondernemen. De onderzoeksvraag formuleer je in vijf stappen:
De eerste stap om tot een juiste onderzoeksvraag te komen is het formuleren van het onderzoeksdoel door middel van het beantwoorden van de vraag ‘waarom wil je een onderzoek uitvoeren?’ Het beantwoorden van deze vraag geeft je een beeld van het soort onderzoeksvraag dat je gaat stellen, welke informatie en welke antwoorden je nodig hebt. Wil je een project of proces verbeteren of wil je je project verantwoorden? Bij beide doelen ga je evalueren, maar de antwoorden die je na afloop wilt zijn heel anders. Verbeterpunten versus aangetoonde effecten.
Aan de hand van je doel (stap 1) kun je bepalen welke informatie je nodig hebt om aan dit doel te voldoen. Wat moet je weten om je doel te bereiken? Wil je je doelbereik verbeteren? Dan heb je informatie nodig in de vorm van verbeterpunten (wat gaat er goed en wat kan beter?) Is het doel om je project te legitimeren voor financiers? Dan heb je informatie nodig in de vorm van effecten van het project. Wil je een betere afstemming met de doelgroep en is dit het doel van je onderzoek? Dan heb je informatie nodig in de vorm van kenmerken, wensen en behoeften van de doelgroep. Stel jezelf steeds de vraag; wat ga ik straks doen met deze informatie? Hiermee kun je prioriteiten aanbrengen.
Aan de hand van je onderzoeksdoel en de concrete beschrijving van je informatiebehoefte kun je de onderzoeksvraag of -vragen opstellen. Formuleer deze vragen zo exact mogelijk. Bedenk bij het formuleren van de vragen dat jijzelf of een onderzoeker straks antwoord gaat geven op deze vragen. Kun je met behulp van de antwoorden op de onderzoeksvraag je onderzoeksdoel bereiken? Kun je vervolgactie ondernemen als je antwoord krijgt op deze vragen?
Aan een onderzoek zitten over het algemeen verschillende randvoorwaarden . Het is belangrijk om hier in de fase van het formuleren van de onderzoeksvraag al inzicht in te krijgen. Randvoorwaarden waar je rekening mee moet houden zijn bijvoorbeeld tijd, budget, beschikbaarheid van bepaalde gegevens, privacy regels, etc.
De resultaten van een onderzoek kunnen verschillende vormen aannemen:
Onderzoeksresultaten kunnen in verschillende vormen opgeleverd worden: een rapport, een factsheet, een dashboard, een boek, een filmpje, een artikel, een discussiebijeenkomst, een presentatie, een website, een PowerPointpresentatie, een infographic, een animatie, een tijdschrift, een flyer, etc. Bedenk nu vast wat je daarin wilt communiceren en met wie. Welke vorm gaat je daarbij helpen. Effecten, argumenten of verbeterpunten. Maak vooraf een voorstelling van wat je op het einde van het onderzoek zou willen krijgen en of je daar je voorgenomen actie mee kunt ondernemen (anderen overtuigen, beleid of projecten verbeteren, een beslissing nemen).
Click on the flag to read this article in English
Bij sommige organisaties is evalueren heel gewoon, anderen doen er niet aan. Dat kan om verschillende redenen zijn, zoals het spannend vinden om kritiek te krijgen, het ingewikkeld vinden of het te veel werk/gedoe te vinden. Wat zijn dan zes slimme stappen om het evalueren van projecten in te voeren?
Monitoring en evaluatie wordt steeds vaker verplicht gesteld bij subsidieaanvragen. Dit wordt onder andere gedaan omdat monitoren en evalueren de aanvragers helpen zicht te houden op hun project en het bereiken van hun doel.
Door een project te monitoren krijgt een projectleider inzicht in zijn project en weet tijdig wanneer en waar er bijgestuurd moet worden. Door stelselmatig, dus regelmatig, voor het project belangrijke feiten op een rijtje te zetten, houdt de projectleider grip op het project en is de kans groter dat het projectdoel gehaald wordt.
Dit kan zo uitgebreid en dus ook zo praktisch als nodig. Wetenschappelijke onderzoeken zijn hiervoor niet nodig. Ook vergelijkingen met andere soortgelijke projecten niet. (Het gaat ten slotte om het bereiken van jouw projectdoel en niet meer of iets anders te bereiken dan je collega-projectaanvragers). Wel is een duidelijk beeld over het te behalen doel nodig, welke subdoelen hier aan bijdragen en wat hiervoor gedaan moet worden. Dit leidt tot het meetbaar maken van je doel.
Om je doel meetbaar te maken en dus een instrumentarium te krijgen dat je in kunt zetten om te monitoren moet je allereerst je doel duidelijk stellen. Hoe specifieker je dit doet, des te gemakkelijker wordt het dit meetbaar te maken. Splits je doel hiervoor op in subdoelen. En blijf doorvragen (wat, hoe, wanneer, hoeveel, waar). Vertaal container begrippen in concrete doelen en probeer hierbij niet te verzanden in overtreffende woorden (beter, meer), maar maak het specifiek. Stel je doel en subdoelen zo SMART mogelijk op.
Als je je subdoelen hebt vastgesteld en je hebt hierbij in detail doorgevraagd, heb je enerzijds input voor je projectplan en anderzijds een aantal ijkpunten waarop je wilt monitoren. Per ijkpunt moet gekeken worden hoe je je dat gaat meten. Er zijn verschillende manieren van meten: gestructureerde gesprekken, vragenlijsten, documentstudie van aanwezig materiaal zijn enkele voorbeelden. Kun je het zelf doen, zoals het aantal scholen dat mee werkt of heb je hulp nodig. Omdat de subdoelen verschillen per project, is het lastig daar iets algemeens over te zeggen. Mocht je hier behoefte aan hebben, kijk ik graag een keer mee naar het projectplan, de doelen en subdoelen om samen te komen tot manieren waarop iets gemeten kan worden. Kijk ook naar mijn blog: tien tips voor het meten van effecten en enkele cases toegelicht in mijn blog over het meetbaar maken van effecten van projecten of programma.
De eerste meting is bij aanvang. Je wilt ten slotte de beginsituatie weten.
Vervolgens ga je naar behoeve gedurende het project meten. Dit kan halfjaarlijks of jaarlijks. De ijkpunten die je hebt gebruikt bij de eerste meting, ga je gedurende het project regelmatig vaststellen. Indien nodig kun je een informatiesysteem ontwerpen waarin de benodigde informatie op gezette tijden aangeleverd wordt. Je kunt hierbij denken aan halfjaarlijks terugkerende gesprekken met een vast structuur met betrokken partijen of aan het jaarlijks bestuderen van het beleidsplan van de school via een vast stramien.
Zorg er voor dat je telkens weer dezelfde soort informatie krijgt waardoor ontwikkeling zichtbaar is, maar ook die informatie waarop je kunt sturen.
[1] Enkele voorbeelden van vragen: Wat verstaan wij onder een doorgaande leerlijn? Hoe moet deze eruit zien? Wat is een relatie tussen school en culturele instelling (elkaars telefoonnummer hebben, op de hoogte zijn van het aanbod, regelmatig overleggen hoe het cultureel aanbod ingepast kan worden in het curriculum). Over hoeveel scholen gaat het? Wat is het deskundigheidsniveau van leerkrachten nu en wat zou het moeten zijn. Wat definieert het deskundigheidsniveau (inhoudelijke kennis, vaardigheid om cultuur te relateren aan andere lesstof).
Meer informatie over Monitoring
Over inventarisatie-onderzoek is niet erg veel informatie te vinden. In deze blog beschrijven we in het kort wat inventarisatie-onderzoek nu eigenlijk is en wanneer het zinvol is om het in te zetten.
Wil je meer weten over de verschillende soorten onderzoek die in je in kunt zetten en waar je op moet letten bij de keuze van een onderzoeksmethode, lees dan de volgende blogs:
overzicht van verschillende onderzoeksmethoden
Waar let je op bij de keuze van een onderzoeksmethode?
Met inventarisatie-onderzoek wordt de stand van zaken op een bepaald gebied in kaart gebracht. Het wordt vaak gezien als een soort vooronderzoek waarbij je eerst de situatie in beeld brengt voordat je start met het daadwerkelijke onderzoek. Ook wordt het ingezet om een bepaalde activiteit meer kans van slagen te geven doordat je vooraf informatie hebt verzameld. Inventarisatie-onderzoek valt onder descriptief (beschrijvend) of exploratief (verkennend) onderzoek.
In een ander blog hebben we verteld wat EVI inhoudt en wat je er mee kunt doen. Wanneer een penvoerder van Cultuureducatie met Kwaliteit (CmK) ervoor heeft gekozen om er mee aan de slag te gaan zijn er een aantal zaken de uitgezocht moeten worden. Hierover hebben wij 7 tips om EVI in te voeren verzameld tijdens het doen van een onderzoek naar EVI en de invoering ervan.
Deze tips zijn natuurlijk niet alleen voor het gebruiken van EVI, je zou ze ook bij andere meetinstrumenten kunnen gebruiken die je nieuw wilt gaan inzetten. Kijk dan welke tip van toepassing kan zijn voor je.
Een goed onderzoek dient aan een aantal criteria te voldoen; het moet valide, betrouwbaar, representatief, onafhankelijk, objectief en herhaalbaar zijn. Wat wordt hiermee precies bedoeld?
De validiteit geeft aan in hoeverre het onderzoek meet wat het moet meten. Als je een vragenlijst gebruikt, kun je je bijvoorbeeld het volgende afvragen: Zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag?
Door een vragenlijst te testen, kun je achterhalen of deze valide is. Je kunt de vragen bijvoorbeeld voorleggen aan een testgroep die lijkt op je onderzoekspopulatie. Zijn alle vragen voor hen helder of zijn er onduidelijkheden?
Na deze test ga je de antwoorden analyseren en vraag je advies van een collega-onderzoeker. Zijn de antwoorden consistent? Klopt de logica binnen de vragenlijst? Komen de uitkomsten overeen met soortgelijke onderzoeken?
Bij nieuw te ontwikkelen onderzoeksinstrumenten is het belangrijker om te testen, aan te passen en opnieuw te testen. Met name als je abstractere begrippen wilt meten, zoals houding of ontwikkeling, is uitgebreid testen nodig om een valide vragenlijst te krijgen.
Bij gebruik van een bestaande vragenlijst , moet je even kijken of deze reeds getest is op begrip en consistentie.
Validiteit en betrouwbaarheid hangen nauw met elkaar samen, zoals blijkt uit onderstaand plaatje.
De betrouwbaarheid van een onderzoek gaat over de mate waarin de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij kwantitatief onderzoek geeft het betrouwbaarheidspercentage de kans aan dat herhaling van het onderzoek dezelfde uitkomsten geeft.
Bij een betrouwbaarheidspercentage van 95% is er bij herhaling 95% kans dat de antwoorden van andere respondenten binnen deze doelgroep hetzelfde zijn. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.
Hoeveel respondenten nodig zijn, is afhankelijk van de grootte van de onderzoekspopulatie. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel een relatief groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals de foutenmarge en de homogeniteit van de onderzoekspopulatie. Je kunt de steekproefcalculator als leidraad gebruiken.
Verder is van belang of je de juiste mensen hebt gevraagd. Heb je alleen mensen gevraagd die je kent en waarvan je weet dat ze tevreden zijn? Of heb je mensen willekeurig geselecteerd? Let wel: niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.
Bij kwalitatief onderzoek gaat betrouwbaarheid over het spreken van de juiste personen. Bij (groeps)interviews spreek je vaak met belangrijke spelers in het veld, deelnemers, samenwerkingspartners of andere belanghebbenden. Zorg dat je verschillende mensen spreekt met verschillende standpunten. Je moet je vraagstuk van verschillende kanten kunnen bekijken. Kies je gesprekspartners dus bewust.
Bij literatuurstudie is het belangrijk dat je in de volledige breedte kijkt naar de literatuur. Kijk naar verschillende standpunten en theorieën. Dus niet alleen theorieën die jouw standpunt onderbouwen, maar kijk ook naar criticasters.
Zoals gezegd wordt de betrouwbaarheid van je onderzoek voor een groot deel bepaald door de representativiteit.
Representativiteit betekent de mate waarin de respondenten uit een steekproef een goede afspiegeling vormen van de doelgroep van je onderzoek. Je wilt dat de eindconclusie van je onderzoek kloppend is voor ‘iedereen’ in je onderzoekspopulatie. Zorg ervoor dat je steekproef voldoende groot is en dat de opbouw van je steekproef in grote lijnen overeenkomt met je populatie.
Stel, je wilt een onderzoek doen onder een doelgroep die uit wel 10.000 mensen bestaat, moet je dan alle 10.000 mensen spreken om tot de juiste resultaten te komen? Zeker niet, slechts een deel van de onderzoekspopulatie hoeft mee te doen aan jouw onderzoek om tot representatieve resultaten te komen.
Wanneer je een onderzoekspopulatie van 10.000 mensen hebt, zal je uiteindelijk 400 mensen moeten spreken om tot de mening van de grotere groep te komen. Dit houdt niet in dat je maar 400 mensen hoeft te benaderen. Je hebt te maken met een responspercentage. Dit is het percentage mensen dat meedoet aan je onderzoek. Je responspercentage is afhankelijk van het onderwerp dat je onderzoekt, hoe gemakkelijk en leuk het is om mee te doen aan jouw onderzoek en wat mensen ervoor terug krijgen. Ik ga vaak uit van 30% omdat ik vaak naar leuke onderwerpen onderzoek mag doen en inmiddels ervaring heb met het gemakkelijk maken van meedoen aan een onderzoek en ik de opdrachtgever vraag voor een leuk cadeautje voor de mensen die meedoen met het onderzoek.
Doordat niet iedereen mee zal doen aan je onderzoek zal je dus een grotere steekproef moeten trekken. Als je 400 respondenten nodig hebt en je uitgaat van een responspercentage van 30% heb je een steekproef van 400/30%=1.333 mensen nodig trekken.
Wanneer je een onderzoek doet moet je er rekening mee houden dat hoe kleiner de onderzoekspopulatie wordt, hoe groter het aantal respondenten wordt om tot representatieve eindresultaten te komen. Soms is echter de input die respondenten geven waardevoller dan de hoeveelheid mensen die meedoen. Je hebt het dan over kwalitatief onderzoek. In sommige gevallen kan het belangrijker zijn om te focussen op de resultaten van het onderzoek dan de representativiteit..
Wil je weten hoeveel respondenten je nodig hebt voor jouw onderzoekspopulatie: ga dan naar een steekproefcalculator. Vaak geven deze ook meteen aan hoeveel mensen je moet benaderen in je steekproef.
Een onafhankelijk onderzoek betekent dat de onderzoeker geen belang heeft bij de uitkomsten van het gesprek. Je meet dus niet volgens je eigen maatstaf. Dat is onder andere belangrijk wanneer je onderzoek doet naar je eigen organisatie. Je wilt voorkomen dat je valt onder de slogan: ‘Wij van wc-eend, adviseren wc-eend‘.
Belangrijk voor onafhankelijk onderzoek is te zorgen voor objectiviteit: jouw mening als onderzoeker, of die van andere belanghebbenden, laat je buiten beschouwing. Het is belangrijk om er zeker van te zijn dat je afstand houdt van het onderwerp en je vragen niet gestuurd zijn. Respondenten voelen zich zo niet gedwongen of gestuurd om een bepaald antwoord te geven..
Objectiviteit komt met name naar voren bij kwalitatief onderzoek. Bij een interview heb je als onderzoeker absoluut geen mening. Althans die mening mag je niet laten merken. Een objectieve houding is misschien wel de belangrijkste eigenschap van een interviewer. Maar ook bij kwantitatief onderzoek is objectiviteit belangrijk. Hierbij gaat het om hoe je een vraag formuleert. Een neutrale formulering is hierbij essentieel.
Het criterium herhaalbaarheid sluit nauw aan op de criteria onafhankelijk en objectief.
Een onderzoek is herhaalbaar als een andere onderzoeker met hetzelfde onderzoek dezelfde resultaten kan bereiken. Het onderzoek moet dus op een ander tijdstip, met andere respondenten, andere omstandigheden en door een andere onderzoeker gedaan kunnen worden. Het meetinstrument moet dus zo worden ontworpen dat iedereen er mee kan werken en dezelfde resultaten kan bereiken.
In je rapportage wordt een hoofdstuk geschreven over de onderzoeksmethodiek. Hierin wordt beschreven welke methodiek je hebt gebruikt voor het onderzoek. Je beschrijft in dit hoofdstuk ook welke stappen je hebt gezet om de data te verzamelen. Hiermee kan het onderzoek door anderen worden herhaald.
Wanneer je bekend bent in de wereld van cultuureducatie hoor je steeds vaker geluiden over EVI. Vooral binnen het primair onderwijs, maar de eerste geluiden over EVI in het voortgezet onderwijs hebben ons ook bereikt. Wat is EVI en niet onbelangrijk: wat heb je aan EVI? In deze blog ga ik je er meer over vertellen.
Stichting Kunst en Cultuur heeft EVI ontwikkeld als zelfevaluatie instrument voor de scholen die gebruik maakten van de CmK-regeling (Cultuureducatie met Kwaliteit). De zelfevaluatie geeft de scholen inzicht en informatie over ontwikkelmogelijkheden. Daarnaast wordt de verzamelde data geanonimiseerd en gebruikt voor de verantwoording voor de CmK-regeling. EVI is samen met de Rijksuniversiteit Groningen ontwikkeld. Dit is doorontwikkeld door LKCA met verschillende cultuureducatie organisaties, zodat deze landelijk ingezet kon worden en EVI 2.0 is ontstaan. Op deze manier is het vooral een ontwikkelingsinstrument geworden voor de scholen.
EVI is een ontwikkelingsinstrument voor scholen om te zien waar ze staan en welke stappen ze nog kunnen ondernemen in de toekomst. EVI is niet oordelend. Het laat zien waar je als school staat en het helpt scholen verder om het beleid uit te voeren. Daarnaast is het een gespreksinstrument voor coaches, adviseurs en begeleiders van cultuureducatie op scholen.
Om EVI goed in te vullen heeft de ICC-er gemiddeld een uur nodig. Vooral de eerste keer kan het tijdsintensief zijn om EVI in te vullen. Een nieuwe ICC’er kan hulp vragen wanneer deze EVI voor de eerste keer moet invullen. Tijdens het invullen kan er een hulpvraag gesteld worden door de school aan de coach, adviseur of begeleider van de penvoerder. Deze komt hier automatisch terecht en kan hierover contact opnemen.
Na het invullen van EVI krijgt de school direct de resultaten te zien en het scenario waar ze inzitten. Ze krijgen tips en suggesties voor vervolgstappen. Scholen gebruiken EVI om na te denken over hun cultuurvisie en het beleid op hun school. De coaches, adviseurs en begeleiders kunnen hierbij helpen.
Voor de penvoerder van Cultuureducatie met Kwaliteit kan er een geanonimiseerde analyse van alle ingevulde EVI’s gemaakt worden door een kennispartner. Dit is een universiteit waar LKCA een samenwerkingsovereenkomst mee heeft. Deze kennispartners werken volgens een vast stramien om de resultaten te analyseren. Naast de rapportage is het is het mogelijk om de scholen te vergelijken, als het er maar minimaal 5 scholen zijn om de anonimiteit te houden. Deze vergelijking is af te zetten op wijkniveau, stadsniveau, maar straks ook landelijk.
Tijdens het invullen van EVI worden kwantitatieve en kwalitatieve gegevens verzameld. Zo zijn er veel open vragen, maar ook een aantal gesloten vragen waar aantallen ingevuld moeten worden. Deze gegevens kan de penvoerder van CmK gebruiken in haar verantwoording naar Fonds Cultuurparticipatie. Niet alle gegevens die nodig zijn voor de verantwoording, zijn terug te vinden in EVI. Er zullen toch extra gegevens verzameld moeten worden naast EVI.
Naast het rapport dat gemaakt wordt door een kennispartner is er een reactie nodig op het rapport om de resultaten te duiden. Denk hierbij aan een begeleidend schrijven met reacties op resultaten.
