Een vragenlijst is een veelgebruikte onderzoeksmethode om de effecten van een activiteit, project of campagne te meten. De vraag is of een vragenlijst altijd een geschikte methode is. Wil je uitspraken doen over de hele doelgroep en moet je daarvoor veel gegevens verzamelen? Dan is een vragenlijst een slimme methode. Wil je inzicht in de achterliggende motivaties en meningen van je doelgroep? Dan is een vragenlijst een minder slimme keus. Waarom is een vragenlijst een goede methode of waarom juist een minder goede? De voor- en nadelen op een rijtje:
Wil je weten hoe je de respons van je onderzoek vergroot? Lees dan deze blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?
Bij het uitvoeren van taken, projecten, activiteiten en programma’s wil je graag weten of het werkt wat je doet. Hiervoor heb je relevante informatie nodig, op basis waarvan je weloverwogen beslissingen kunt nemen. Je kunt dan bijsturen waar nodig en eenvoudig verantwoording afleggen. Om aan deze relevante informatie te komen, doe je, afhankelijk van wat je wilt weten en wat je mogelijkheden zijn, een impactmeting of een effectmeting. Deze twee termen worden nogal eens door elkaar gebruikt maar het zijn wel degelijk twee verschillende soorten onderzoeken.
Wil je weten of je je doelen bereikt met het uitgestippelde beleid? En wil je dus concreet inzicht in je doelbereik? Dan doe je een effectmeting. Bij een effectmeting wordt de situatie achteraf vergeleken met de situatie vooraf. Er zijn dus altijd minimaal twee metingen. Daarnaast moeten de waargenomen effecten nog toegeschreven worden aan het project of het beleid. Dat kun je onder andere doen door te werken met controlegroepen. Om te achterhalen of de vooraf opgestelde doelen worden gehaald, richt de effectmeting zich daar voornamelijk op.
Een exacte effectmeting geeft veel informatie en onweerlegbaar. Maar kost ook veel tijd en middelen. Je moet tijdig (voor de start van het beleid of project) beginnen met het onderzoek.
Bij een impactmeting is dat niet per definitie het geval. Impactmetingen richten zich op het vermeende effect. Een impactmeting kan ook achteraf ingezet worden. Daar waar je bij een effectmeting exact het effect meet, maak je bij een impactmeting een schatting van de effecten. Dit kan vooraf of achteraf.
Bij een impactmeting vooraf maak je een inschatting van de mogelijke effecten op basis van literatuur, vergelijkbare projecten/beleid en experts. Een voorbeeld van een impactmeting vooraf is de economische impactmeting die wij voor het themajaar VanGogh2015 hebben gedaan.
Bij een impactmeting achteraf vraag je wat betrokkenen denken wat het effect is geweest. Door voldoende betrokkenen en mogelijk experts te spreken, ontstaat een volledig en subjectief beeld van de ingeschatte effecten. Hierbij kun je je ook richten op het doel dat je vooraf hebt gesteld aan het beleid, maar vaak komen er ook andere effecten boven water. Een voorbeeld van een impactmeting achteraf is het onderzoek dat wij hebben gedaan naar de impact van de cultuurscouts in Schiedam.
Wil je liever meer weten over het doen van een effectmeting? Kijk dan hier voor meer informatie en voorbeelden.
Om een goed beoordelingsinstrument te ontwikkelen is het belangrijk om de volgende stappen te doorlopen:
Tot slot zijn er een aantal voorwaarden waar het beoordelingsinstrument aan moet voldoen:
Hulp nodig bij het maken van een goede beoordeling? Neem contact op om te kijken wat ik voor je kan betekenen.
Als je wilt weten of je je doelen bereikt, monitor je deze doelen. Door te monitoren kun je in de gaten houden of je nog op de goede weg zit. En of je je doel gaat bereiken. Hiervoor is het noodzakelijk om één indicator of meerdere indicatoren te formuleren die betrekking hebben op je doelen. Een indicator is een meetbaar begrip dat een signalerende functie heeft en een aanwijzing geeft over de mate van kwaliteit. Wijkt een indicator af van een afgesproken norm dan is bijsturing mogelijk. Het is dus belangrijk om goede indicatoren te kiezen en geen afgeleide indicatoren te gebruiken. Dan meet je namelijk niet wat je wilt meten en kun je niet meer goed bijsturen om je doelen te bereiken.
Een interessant voorbeeld is de bibliotheek. Doelen van de bibliotheek zijn onder andere leesbevordering en mediawijsheid. Vaak monitoren bibliotheken echter op ‘Lenen’, waarbij als indicator het aantal uitleningen gebruikt wordt. Dit geeft misschien ook waardevolle informatie, maar zegt niets over of de bevolking daadwerkelijk meer en beter leest en mediawijzer wordt. Het aantal uitleningen is dus een indicator die geen betrekking heeft op de doelen van de bibliotheek. De bibliotheek weet nu niet of er richting de doelen bewogen wordt en kan hier dus ook niet op sturen. Sterker: sommige bibliotheken reageren averechts op ontwikkelingen zoals de e-reader, omdat deze boeken lenen in de weg staat, maar wel goed is voor de leesbevordering.
In plaats van ‘Lenen’ kan de bibliotheek beter monitoren op ‘Lezen’ en ‘mediawijsheid’. Indicatoren verschuiven dan van het aantal uitleningen naar indicatoren die betrekking hebben op het meer (en beter) lezen en het mediawijzer worden van de bevolking. Bij leesbevordering kun je als indicator denken aan het aantal activiteiten gericht op het signaleren en tegengaan van laag geletterdheid. Bij mediawijsheid kan gedacht worden aan het actief, creatief en sociaal media gebruik naar aanleiding van mediawijsheid activiteiten.
Ik heb nu het voorbeeld van een bibliotheek gegeven, maar het kiezen van de juiste indicator(en) is natuurlijk voor iedere organisatie van belang om het doelbereik goed te kunnen monitoren!
Veel educatieve projecten van belangenorganisaties en non-profitorganisaties (denk aan musea, technocentra, theatergezelschappen) zijn niet zozeer gericht op het aanleren van vaardigheden, maar op het anders laten kijken naar de wereld of een andere houding bewerkstelligen ten opzichte van een bepaald onderwerp. Bijvoorbeeld een meer vragende of onderzoekende houding.
Of zo’n project succesvol is, bekijk je door een verandering in houding te meten. Het gaat namelijk niet over vaardigheden, maar over een manier van kijken naar de wereld om je heen, de attitude van de leerling ten aanzien van dat onderwerp.
Daarnaast is attitude een goede voorspeller voor toekomstig gedrag. Een attitude zegt iets over iemands grondhouding over een onderwerp. Is het interessant? Gaat iemand er in de toekomst iets mee doen? Technocentra zijn daarom geïnteresseerd deze attitude ten opzichte van techniek (positief) te beïnvloeden, omdat dit iets zegt over toekomstige keuzes ten aanzien van techniek (studie/beroep). Als deze attitude beïnvloed wordt bij een leerling, weet hij/zij beter wat wel/niet bij hem/haar past. Zo worden leerlingen geholpen bewustere keuzes te maken voor hun studie- en beroep.
Het meten van houding en de verandering lijkt heel abstract, maar is al op meerdere onderwerpen geconcretiseerd. Uit wetenschappelijk onderzoek blijkt dat de houding (ook wel attitude genoemd) ten opzichte van een bepaald onderwerp bestaat uit een aantal elementen. Kort een paar factoren die vaak terug keren:
Om deze factoren te kunnen meten, worden deze vertaald in een aantal elementen. Deze kunnen vervolgens op verschillende manieren gemeten worden. Denk aan observeren, een lijst met stellingen waarbij leerlingen aangeven waarin ze zich het meeste vinden.
Om een verandering in attitude waar te kunnen nemen moet meerdere keren gemeten worden: voor deelname aan een project, kort na afloop van het project om te kijken of er op korte termijn effecten zijn waar te nemen en op lange termijn om te kijken of deze effecten blijvend zijn.
Het instrument om attitude te meten is ontworpen door prof. Dr. J.H. Walma van der Molen. Zie hiervoor de publicatie:
Walma van der Molen, J., Wiegerinck, S. (2008) Eindrapportage VTB Attitude Monitor; De ontwikkeling van een attitudeinstrument op het gebied van wetenschap en techniek voor leerlingen in het basisonderwijs (hier te downloaden)
Wij hebben dit instrument inmiddels verschillende keren ingezet voor het meten van impact en het model erachter als aanzet om langdurige verandering te meten.
De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij een kwantitatief onderzoek is de vraag bijvoorbeeld of voldoende respondenten de vragenlijst ingevuld hebben?
Het betrouwbaarheidspercentage geeft de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij een betrouwbaarheidspercentage van 95% is er 95% kans bij herhaling dat de antwoorden hetzelfde zullen zijn met andere respondenten binnen deze doelgroep. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.
Hoeveel respondenten nodig zijn, is afhankelijk van hoe groot de onderzoekspopulatie is. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel relatief een groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals foutenmarge*, de homogeniteit van de onderzoekspopulatie**. Hierbij gebruik ik de steekproefcalculator als leidraad en ga vervolgens aan de veilige kant zitten. Verder vind je in deze blog meer informatie over het trekken van een goede steekproef.
De betrouwbaarheid van onderzoek heeft er ook te maken of je de juiste mensen hebt gevraagd? Heb je alleen mensen gevraagd de vragenlijst in te vullen die je kent of waarvan je weet dat ze tevreden zijn? Of heb je willekeurig mensen geselecteerd. Let wel niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen er altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.
Wil je naast betrouwbaarheid ook meer weten over de validiteit van onderzoek? Lees dan ook mijn blog over validiteit.
Foutenmarge:
Het percentage dat het antwoord kan afwijken van de werkelijkheid. Dit is bijvoorbeeld vergelijkbaar met de correctie op snelheidsmetingen. In de snelheidsmeting zit een mogelijke foutenmarge van 5%, waarvoor door CJIb altijd naar beneden wordt gecorrigeerd.
Homogeniteit van de onderzoekspopulatie:
De mate waarop de leden van de onderzoekspopulatie op elkaar lijken. Leerlingen die deelnemen aan een project verschillen bijvoorbeeld sterk van elkaar (ze zijn wel ongeveer even oud, maar verschillen sterk van mening) en zijn dus geen homogene onderzoekspopulatie. De steekproef kan dan beter groter getrokken worden. Daarentegen groepen die elkaar vrijwillig opzoeken en op dat onderwerp bevraagd worden, zullen homogener zijn. De meningen zullen minder extreem uiteen liggen. Dit biedt dan weer de mogelijkheid om gedetailleerder vragen te stellen.
Click on the flag to read this article in English
De validiteit van een onderzoek vertelt iets in hoeverre de vragen die gesteld zijn meten wat ze moeten meten. M.a.w. zijn de gestelde vragen ondubbelzinnig? Kan de respondent de vraag anders opgevat hebben dan jij hem gesteld hebt? En wat betreft de gehele vragenlijst: geven de gestelde vragen in de vragenlijst antwoord op de onderzoeksvraag?
Door een vragenlijst te testen, kun je achterhalen of deze valide is. Dit testen kun je doen door de vragenlijst aan een testpersonen voor te leggen en ze tijdens het invullen hardop te laten denken. Een andere mogelijkheid is de vragenlijst voorleggen en een testgroep en hen vragen te laten stellen zodra een vraag onduidelijk is. Het is hierbij belangrijk dat je testpersonen/-groep lijken op je onderzoekspopulatie. Dus als je de vragenlijst wilt voorleggen bij jongeren van 15 tot 18 jaar, moeten je testpersonen/-groep bestaan uit jongeren van 15 tot 18 jaar.
Na deze test, met name met een testgroep, ga je de antwoorden analyseren en vraag je advies van een collega onderzoeker. Zijn de antwoorden consistent? Klopt de logica binnen de vragenlijst? Komen de uitkomsten overeen met soortgelijke onderzoeken?
Bij nieuw te ontwikkelen onderzoeksinstrumenten is het belangrijker om te testen, aan te passen en opnieuw te testen. Met name als je abstractere begrippen wilt meten zoals houding of ontwikkeling is uitgebreid testen nodig om een valide vragenlijst te krijgen.
Bij gebruik van een bestaande vragenlijst , moet je even kijken of deze reeds getest is op begrip en consistentie.
Naast validiteit spreek je bij het doen van onderzoek ook vaak over het begrip betrouwbaarheid. Wil je hier meer over weten? Lees dan ook mijn blog over betrouwbaarheid.
Dit geldt persoonlijk, voor groepen, organisaties, projecten en beleid. Toch worden doelstellingen vaak vaag en vrijblijvend geformuleerd als wensen, intenties of goede voornemens. Een doel is echter een gewenste situatie die je wilt bereiken, zelf, met de organisatie, met overheidsbeleid of met een project. In deze blog richt ik mij specifiek op het stellen van projectdoelen, maar veel gaat ook op voor andersoortige doelen.
Waarom moet je projectdoelen stellen?
Waar moet je op letten bij het stellen van projectdoelen?
Begin met het stellen van het hoofddoel. Denk na over de gewenste situatie. Formuleer dit doel Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden. Dan kan het doel sturend zijn voor het project. Ik heb een blog geschreven over SMART.
Vervolgens formuleer je subdoelen, door het hoofddoel op te delen in onderdelen die gedaan moeten worden. Elk onderdeel vormt één of meerdere subdoelen. Een subdoel kun je verder uitsplitsen in werkdoelen, mocht dit nodig zijn.
Meer informatie over het stellen van doelen voor een effectmeting
Ben je cursist? Log hier in op de Academie voor Onderzoek
