De betrouwbaarheid van een onderzoek vertelt in hoeverre de bevindingen te vertalen zijn naar een groter geheel. Dus of de uitkomsten representatief zijn voor de gehele groep en niet alleen de bevraagden. Bij een kwantitatief onderzoek is de vraag bijvoorbeeld of voldoende respondenten de vragenlijst ingevuld hebben?
Het betrouwbaarheidspercentage geeft de kans aan dat bij herhaling van het onderzoek hetzelfde uit het onderzoek komt. Bij een betrouwbaarheidspercentage van 95% is er 95% kans bij herhaling dat de antwoorden hetzelfde zullen zijn met andere respondenten binnen deze doelgroep. Afhankelijk van het soort onderzoek wordt een betrouwbaarheid van 95% of 99% aangehouden.
Hoeveel respondenten nodig zijn, is afhankelijk van hoe groot de onderzoekspopulatie is. Gaat het over een grote groep, zoals Nederlandse jongeren tussen 15 tot 18 jaar die mee hebben gedaan aan een bepaald project, of een kleine groep, zoals openbare bibliotheken binnen een bepaalde cao of alle inwoners van Persingen (dorp met minder dan 100 inwoners in Gelderland)? Bij een grote onderzoekspopulatie heb je meer respondenten nodig dan bij een kleine. Maar bij een kleine onderzoekspopulatie heb je wel relatief een groter deel van je onderzoekspopulatie nodig. Een praktische leidraad die ik hierbij aanhoud: bij grote groepen (vanaf 5.000) heb je ongeveer 400 respondenten nodig, voor kleinere groepen een oplopend deel. De exacte berekening is afhankelijk van verschillende factoren, zoals foutenmarge*, de homogeniteit van de onderzoekspopulatie**. Hierbij gebruik ik de steekproefcalculator als leidraad en ga vervolgens aan de veilige kant zitten. Verder vind je in deze blog meer informatie over het trekken van een goede steekproef.
De betrouwbaarheid van onderzoek heeft er ook te maken of je de juiste mensen hebt gevraagd? Heb je alleen mensen gevraagd de vragenlijst in te vullen die je kent of waarvan je weet dat ze tevreden zijn? Of heb je willekeurig mensen geselecteerd. Let wel niet iedereen die je vraagt, zal meewerken aan het onderzoek. Daarnaast vallen er altijd vragenlijsten weg omdat deze niet valide zijn ingevuld (weinig ingevulde vragen of intern incongruent). Je steekproef moet dus groter zijn dan het aantal ingevulde vragenlijsten dat je nodig hebt.
Wil je naast betrouwbaarheid ook meer weten over de validiteit van onderzoek? Lees dan ook mijn blog over validiteit.
Foutenmarge:
Het percentage dat het antwoord kan afwijken van de werkelijkheid. Dit is bijvoorbeeld vergelijkbaar met de correctie op snelheidsmetingen. In de snelheidsmeting zit een mogelijke foutenmarge van 5%, waarvoor door CJIb altijd naar beneden wordt gecorrigeerd.
Homogeniteit van de onderzoekspopulatie:
De mate waarop de leden van de onderzoekspopulatie op elkaar lijken. Leerlingen die deelnemen aan een project verschillen bijvoorbeeld sterk van elkaar (ze zijn wel ongeveer even oud, maar verschillen sterk van mening) en zijn dus geen homogene onderzoekspopulatie. De steekproef kan dan beter groter getrokken worden. Daarentegen groepen die elkaar vrijwillig opzoeken en op dat onderwerp bevraagd worden, zullen homogener zijn. De meningen zullen minder extreem uiteen liggen. Dit biedt dan weer de mogelijkheid om gedetailleerder vragen te stellen.
Click on the flag to read this article in English
Ondanks bezuinigingen op het gebied van kunst & cultuur zijn er ook kansen en mogelijkheden voor kunst & cultuur. Er wordt nog volop geinvesteerd en daar kan op mee gelift worden. Het Brabants Kenniscentrum voor kunst en cultuur (bkkc) wilde daarom weten waar investeringen plaats vinden bij Brabantse gemeenten, welke speerpunten de Brabantse gemeenten hebben; op het gebied van kunst, cultuurbeleid en erfgoed, maar ook op andere beleidsterreinen. Bkkc zoekt aansluiting bij andere beleidsterreinen en zo kunst en cultuur meer in de maatschappij zetten.
Voor dit onderzoek is zeer gedetailleerde informatie in een databestand opgeleverd. Daarnaast is een notitie geschreven met de belangrijkste bevindingen en een gebruikshandleiding voor het bestand. Aan de hand van de notitie en het bestand heeft bkkc belangrijke kansen en mogelijkheden geformuleerd voor de culturele sector en voor gemeenten. Deze publicatie is te bestellen bij bkkc à €20,=.
Aansluitend is een workshop gegeven voor medewerkers van Erfgoed Brabant (medefinancier van het onderzoek) om gericht te kunnen zoeken en vinden in het bestand.
In Rotterdam doen veel basis- en een aantal voortgezet onderwijs scholen mee aan het project Lekker Fit! om leerlingen blijvend een actieve levensstijl bij te brengen. Voor het voortgezet onderwijs heb ik het project samen met een onderzoeksteam geëvalueerd. Bij deze evaluatie is gekeken naar uiteenlopende aspecten, namelijk:
Er is tijdens de evaluatie vooral gelet op verschillen tussen jongens en meisjes.
[elementor-template id="6009"]
Op school worden schoolgruiten (groenten en fruit) uitgedeeld. De dienst Sport & Recreatie van de gemeente Rotterdam financierde dit project om de groenten- en fruitconsumptie van kinderen te stimuleren. Ik heb daarom naar het effect op de groenten- en fruitconsumptie op de lange termijn, gekeken. Met een nul-, effect- en nameting is is vastgesteld dat er blijvend meer groenten en fruit werd geconsumeerd, en niet alleen tijdens het project.
Aangezien de opdrachtgever een beknopte rapportage wilde, zijn de resultaten in een factsheet gepubliceerd.
[elementor-template id="6009"]
Ben je cursist? Log hier in op de Academie voor Onderzoek