Organisaties binnen de non-profit sector willen steeds vaker inzicht in hun doelbereik. Dit willen zij enerzijds om te achterhalen of zij met hun activiteiten bereiken wat ze willen bereiken (en zo nodig bij kunnen sturen). Anderzijds wordt vanuit de gemeente en andere subsidieverstrekkers meer gevraagd. Het wordt voor gemeenten namelijk steeds belangrijker om aan te tonen dat subsidies die verstrekt worden, daadwerkelijk  bijdragen aan de  doelen van de gemeente. Het gaat er dan meer om wat je bereikt en wat je bijdraagt aan het gezamenlijke doel, dan enkel rapporteren over wat je doet met bijbehorende cijfers.

Je wilt dan een monitor- en evaluatie instrument dat inzicht geeft in het bereik van je eigen doelen én de doelen van de gemeente. Door de (gezamenlijke) doelen te formuleren, deze te vertalen naar meetbare indicatoren én de juiste onderzoeksmethoden te kiezen, ontwerp je een meetinstrument, waarmee je data kunt verzamelen over je doelbereik.

Door een monitor- en evaluatie instrument op deze manier in te richten (op basis van de gezamenlijke doelen) verzamel je informatie waar je iets mee kunt. Het geeft zicht aan de bijdrage van jouw activiteiten aan de gezamenlijke doelen. Waarmee je kunt bijsturen indien nodig en verantwoording kunt afleggen aan subsidieverstrekkers en aan het publiek.

Wil je op een snelle manier kwantitatieve informatie verzamelen van een grote groep mensen? Dan kun je scheurkaartjes als onderzoeksmethode gebruiken. Het principe van scheurkaartjes werkt als volgt: Je geeft het publiek voor een voorstelling, tentoonstelling of andere activiteit een papiertje met een vraag/stelling erop. Door een scheurtje in het papiertje te maken geven zij aan het eens te zijn met de stelling of geven ze een cijfer op een schaal. Na de voorstelling, tentoonstelling of andere activiteit leveren ze het kaartje in bij de uitgang. Je kunt hierbij denken aan de filmbeoordelingen van IFFR.

Door gebruik te maken van scheurkaartjes kun je gemakkelijk en snel informatie van veel respondenten krijgen, waardoor je uitspraken kan doen over percentages en verhoudingen binnen de gehele onderzoeksgroep.  Je hebt een hoge respons met scheurkaartjes omdat voor respondenten een kleine moeite is om na afloop van een voorstelling of tentoonstelling een kaartje in te scheuren. Daarbij blijven de respondenten ook anoniem.

Het werken met scheurkaartjes als onderzoeksmethode is geschikt als je een eerste reactie van de onderzoeksgroep wilt achterhalen. Je kunt ten slotte maar 1 of 2 vragen stellen. Ben je op zoek naar uitgebreidere informatie? Dan is het slimmer om te kiezen voor een vragenlijst. Wil je juist meer diepgaande informatie en achterliggende motivaties achterhalen? Dan is het houden van interviews wellicht een betere onderzoeksmethode.

Veel mensen hebben geen grip op het begrip onderzoek. Dit maakt evalueren tot een taak die alsmaar wordt uitgesteld en wat meer als een verplichting voelt dan een gelegenheid om van je project of activiteit te leren. Vaak zie ik dat mensen wel degelijk open staan voor onderzoek (en om er zelf mee aan de slag te gaan), maar dat het nog een ver van hun bed show is. Door hen meer te leren over wat onderzoek inhoudt, en hen te laten zien dat het niet altijd zo ingewikkeld is als het lijkt, worden zij er steeds enthousiaster over.

Een voorbeeld is de tweedaagse cursus die ik heb gegeven aan de medewerkers van de afdeling educatie van een (inter)nationaal museum. Afgelopen voorjaar ben ik bij hen langs geweest om hen te leren wat onderzoek inhoudt: Je volgt een aantal logische stappen die je inzicht verschaffen in je doelbereik. De volgende thema’s komen aan bod om een goed onderzoek op te zetten:

Vervolgens zijn zij zelf aan de slag gegaan met hun eigen onderzoeken, waarna ik in het begin van de zomer terug ben gegaan om aan de hand van hun eigen verzamelde data de vervolgstappen samen door te nemen.

Door hen aan de hand van voorbeelden uit de eigen praktijk te leren onderzoeken, zie ik dat ze enthousiaster zijn geworden over evalueren en hebben zij meer begrip gekregen van wat je allemaal kunt met onderzoek. Hierdoor denk ik dat ze vaker en gemakkelijker hun exposities en activiteiten zullen monitoren en evalueren.

Wil je liever samen met je hele team meer leren over onderzoek? Dan behoort een in-company training ook tot de mogelijkheden.

Wil je kwantitatieve informatie verzamelen over bijvoorbeeld de populariteit van onderdelen van je tentoonstelling, maar wil je de bezoekers niet belasten met een vragenlijst? Dan kun je kiezen voor tracking als onderzoeksmethode. Tracking is het volgen van bezoekers of klanten via de wifi of bluetooth van hun eigen apparaten (smartphone, tablet, laptop etc.). Het kan ook gedaan worden door mensen een apparaatje mee te geven, waarmee je ze volgt. Het wordt veel in winkels gedaan, maar de techniek is natuurlijk ook beschikbaar voor het museum. Het geeft je kwantitatieve informatie over de looproute, hoelang zij blijven en wat de meest populaire onderdelen van de tentoonstelling.

Bij tracking kun je daadwerkelijke handelingen van bezoekers aan het museum achterhalen, maar het is soms lastig om deze handelingen te interpreteren. Bijvoorbeeld: Als mensen vaak op een bepaald punt stil blijven staan dan lijkt het een teken dat op die plek de tentoonstelling heel interessant is. Maar misschien blijven bezoekers daar wel staan omdat ze daar een goed wifi-signaal hebben met hun telefoon en heeft het dus weinig met de tentoonstelling te maken. Het is belangrijk om rekening te houden met zulke externe factoren. Combineer hiervoor tracking met een kwalitatieve methode van onderzoek, om ook meer informatie over de motivaties van bezoekers voor een bepaalde houding te achterhalen.

Het is belangrijk om van tevoren een analyseplan op te stellen met duidelijke criteria. Door deze lijst interpretatievrij te maken, is de kans kleiner dat er op een subjectieve manier geanalyseerd wordt.

Als je gebruik maakt van het wifi-signaal of bluetooth van de apparaten van bezoekers schaadt je de privacy van je bezoekers nauwelijks, maar als je naast tracking door wifi of bluetooth ook video opnames van bezoekers wilt maken is het wel nodig om toestemming aan deze bezoekers te vragen. Beslis voor jezelf hoe je hier mee omgaat. Het is netjes om je bezoekers te informeren, bijvoorbeeld met een bordje, dat je ze volgt.

Lees meer over hoe musea de effecten van tentoonstellingen kunnen meten.

Bij het organiseren en leiden van een groepsgesprek moet je met andere dingen rekening houden dan bij een individueel interview. Bij groepsinterviews heb je bijvoorbeeld te maken met groepsdynamiek waar je mee om moet gaan. Een aantal tips voor het houden van een groepsgesprek:

1. Begin op tijd met de organisatie van de groepsgesprekken. Anders loop je het risico dat niet voldoende mensen kunnen. Door het groepsinterview ruim van tevoren te plannen, heb je de grootste kans dat iedereen aanwezig kan zijn.

2. Laat iemand het verslag maken die daar ervaring mee heeft. Notuleren bij een groepsgesprek is namelijk ingewikkelder, omdat verschillende mensen aan het woord zijn.

3. Maak video- of geluidsopnamen van het interview als je niet zeker weet of de verslaggever het live bij kan houden bij het maken van een verslag. Zorg er dan voor dat de apparatuur vooraf aanwezig is en klaar staat.

4. Zorg ervoor dat je gesprekspartners zich op hun gemak voelen. Zorg voor een prettige ruimte, iets te drinken en een koekje.

5. Laat iedereen zich voorstellen, zodat de anderen ook weten met wie ze aan tafel zitten. Maak een plattegrond van de tafel met namen en functie / achtergrond als spiekbrief.

6. Zorg ervoor dat iedereen aan het woord komt.

7. Let op de lichaamstaal van de deelnemers.

8. Monitor de tijd en hou je aan de afgesproken tijd. Het is vervelend als je een deel van je vragen niet hebt kunnen stellen.

9. Leg uit wat er gebeurt met de uitkomsten van het gesprek. Ook wat je doet met het verslag dat van het gesprek wordt gemaakt (bv de geluidsopname). Gebruik je dat alleen om zelf iets op te kunnen zoeken of wordt het ook gepubliceerd. Koppel het verslag in het laatste geval in ieder geval terug.

10. Vat tijdens het interview samen en koppel het gezegde terug naar de groep om er zo verzekerd van te zijn dat je het goed begrijpt.

 Meer tips over interviewen? Lees dan ook mijn andere blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?

English flag Click on the flag to read this article in English

In vorige blogs heb ik beschreven hoe je tot de juiste onderzoeksvraag komt en hoe je de juiste onderzoeksmethode kiest. De volgende stap in het onderzoeksproces is de dataverzameling. Bij het verzamelen van data zijn er een aantal dingen waar je rekening mee moet houden. Ik geef je wat tips:

Een vragenlijst is een veelgebruikte onderzoeksmethode om de effecten van een activiteit, project of campagne te meten. De vraag is of een vragenlijst altijd een geschikte methode is. Wil je uitspraken doen over de hele doelgroep en moet je daarvoor veel gegevens verzamelen? Dan is een vragenlijst een slimme methode. Wil je inzicht in de achterliggende motivaties en meningen van je doelgroep? Dan is een vragenlijst een minder slimme keus. Waarom is een vragenlijst een goede methode of waarom juist een minder goede? De voor- en nadelen op een rijtje:

Voordelen:

Nadelen:

Wil je weten hoe je de respons van je onderzoek vergroot? Lees dan deze blog: Hoe maak je het respondenten zo gemakkelijk mogelijk?

Als organisatie wil je voortdurend zicht hebben op je doelbereik. Om dit inzicht te verkrijgen wil je als het ware een TomTom-systeem dat jouw organisatie de weg wijst. Je voert in waar je over een paar jaar wilt zijn en het systeem helpt je dit te bereiken.

Hiervoor moet je indicatoren vaststellen die informatie geven over je doelbereik. Een deel van deze indicatoren zouden kunnen bestaan uit meetbare items die automatisch worden gegenereerd. Ook indicatoren die moeilijker te meten zijn, zoals, zoals positieve bedrijfscultuur, verandering van houding van leerlingen en een betere samenwerking kunnen in dit monitorsysteem opgenomen worden.

Door dit monitoring systeem verzamel je meer gestructureerd informatie die je inzicht geeft of je de goede kant op gaat, net als een TomTom. Zit je op de juiste koers of moet je bijsturen? Komt het doel dichterbij?

Omdat je via dit monitoring systeem regelmatig feedback krijg over het bereik van je (sub)doelen, kun je gemakkelijk doelen en activiteiten voor de komende periode formuleren. Zo kom je stapje voor stapje dichter bij jouw stip op de horizon.

Wil je ook zo'n tomtom voor jouw organisatie, programma of project? Dat kan. Belangrijk hiervoor is het bepalen van de juiste indicatoren die vast stellen of je al dichter bij je stip op de horizon komt.

Ik deel graag mijn kennis en heb daarom een e-book geschreven: Tom Tom voor onderzoek. Je kunt mijn e-book downloaden door je in te schrijven voor de nieuwsbrief op de homepage.

RUMBA is, net zoals SMART en PRISMA een hulpmiddel om doelen te formuleren. RUMBA wordt vooral toegepast binnen de zorgsector om de kwaliteit van verpleegkundige zorg meetbaar en inzichtelijk te maken. Waar staan de letters RUMBA voor?

Relevant

Je doelen moeten relevant zijn. Je wilt dat je doel ter zake doet. Het moet belangrijk zijn voor jou, voor je organisatie en voor alle andere belanghebbenden. De kans dat je je doel haalt is dan veel groter. De R in PRISMA staat ook voor relevant.

Understandable

Is je doel begrijpelijk? Zorg bij het formuleren van je doel dat je duidelijke taal hanteert. Als alle betrokkenen de doelstelling op dezelfde manier kunnen uitleggen, omdat de formulering helder is, dan is je doel begrijpelijk.

Measurable

Het zorgen dat je doel meetbaar is, komt terug in alle hulpmiddelen voor het formuleren van doelen. Het is belangrijk om te zorgen dat je kunt vaststellen of je doelstelling behaald wordt. Het moet concreet waar te nemen zijn. Gebruik bij het opstellen van je doel geen vage formuleringen. Formuleer je doel specifiek. Denk er goed over na welk getal, bedrag of percentage aan kunt verbinden. Veel is meetbaar, dus wees hierin creatief.

Rumba

Behavioral

Je doel dient geformuleerd te zijn in gedragstermen of actiepunten die voor iedereen waarneembaar zijn in de praktijk. Zijn de actiepunten die bijdragen aan het doel niet goed te zien, dan is het lastig om mensen te motiveren en om draagvlak te creëren. Duidelijke beweging naar een doel zorgt voor motivatie, waardoor het doel sneller bereikt wordt.

Attainable

Zorg ervoor dat je doel haalbaar is. Met andere woorden, zorg ervoor dat je doel realistisch is. Is dit niet het geval, dan is er eerder sprake van ontmoediging en kost het veel energie om je doel te behalen. Heb je toch een doelstelling die moeilijk te bereiken is? Splits het dan in kleinere subdoelstellingen. Door het behalen van de tussentijdse doelen blijven mensen betrokken en gemotiveerd.

Het formuleren van een doel kan lastig zijn. Het is daarom handig om een aantal criteria te hebben waar je je aan houdt. In één van mijn vorige blogs heb ik uitgelegd dat je doelen SMART kunt formuleren. Je kunt ook kiezen voor een andere methodiek . In dit blog leg ik zo’n alternatieve methode uit, namelijk: PRISMA. Het aantrekkelijke van PRISMA is de P van Positief.

Positief

Formuleer je doel positief. Je doel klinkt dan een stuk fijner. Ook helpen mensen je liever als je een positief doel hebt. Dit helpt bij het bereiken van je doel. Daarnaast is een negatieve formulering niet goed voor je energiepeil en motivatie. Een voorbeeld van een negatief doel: ‘Het aantal uren dat kinderen binnen videogames spelen verminderen. Iets stoppen/verminderen klinkt per definitie negatief, ook al bedoel je dat niet zo. Formuleer deze doelstelling liever positief: ‘Het aantal uren dat buitenactiviteiten van kinderen bevorderen. Klinkt heel anders, je wilt hetzelfde bereiken.

Relevant

Zorg dat je doel relevant is. Relevant voor jou, voor de organisatie en voor de omgeving. Stel jezelf de vraag of het doel echt ter zake doet. Niemand wil tijd en energie stoppen in iets waarvan ze eigenlijk al weten dat het niet relevant is.

Invloed

Ligt het doel binnen jouw invloed? Als je geen invloed hebt op het doel wat je hebt, dan heeft het geen zin om er energie in te stoppen.

Specifiek

Net als bij SMART is het ook bij PRISMA belangrijk om je doel zo specifiek mogelijk te maken. Het moet duidelijk zijn wat je precies bedoelt. Ook iemand die niets met het project, programma of beleid te maken heeft, moet kunnen snappen wat je wilt bereiken. Het specifiek maken van je doel dwingt je om na te denken over wat je nu echt wilt. Een doel als ‘Meer bezoekers’ is niet specifiek en niet te meten. Het moet een waarneembare actie, waarneembaar gedrag of resultaat zijn. In dit geval zou het betekenen dat je met één bezoeker meer je doel hebt gehaald. Dat is niet wat je eigenlijk wilt.

Meetbaar

Meetbaar komt ook  terug bij het SMART maken van doelen. Het gaat er hierbij om dat je moet kunnen bepalen wanneer je doel bereikt is. Denk na over hoe je kunt meten of je doel is bereikt en welke indicatoren ervoor nodig zijn om dit te kunnen zien. Een goed voorbeeld is afvallen. Wil je afvallen in kilo’s of in vetpercentage? Wil je minder wegen of minder vet hebben? Meet wat je wilt weten. Meer hierover vind je in mijn blog [titel blog].

Actiegericht

Je moet zelf actie kunnen ondernemen om je doel te bereiken. Wat kun je doen om richting je doel te bewegen? Dit overlapt met de pijler ‘Invloed”. Een doelstelling waarop je geen invloed hebt is niet motiverend, je kunt zelf niets doen om het doel te halen. Zorg ervoor dat je gericht naar je doel kan bewegen, dat je zelf actie kunt ondernemen om het doel te bereiken. Wat kun jij doen en wat kan er door anderen gedaan worden?

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 – 2024 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone