1. Breng een heldere structuur aan in je manier van evalueren die je iedere keer op dezelfde manier toepast. Alleen dan kun je resultaten door de tijd heen vergelijken en kun je ze dus beter beoordelen. Ook als je alleen evalueert door te observeren, kun je een structuur aanbrengen. Vaak kijk je tijdens een activiteit rond en weet je of iets aanslaat of niet. Waar zie je dat aan? Waarschijnlijk let je op een aantal dingen, bijvoorbeeld of leerlingen geconcentreerd zijn, of ze vragen stellen, of … Schrijf eens op waar je op let zodat je een puntenlijstje krijgt wat je iedere keer kunt aflopen. Ook bij een informele gesprekken na een activiteit kun je vooraf helder opschrijven wat je elke keer zult vragen, zodat je gestructureerd steeds dezelfde informatie verzameld.
  2. Betrek je collega's bij je evaluatie en vraag of zij op dezelfde punten willen letten. Daarmee kun je beter je bevindingen bespreken en als jij eens een keer niet aanwezig bent kunnen je collega's je evaluatie van je overnemen.
  3. Leg je bevindingen vast ook als je alleen evalueert door achteraf na te praten. Schrijf dan op wat er uit kwam zodat je ook nu weer je bevindingen kunt vergelijken en bewaren. Probeer hierbij weer een heldere structuur aan te houden.
  4. Als je evalueert door achteraf een aantal mensen te spreken, wees je er dan bewust van wie je spreekt. Zorg dat je niet alleen de enthousiastelingen of juist de herrieschoppers eruit pikt. En als je wilt weten waarom een school voor jouw aanbod heeft gekozen, kan het zijn dat het geen nut heeft met de docentbegeleiders die mee zijn te praten. Soms kiest de cultuurcoördinator van een school het aanbod, maar gaat hij/zij niet mee en is bij de voorstelling aanwezig die toch al niet naar toneel wilde en het vooral vervelend vindt dat zijn lesuren hierdoor zijn vervallen. Hij zal je niet kunnen vertellen waarom juist jouw aanbod is gekozen.
  5. Misschien wel het belangrijkste aandachtspunt van allemaal, vraag dat wat je echt wilt weten. En daarbij hoort ook, vraag dus niet wat je eigenlijk niet nodig hebt of wilt weten of waar je toch niets mee gaat doen. Je hoeft helemaal niet alles te bevragen in een evaluatie, bespaar jezelf en de ander tijd door alleen dat te evalueren waar je nu echt mee aan de slag wilt.
  6. Stap af van containerbegrippen, maar formuleer zo exact mogelijk.

Doen we de dingen goed? OF doen we de goede dingen? Twee vragen die sterk op elkaar lijken, maar die wel degelijk twee verschillende betekenissen hebben. Organisaties die evalueren stellen vaak de eerste vraag: Doen we de dingen goed? Er wordt dan kritisch gekeken naar de huidige activiteiten om ze in de toekomst te verbeteren. Dit is zinvol als je een kwaliteitsslag wil maken in je project. Maar wil je weten of je je doelen daadwerkelijk bereikt? Dan moet je de tweede vraag stellen: Doen we de goede dingen? Je wilt dan weten of de projecten en activiteiten bijdragen aan de geformuleerde doelen, niet of het losstaande project goed wordt uitgevoerd.

Om erachter te komen of je de goede dingen doet is het in de eerste plaats belangrijk om de doelen helder voor ogen te hebben. Is van tevoren het doel niet helder, dan weet je niet of je op de goede weg zit met de bereikte resultaten.

Vervolgens vertaal je deze doelen naar meetbare indicatoren (vergeet daarbij niet dat alles meetbaar is). Je kijkt vervolgens welke activiteit in welke mate bijdraagt aan je doelbereik. Zo krijg je inzicht in of je de goede dingen doet. Als je daarnaast verkent welke opties er nog meer zijn om je doelen te bereiken, krijg je inzicht in alternatieven en kun je kritisch kijken naar de mix van activiteiten die er zijn om je doel te bereiken.

De mysterie shopper is iedereen bekend: iemand die met een opdracht gaat winkelen of producten retourneren om te kijken hoe de ervaring is voor de klant en hoe medewerkers omgaan met klanten. Een variatie hierop is de mysterie bezoeker: iemand die zich voordoet als een alledaagse bezoeker en zo de gehele consumentenervaring registreert. Je kunt de mysterie bezoeker hierbij een extra opdracht meegeven, bijvoorbeeld een klacht. De mysteriebezoeker vult na afloop van het bezoek een vragenlijst in met criteria.

Je kiest voor een mysterie bezoeker als klantgerichtheid, de faciliteiten van je organisatie of commerciële vaardigheden van medewerkers wilt analyseren. Het doel is om op basis van de klantervaring te evalueren en waar mogelijk te verbeteren.

Een mysterie bezoeker kan verder gaan in het geven van zijn/haar ervaring en geeft geen sociaal wenselijke antwoorden. Bij echte bezoekers heb je wel het risico op sociaal wenselijke antwoorden. Een ander voordeel is dat je je bezoekers niet belast. Je bent dan ook niet afhankelijk van respondenten.

Tips

  1. Zorg voor vooraf opgestelde scripts en observatieformulieren.
  2. Bepaal goed welk aspect van de organisatie je wilt screenen: klantgerichtheid van de medewerkers, de aanwezige faciliteiten of consumentenproces?
  3. Beslis vooraf of de mysterie bezoeker zich als een gemiddelde bezoeker voordoet omdat je een beeld wilt van de normale gang van zaken. Of wil je dat er moeilijke vragen gesteld worden, een probleem is om te testen hoe de organisatie daarop reageert.
  4. Laat je beeld niet bepalen door één bezoeker of medewerker, maar door het grotere geheel.
  5. Zet een mysterie bezoeker in die een objectief beeld kan schetsen over de organisatie.
  6. Naast een fysiek bezoek, kun je mysteriebezoeker inzetten via andere vormen: telefoongesprek, e-mail en websiteanalyse.

Eén van onze meest gelezen blogs gaat over de vragen die je moet stellen bij een procesevaluatie. Zo’n evaluatie is gericht op de manier waarop je werkt en samen (hebt) gewerkt. Maar bij de start van het project heb je ook vragen en tussentijds en/of na afloop van een project wil je de effecten inzichtelijk maken: Wat is de beginsituatie? Welke aannames doen we en kloppen deze wel? Is het doel bereikt? In hoeverre is de doelgroep bereikt? Wat zijn de succesfactoren van het project? En wat zijn verbeterpunten? Bij een projectevaluatie houdt je het resultaat tegen het licht. Met deze informatie kun je het project en/of toekomstige projecten verbeteren. Vragen die je kunt stellen tijdens de verschillende fases van het project:

Projectevaluatie fase 1: Bij de start van het project

 Projectevaluatie fase 2: Tussentijds

 Projectevaluatie fase 3: Na afloop van het project

Beantwoord deze vragen binnen het projectteam, maar betrek ook andere partijen, zoals de doelgroep, samenwerkingspartners en andere stakeholders.

English flag Click on the flag to read this article in English

In de blog Waarom evalueren geen administratieve afvinkoefening is schreef ik al dat je evalueren niet doet omdat het een verplichting is, maar omdat je er iets van leert. Het geeft je inzichten waar je iets mee kunt. Maar wat kun je dan met deze inzichten? In deze blog leg ik uit hoe je de inzichten die je verkrijgt door te monitoren en evalueren kunt inzetten. De resultaten van monitoren en evalueren kunnen worden gebruikt:

Als jongeren meedoen aan je sport programma of culturele activiteit, wil je achteraf weten wat ze ervan vonden. Met deze informatie kun je het project bijsturen en verbeteren. Je hebt dan een onderzoeksmethode nodig waar jongeren aan mee willen werken. Er zijn dan een aantal elementen die belangrijk zijn:

Ik noem er een paar onderzoeksmethoden die aan deze voorwaarden voldoen:

Scheurkaartjes

Met scheurkaartjes kun je in een korte tijd van veel jongeren weinig informatie verzamelen. Je geeft de jongeren na het project of activiteit een papiertje met een vraag/stelling erop. Door een scheurtje in het papiertje te maken geven zij aan het eens te zijn met de stelling of geven ze een cijfer op een schaal. Na de activiteit leveren ze het kaartje in bij de uitgang. Het kost voor de jongeren weinig tijd, het is gemakkelijk en zij hoeven niet speciaal ergens naartoe te gaan. Het is een methode om eerste reacties te pijlen. Je kunt namelijk maar een enkele vraag stellen. Meer informatie over de voor- en nadelen van scheurkaartjes vindt je in mijn blog over deze onderzoeksmethode.

Digitale vragenlijst (ter plekke) met enquêteur

Een andere geschikte onderzoeksmethode voor jongeren is een digitale vragenlijst die ter plekke afgenomen wordt, waarbij een enquêteur de vragen stelt en de antwoorden invult (bijvoorbeeld met een iPad). Deze methode kost meer tijd dan scheurkaartjes, maar het geeft wel de mogelijkheid om veel informatie te verzamelen. Het is voor de jongeren nog steeds gemakkelijk, zij hoeven zelf niets in te vullen. Ook bevindt je je op de plek waar de jongeren zijn. Door de jongeren na afloop een cadeautje te geven als bedankje vergroot je de kans dat ze meewerken.

Observeren

Een manier van onderzoeken waar je de jongeren nauwelijks belast is observeren. Het kost de jongeren geen tijd, je observeert werkelijk gedrag en je bent niet afhankelijk van respons. Door te observeren kun je veel informatie verzamelen. Je kunt echter enkel feitelijk gedrag observeren en geen motivaties achterhalen.

Interviews

Door middel van interviews kun je motivaties en diepgaande informatie achterhalen. Het is echter een methode die voor de jongeren veel tijd kost. Aan de andere kant voelen jongeren zich door middel van een interview onderdeel van iets, ze voelen zich serieus genomen. Dit motiveert hen om mee te werken. Ook bij deze onderzoeksmethode is het leuk om een cadeautje te geven als bedankje.

Meer weten over hoe je jongeren kunt bereiken? In een eerdere blog gaf ik al een aantal tips om toe te passen om jongeren te bereiken voor je activiteit.

Wil je op een snelle manier kwantitatieve informatie verzamelen van een grote groep mensen? Dan kun je scheurkaartjes als onderzoeksmethode gebruiken. Het principe van scheurkaartjes werkt als volgt: Je geeft het publiek voor een voorstelling, tentoonstelling of andere activiteit een papiertje met een vraag/stelling erop. Door een scheurtje in het papiertje te maken geven zij aan het eens te zijn met de stelling of geven ze een cijfer op een schaal. Na de voorstelling, tentoonstelling of andere activiteit leveren ze het kaartje in bij de uitgang. Je kunt hierbij denken aan de filmbeoordelingen van IFFR.

Door gebruik te maken van scheurkaartjes kun je gemakkelijk en snel informatie van veel respondenten krijgen, waardoor je uitspraken kan doen over percentages en verhoudingen binnen de gehele onderzoeksgroep.  Je hebt een hoge respons met scheurkaartjes omdat voor respondenten een kleine moeite is om na afloop van een voorstelling of tentoonstelling een kaartje in te scheuren. Daarbij blijven de respondenten ook anoniem.

Het werken met scheurkaartjes als onderzoeksmethode is geschikt als je een eerste reactie van de onderzoeksgroep wilt achterhalen. Je kunt ten slotte maar 1 of 2 vragen stellen. Ben je op zoek naar uitgebreidere informatie? Dan is het slimmer om te kiezen voor een vragenlijst. Wil je juist meer diepgaande informatie en achterliggende motivaties achterhalen? Dan is het houden van interviews wellicht een betere onderzoeksmethode.

Veel mensen hebben geen grip op het begrip onderzoek. Dit maakt evalueren tot een taak die alsmaar wordt uitgesteld en wat meer als een verplichting voelt dan een gelegenheid om van je project of activiteit te leren. Vaak zie ik dat mensen wel degelijk open staan voor onderzoek (en om er zelf mee aan de slag te gaan), maar dat het nog een ver van hun bed show is. Door hen meer te leren over wat onderzoek inhoudt, en hen te laten zien dat het niet altijd zo ingewikkeld is als het lijkt, worden zij er steeds enthousiaster over.

Een voorbeeld is de tweedaagse cursus die ik heb gegeven aan de medewerkers van de afdeling educatie van een (inter)nationaal museum. Afgelopen voorjaar ben ik bij hen langs geweest om hen te leren wat onderzoek inhoudt: Je volgt een aantal logische stappen die je inzicht verschaffen in je doelbereik. De volgende thema’s komen aan bod om een goed onderzoek op te zetten:

Vervolgens zijn zij zelf aan de slag gegaan met hun eigen onderzoeken, waarna ik in het begin van de zomer terug ben gegaan om aan de hand van hun eigen verzamelde data de vervolgstappen samen door te nemen.

Door hen aan de hand van voorbeelden uit de eigen praktijk te leren onderzoeken, zie ik dat ze enthousiaster zijn geworden over evalueren en hebben zij meer begrip gekregen van wat je allemaal kunt met onderzoek. Hierdoor denk ik dat ze vaker en gemakkelijker hun exposities en activiteiten zullen monitoren en evalueren.

Wil je liever samen met je hele team meer leren over onderzoek? Dan behoort een in-company training ook tot de mogelijkheden.

De meeste mensen denken bij evalueren alleen aan onderzoek dat achteraf gedaan wordt, nadat het project, programma of beleid al is uitgevoerd. Maar evalueren is op meerdere momenten in de beleidsvorming interessant. Je kunt zowel vooraf, tijdens of na invoering van beleid evalueren.

Ex ante evaluatie

Ex ante onderzoek vindt plaats voorafgaand aan de invoering van beleid. Deze vorm van onderzoek speelt een rol bij de totstandkoming van beleid, aan het begin van de beleidsvorming. Vaak worden één of meerdere beleidsopties onderzocht op mogelijke impact/consequenties en op uitvoerbaarheid.

Door het van tevoren afwegen van beleidsalternatieven kunnen vragen beantwoord worden over bijvoorbeeld het verwachte doelbereik en de daarmee gepaard gaande kosten (en opbrengsten). Ex ante onderzoek is interessant omdat het als input kan dienen voor beslissingen over het in te voeren beleid.

Ex durante evaluatie

Ex durante evaluatie onderzoek vindt plaats tijdens de uitvoering van het beleid, project of programma. Je voert deze vorm van onderzoek doen uit als je tussentijds wilt weten wat de voortgang is van een project, activiteit of beleidsprogramma. Zo kun je tijdig bijsturen waar nodig. Je onderzoekt dus de effecten van een beleid tot nu toe. Goede instrumenten voor tussentijdse evaluatie zijn monitoring en benchmarking.

Ex post evaluatie

Ex post evaluatie is de meest bekende vorm van evalueren. Je kiest voor ex post evaluatie onderzoek als je achteraf wilt weten over bijvoorbeeld de doelmatigheid, doeltreffendheid of legitimiteit van beleid. Het gaat hierbij vaak om de kwaliteit van het beleid die gemeten wordt op basis van een aantal criteria. Je verzamelt en analyseert gegevens (vaak op basis van wetenschappelijke methoden) om tot een oordeel over bestaand beleid te komen.  Een goed instrument voor ex post evaluatie is een effectmeting.

Evalueren doe je niet om te evalueren. Je evalueert (tijdens en/of na afloop van een project) om iets te leren van je project, programma of activiteit. Vaak zien culturele instellingen het evalueren van hun activiteiten echter als een ding dat moet gebeuren, maar is de toegevoegde waarde ervan niet duidelijk. Evalueren is waardevol voor de interne organisatie, maar ook naar buiten toe (mits de goede vragen gesteld worden in de evaluatie). In dit blog geef ik een aantal redenen waarom evalueren meer is dan een administratieve afvinkoefening. Door te evalueren:

  1. Krijg je inzicht in jezelf en het team. Waar had je misschien dingen anders moet doen? Maar ook: Waarin heb je juist goed werk geleverd?
  2. Verkrijg je inzicht in het project, programma of de activiteit. Je krijgt zicht op hoe het project is ontvangen en daarbij informatie over de succesfactoren, maar ook eventuele verbeterpunten komen boven tafel. Met deze informatie kun je het huidige project verbeteren en weet je waar aandachtspunten liggen voor de toekomst.
  3. Krijg je inzicht in je d0elbereik en dat van de organisatie: heeft het project de gewenste effecten (worden er meer bezoekers geïnspireerd, veranderen de deelnemers echt van houding t.o.v. een bepaald onderwerp, wordt de interesse gewekt?)
  4. Krijg je de juiste informatie in handen om het project te verantwoorden, intern of aan derden. Dit kan een verantwoording zijn aan de interne organisatie met een onderbouwing voor bijvoorbeeld budget. Maar evalueren geeft je ook informatie voor externe verantwoording, zoals aan subsidiegevers. Door middel van een evaluatie kun je laten zien wat je hebt bereikt met het project of de activiteit.
  5. Krijg je inspiratie voor nieuwe projecten. Je komt erachter wat de succesfactoren zijn en hoe je die beter kunt inzetten. Ook kom je er bijvoorbeeld achter dat een bepaalde doelgroep niet hebt bereikt met dit project en kunt voor deze doelgroep een nieuwe activiteit bedenken.
  6. Geeft voeding voor vernieuwing. Door te evalueren krijg je misschien ideeën waar je nog niet eerder aan hebt gedacht.
  7. Worden vervolgacties zichtbaar. Vaak leidt evalueren tot een actie. Dit kan vanalles zijn. Misschien is het nodig om de strategie bij te stellen, nieuwe doelen te formuleren of bij te sturen. Door te evalueren maak je deze vervolgstappen zichtbaar.

Hulp nodig bij evalueren? Ik kan je hierbij helpen!

Ericssonstraat 2
5121 ML  Rijen
Nederland
Claudia’s hart ligt bij onderzoek. Haar werkwijze is heel persoonlijk; ieder onderzoek vraagt tenslotte om maatwerk. Samen met de klant formuleert ze doelen, die ze vervolgens ook realiseert. Daarbij is ze volkomen transparant en deelt ze graag haar kennis en ervaring met anderen via haar laagdrempelige digitale cursussen en e-books.
© 2022 – 2024 Claudia de Graauw. Alle rechten voorbehouden.
homeenvelopesmartphone