Stap 4: Evalueer met je gebruikers

Rapid Prototyping is een zeer effectieve techniek om ideeën tastbaar te maken en feedback te vragen bij gebruikers. Het helpt je om al in een vroeg stadium te leren wat werkt en niet werkt door gebruikers de interactie te laten ervaren en evalueren. Zo kun je iteratief toewerken naar een inclusiever ontwerp. Prototypes kun je bijvoorbeeld maken van papier, in de vorm van ‘storyboards’, of fysieke mock-ups.

Instructie

1. Bepaal het doel

1. Beschrijf kort je product of dienst, je doelgroep, de projectfase en het onderzoeksdoel waarvoor je deze techniek inzet. Leg deze vast in de rapportage. Voorbeeld onderzoeksdoel: “Ik wil gebruikers de interactie met [mijn toepassing] in [bepaalde situatie] laten ervaren, zodat ze feedback kunnen geven.”
2. Beschrijf kort wat je al weet, wat je nog moet onderzoeken en wat je verwachtingen zijn van de uitkomst. Leg deze vast in de rapportage. Maak bijvoorbeeld een mindmap over het onderwerp van het onderzoek. Zo kun je snel zien wat je al weet en wat je nog wilt onderzoeken.
3. Maak een planning voor het voorbereiden en uitvoeren van de activiteiten en het verwerken van de resultaten. Bepaal welke vorm van rapid prototyping je wilt toepassen, zie Materialen Rapid prototyping.

2. Nodig deelnemers uit

1. Regel de deelnemers van de doelgroep en eventuele andere betrokkenen. Bedenk of je binnen de doelgroep vergelijkbare mensen wilt werven of juist een grote diversiteit. Stuur een bevestiging en, indien gewenst, een herinnering. Gebruik hiervoor de wervingsbrieven. Werf 5-8 deelnemers. Beschrijf in de wervingsbrief de activiteit. Bijvoorbeeld: We gaan in een groep gezamenlijk prototypes van ons product/dienst uitproberen. We vragen u om hier feedback op te geven.
2. Verzamel alle contactgegevens van de deelnemers (naam, adres, e-mail, telefoonnummer, geslacht, leeftijd, andere relevante kenmerken).
3. Maak een toestemmingsformulier voor de deelnemers.
4. Bedenk of deelnemers een beloning of vergoeding krijgen voor deelname en bepaal de hoogte van de vergoeding. Leg dit vast in een vergoedingsformulier .
5. Bekijk eventueel de tips over omgaan met deelnemers.

3. Bereid de materialen voor

1. Verzamel of maak de benodigde materialen. Gebruik hiervoor het template Materialen Rapid Prototyping. Selecteer een concrete gebruikssituatie en werk de functionaliteit en de interactie met de toepassing uit. Kies hiervoor de gewenste vorm, bijvoorbeeld paper prototype, storyboard of een mock-up. Bedenk ook in welke vorm je de feedback van de deelnemers wilt verkrijgen.
2. Maak een draaiboek en presentatie met instructies voor de deelnemers.
3. Toets de materialen en instructies met een vertegenwoordiger van de doelgroep of een andere deskundige. Pas de materialen en instructies eventueel aan. Leg de materialen en instructies vast in de rapportage .
4. Bedenk hoeveel exemplaren van de prototypes nodig zijn, en maak deze. Het aantal is afhankelijk van het aantal deelnemers en de opzet van de evaluatie van het prototype (plenair, in groepjes van 2 of individueel).
5. Bedenk welke informatie je wilt vastleggen en hoe. Bijvoorbeeld informatie over de deelnemers, geluids-/ beeldopnamen en notities. Bekijk eventueel de aanwijzingen voor het maken van notities.

4. Regel benodigde faciliteiten

1. Regel, indien van toepassing, de benodigde faciliteiten. Denk hierbij aan ruimte, apparatuur, schrijfmateriaal en catering.

5. Introduceer de activiteit

1. Zorg dat de deelnemers de instructies en materialen beschikbaar hebben. Gebruik hiervoor de presentatie.
2. Laat de deelnemers het toestemmingsformulier invullen.

6. Voer de activiteit uit

1. Reik het prototype uit aan de deelnemers, volgens de gekozen opzet van de evaluatie.
   • Vraag hen om te beschrijven wat het prototype volgens hen betekent.
   • Vraag hen aan te geven wat ze goed vonden, wat niet goed en wat ze eventueel missen. Hierbij moeten ze bedenken in hoeverre het prototype aansluit bij hun eigen behoeften.
   • Vraag of ze hun eigen ideeën of aanvullingen willen toevoegen, of zelf een prototype willen maken.

7. Afronden

1. Rond de activiteit af. Bedank de deelnemers. Maak duidelijk in hoeverre aan het doel is bijgedragen. Geef deelnemers de gelegenheid hun bevindingen en ideeën met elkaar te delen. Dit kan tussendoor of alleen aan het einde.
2. Neem de prototypes met aanvullingen in.
3. Vraag deelnemers hoe ze de activiteiten hebben ervaren. Gebruik hiervoor eventueel de evaluatievragen voor deelnemers .
4. Maak duidelijk wat er met de resultaten gebeurt en of de resultaten gedeeld worden met de deelnemers. Maak duidelijk wat de vervolgactiviteiten zijn en de eventuele rol van de deelnemers hierin. Vraag of deelnemers in eventuele vervolgactiviteiten betrokken willen worden.
5. Beloon deelnemers voor hun medewerking. Gebruik eventueel het vergoedingsformulier .

8. Borg en analyseer de resultaten

1. Sla de deelnemersgegevens en resultaten zorgvuldig op. Bescherm privacygevoelige data. Beschrijf kort de aantallen en kenmerken van de deelnemers. Leg deze vast in de rapportage
2. Bestudeer en beschrijf de resultaten in het licht van je onderzoeksdoel en verwachtingen. Leg hierbij de nadruk op nieuwe inzichten. Leg deze vast in de rapportage .
   • Selecteer opvallende of verrassende bevindingen.
   • Illustreer de bevindingen met materiaal uit de prototypes.
3. Vertaal de resultaten naar gevolgen voor het ontwerp. Leg deze vast in de rapportage. Gebruik de resultaten bijvoorbeeld voor het maken van een nieuw prototype.

9. Vervolgstappen benoemen

1. Evalueer het verloop van het onderzoek met de betrokken onderzoekers. Gebruik hiervoor eventueel de evaluatievragen projectteam. Leg dit vast in de rapportage .
2. Deel de resultaten met je volledige projectteam. Bepaal samen welke vervolgstappen nodig zijn.
3. Deel de resultaten en eventuele vervolgstappen met je klant, je deelnemers en andere belanghebbenden.
4. Upload eventueel je rapportage als best practice op de blog van Gebruiker Centraal.

Wat levert het op:

• Rapid prototyping levert nieuwe inzichten op over de behoeften van gebruikers en de vertaling daarvan in functionaliteiten.
• Op basis van de feedback kun je snel een nieuwe versie van het prototype maken.

Tips voor het toepassen van deze techniek:

Algemeen

• Bekijk de algemene procestips voor het betrekken van gebruikers.
• Zet duidelijke doelen en wees realistisch over wat haalbaar is binnen de tijd die je beschikbaar hebt.
• Benadruk in de instructies dat het niet gaat om het testen van de deelnemers, maar om het verkrijgen van hun reacties, ideeën en meningen.
• Houd er rekening mee dat deelnemers bezorgd kunnen zijn over de verspreiding van resultaten. Maak duidelijk in de instructies wat er met het resultaat gebeurt, vanwege mogelijke privacy-issues.

Ouderen

• Houd bij het bepalen van de locatie van het onderzoek rekening met transportvoorzieningen en mobiliteit van ouderen.
• Licht toe hoe de inspanning en inbreng van de deelnemers bijdraagt aan je product of dienst.
• Kijk verder dan het (feitelijke) verhaal aan de oppervlakte om te zien wat het achterliggende doel, of de behoefte van de deelnemer in een bepaalde situatie is.

Immigranten

• Houd voor de openheid en inbreng van deelnemers rekening met het geslacht, de leeftijd en achtergrond van de facilitator.
• Wees je bewust van culturele verschillen bij het interpreteren van de resultaten.

Laaggeletterden

• Stel je als onderzoeker zodanig op dat deelnemers niet het gevoel krijgen anders te zijn. Benadruk dat zij expert zijn op het gebied van hun eigen ervaringen en dat dit zeer waardevol is.
• Let op onderwerpen die zijdelings of achteraf ingebracht worden, of waar bewust niet over gesproken wordt.

Lees meer over Rapid Prototyping in de Design Kit van IDEO: http://www.designkit.org/methods/26

Lees meer over Paper-Prototype in de UCD Toolbox: http://ucdtoolbox.com/methods/paper-prototyping/

Lees meer over Storyboarding in de UCD Toolbox: http://ucdtoolbox.com/methods/storyboarding/

Een cognitive walkthrough is een evaluatietechniek om al in een vroeg stadium ontwerpen te toetsen op gebruiksgemak. De tester voert een aantal representatieve taken uit en identificeert daarbij mogelijke problemen in de interactie. Je kunt dit zelf, of met je eigen team doen, of laten uitvoeren door experts. Maak gebruik van Persona Testing om je hierbij in te kunnen leven in verschillende gebruikers.

Uiteraard dient dit niet als vervanging voor het betrekken van echte gebruikers. Haal ook feedback op bij de gebruikers zelf. Bbijvoorbeeld via Rapid Prototyping of Usability Testing, waarbij je een walkthrough laat uitvoeren door de gebruikers zelf.

Personas kunnen als hulpmiddel ingezet worden om je bij een Cognitive Walkthrough in te leven in de doelgroep. Nog een stap verder gaat Persona Testing, een techniek om via simulatie het ontwerp te ervaren vanuit het perspectief van specifieke persona-profielen. Met de profielen simuleer je condities en hulpmiddelen van bepaalde kwetsbare gebruikers. Zo kun je tijdens de walkthrough van het ontwerp specifieke problemen in de interactie identificeren vanuit verschillende gebruikersperspectieven.

Uiteraard is dit geen vervanging voor het betrekken van echte gebruikers. Haal ook feedback op direct bij de gebruikers zelf. Bijvoorbeeld via Rapid Prototyping of Usability Testing, waarbij je een walkthrough laat uitvoeren door de gebruikers zelf.

De persona profielen zijn ontwikkeld door het Accessibility Team van de UK Government Digital Service. Lees meer in dit artikel van het Accessibility Team: Using persona profiles to test accessibility

Evalueer je toepassing door deze te testen met representatieve gebruikers. Laat deelnemers taken uitvoeren terwijl ze hardop denken. Observeer, luister en maak aantekeningen. Verzamel kwalitatieve feedback en kwantitatieve data. En identificeer problemen op het gebied van bruikbaarheid, gebruiksgemak en tevredenheid.

Tips voor het toepassen van deze techniek

Laat deelnemers de taken in tweetallen uitvoeren. Dit stimuleert het hardop denken doordat er overlegd wordt. Voor sommige kwetsbare doelgroepen helpt het ook bij het wegnemen van angst om iets fout te doen.

Deze techniek staat verder beschreven in 18F Methods: https://methods.18f.gov/validate/usability-testing/
https://www.interaction-design.org/literature/topics/usability-testing

Meer informatie over usability testing bij usability.gov: https://www.usability.gov/how-to-and-tools/methods/usability-testing.html

Dit stappenplan gebruikt de zogenaamde hallway-methode. Dit houdt in dat je gaat testen met mensen op locatie; op straat, in het buurthuis of bijvoorbeeld in de hal van de gemeente. Waar jouw doelgroep zich dan ook bevindt.

Het stappenplan bevat een combinatie van 2 testmethoden: de plus- en minmethode, en het vraaggesprek. Je krijgt hiermee in korte tijd zicht op de sterke en zwakke stukken van de tekst. En je ontdekt of jouw tekst begrijpelijk is voor jouw doelgroep.

Lees meer over het stappenplan ‘Test je tekst’.

Tips om te evalueren met je gebruikers:

Haal feedback op bij echte gebruikers en blijf dit doen.

Evalueer je ideeën, ontwerpen en prototypes met de gebruikers voor wie je ontwikkelt. Begin al in een vroeg stadium met het ophalen van feedback en ga hiermee door tijdens en na implementatie. Vergeet hierbij niet de extremen in het spectrum van de (potentiële) gebruikers. Dit kan op allerlei manieren: bijvoorbeeld prototypes voorleggen, co-creatiesessies houden, of een gebruikerstest uitvoeren. Lees meer over hoe dit te doen in de Design Kit van IDEOO: get feedback, en Keep Getting Feedback.

Denk na over een meet- en evalueerstrategie.

Er zijn vele manieren om te meten en evalueren. Denk na over wat de meest geschikte wijze is om de impact van je toepassing te meten, in het licht van de doelstellingen. Inclusie vergt een genuanceerde aanpak. Betrek belangrijke partners en gebruikers bij het bepalen en uitvoeren van de meet- en evaluatie-aanpak. Lees meer over de Design Kit van IDEO, strategie.

Meer tips?

Bekijk deze tips van Optimaal Digitaal, het spel waarmee je spelenderwijs je dienstverlening verbetert:

• Tip 115: Wees alert op onbewuste uitsluiting
• Tip 116: Betrek belangenbehartigers en de doelgroep zelf
• Tip 117: Stem test af op doelgroep
• Tip 118: Ga naar je doelgroep toe