Online user testing - insight from practice

Štěpánka Mojžíšová
1
Obsah článku:
Štěpánka Mojžíšová
UX Researcher
‎ ‎ ‎ ‎ ‎What difficulties can you run into with online user testing, compared to the classic “room-moderator-respondent,” arrangement? We have collected a series of researchers' experiences to help you make remote user testing for websites and applications with your clients to be easier.

Jaké nástrahy přináší “remote” uživatelské testování oproti klasickému aranžmá místnost — moderátor — respondent? Dali jsme dohromady postřehy, které jsme získali při realizaci vzdálených uživatelských testů aplikací a webů našich klientů.

V době kdy je většina lidí na home-office, je vzdálené testování s uživateli jedním z hlavních způsobů jak kvalitativní UX testy efektivně dělat. To samé platí i pro samotný uživatelský výzkum, hloubkové rozhovory a podobně.

Zkušenost s přesunem majority prováděných testů do online světa, nás vedla i ke změnám v našem standardní testovacím workflow. To jsme museli upravit, tak aby výsledky našich testů měli stejnou vypovídací hodnotu, jako když sedí výzkumník s respondentem v jedné místnosti.

Rekrutace respondentů

  • Rekrutace bývá často největší bolestí v celém procesu uživatelského testování. Teď v době Covidu, jde ale překvapivě snáz. Respondenti nemusí nikam jezdit, stačí, když se připojí z práce nebo z domova. Pokud se výzkumník přizpůsobí časově a nevadí, že poslední test začne až ve 20:30, dají se sessions naplánovat v krátkém čase.
  • Spousta lidí si na videokonference zvykla, nejsou zaskočeni a technických problémů je čím dál méně.
  • Velká část respondentů je vstřícná a ochotná se potkat, pro někoho je to příležitost se s někým vůbec bavit.
  • Spousta lidí má víc času než obvykle.

Příprava na rozhovor — co se osvědčilo

  • Snažíme se vyjít respondentům vstříc a použít komunikační platformu, kterou znají a používají. Některé testy jedeme přes Zoom, Google Meet, něco i přes Skype.
  • Domlouváme specifické požadavky — například, že je potřeba, aby se s námi spojili přes počítač (a ne mobil) a byli připraveni na nahrávání z naší strany. Pokud se jedná o respondenty, kteří nejsou z řad Friends & Family, je potřeba ještě souhlas s nahráváním, GDPR a případně NDA poslat dopředu mailem.
  • Testy domlouváme se standardním předstihem — ve středu/čtvrtek na následující týden. Respondenty kontaktujeme po telefonu, kdy se rovnou domluvíme i na preferované platformě. Nahrávám přes QuickTime player (Mac) + automatické nahrávání u Zoomu (Google Meet).
  • Připomenutí je ideální poslat mailem den dopředu.

Průběh rozhovoru — co všechno se může stát

  • Respondentovi se schůzka nakonec nehodí, nechce, nebo na ni zapomene. Je dobré počítat se stejnou nebo lehce vyšší mírou nerealizovaných rozhovorů jako ve standardním fyzickém set-upu a schůzek domluvit víc.
  • Během rozhovoru se mohou objevit děti, rodinní příslušníci, respondent potřebuje vyřešit své pracovní záležitosti a nebo si potřebuje něco vyřídit, třeba skočit koupit cigarety 🙂. Po domluvě pak takové zásadní momenty ze záznamu vystřihneme, před předáním klientovi.
  • I přesto, že jsme se domluvili na desktop testování, respondent se připojí přes mobil (s tím se toho už moc dělat nedá…)
  • Nefunguje sdílení, nebo respondent nedokáže sdílet obrazovku. V takovém případě sdílíme my a respondent nám říká, kam máme kliknout.
  • Nedaří se spojit. Pak je dobré mít back-up variantu — připravenou další schůzku přes jiný kanál, nebo ji bleskově vytvořit. Rychlé zavolání a sladění klasicky přes telefon, ušetří spoustu času. Pokud je problém s nestabilním připojením, je lepší přebookovat setkání na jindy.
  • Objeví se drobné technické detaily. Pokud respondent používá dvě obrazovky může se stát, že nebude vidět, kam kliká. Rozhraní některých komunikačních platforem může na některých počítačích zasahovat do okna prototypu a je potřeba instruovat respondenta, aby si skryl horní panel okna (Zoom).

Key takeaways

  • Remote testování funguje dobře. Rekrutace a účast respondentů je srovnatelná s tou u fyzických testů. Není problém oslovit zástupce všech věkových a sociálních skupin v rámci celé republiky.
  • Zkušenosti s používáním platforem pro videokonference začínají být běžným standardem.
  • Vyplatí se být připraven na všechna možná technická úskalí, maximum věcí domluvit dopředu a během testu už se věnovat samotnému testování, aby nedošlo k prodlevám a netrval příliš dlouho.
  • Vždycky se během celého setu testů něco pokazí, ale je dobré mít připravený back-up plán a přinejhorším si s respondentem zavolat a domluvit se na dalších krocích.
  • Lockdown je ideální příležitostí začít testovat remote a rozšířit si tak portfolio UX výzkumných metod i do budoucna.