Beta-version av VGRs sökmotor

Test av sökmotorns användbarhet

Nu har vi utfört vårt första test av användbarhet för vår nästkommande sökfunktion. Vi började i liten skala med att försöka fånga personal på väg till personalmatsalen på Sahlgrenska Universitetssjukhuset. För att övertyga de som tvekade bjöd vi på skumtomtar, mandariner och bananer. Många visade sig vara hungriga så det hjälpte nog till att övertyga dem.

Du som vill kolla in testversionen av vår blivande sök och råkar jobba inom VGR kan gå till hitta.vgregion.se och du som inte jobbar på VGR kan kolla in vår prototyp från förra hösten.

Användbarhet inte liktydigt med tillgänglighet

prestandabudget-prototypI prototypens prestandabudget (se bild här intill) ställde vi krav om att följa tillgänglighetsriktlinjen WCAG 2.0 nivå AA som lägst. Dessutom hade vi krav om betyg 90 av 100 som lägst i Google Pagespeed.

Den skarpa versionen av sökfunktionen ska däremot leva upp till en ännu tuffare prestandabudget. Den prestandabudgeten har vi dokumenterat på Github bland vår övriga öppna dokumentation (och förstås stämt av med våra webbutvecklare).

Men, hög tillgänglighet är ingen garanti för att det också blir användbart. De båda går ofta hand i hand men det är fullt möjligt att bygga en tillgänglig lösning som knappt någon klarar av att använda på bästa sätt. Därför kommer vi som jobbar med webbförvaltningen under några månader göra en serie av användbarhetstester.

Denna första gång nöjde vi oss med att ge den uppraggade användaren två uppgifter, nämligen:

  1. Sök rätt på kontaktuppgifter till din närmsta chef. Exempelvis direkt telefonnummer eller e-post.
  2. Leta rätt på de jobbannonser som VGR/Sahlgrenska har.
  3. Uppföljningsfråga: Har du använt befintlig sökfunktion? Om ja, hur upplever du att den här skiljer sig mot den?

Mål 1: Enkelt att hitta en kollegas kontaktuppgifter

Första frågan relaterar till flera saker vi försöker lösa med sökfunktionen. Först och främst att det är ett av våra viktigaste nyckeltal (KPI – Key Performance Indicator för dig som läser mest på engelska) att man enkelt ska kunna hitta kollegor.

På grund av detta har vi valt att erbjuda en särskild del av sök enbart för att lösa personsök-utmaningen, precis som vi har en annan flik där man kan hitta dokument och diarie-uppgifter. En bonus är att då blir det inte en jäkla röra av alla möjliga sorters träffar i den ”vanliga” träfflistan – den renodlas till att handla om webbmaterial och intranätet.

Testets mest uppenbara fynd var att inte en enda av de 20 testanvändarna hittade personfliken på ett skyndsamt sätt. De som hade en kollega med sig i testet fick ibland hjälp att upptäcka den fliken.

Minst två tredjedelar sökte i första hand på förnamn efternamn, de andra prövade med enhetschef verksamhetens namn eller liknande.

När användaren väl upptäckte person-fliken var upplevelsen av innehållet därunder mycket positiv. Varje gång var det antingen endast ett resultat (det rätta) eller så var relevansen korrekt så ”rätt” person var överst.

Utmaningen är helt enkelt att få folk att upptäcka de tre olika flikarna. Att göra flikarna och filtren mindre i ögonfallande var ett av målen med den nya designen, den gamla anses vara rörig och komplex.

Hypotes på lösning: Vi tänker oss att när en användare söker efter ett namn (det vill säga vi får en rättstavad fullträff mot personalkatalogen) så kommer den enda träffen att läggas överst som en så kallas sponsrad träff – även om man är bland dokument eller webben-flikarna. Detta ska vi sedan testa vid nästa användbarhetstest.

Mål 2: Enkelt att hitta lediga jobb

Västra Götalandsregionen uppmuntrar jobbrotation internt, och på grund av att det finns cirka 50 000 jobb finns en rätt ok intern arbetsmarknad. Att det ska vara enkelt att hitta till enskilda jobbannonser eller den övergripande platsbanken är också det ett nyckeltal för vår sökfunktion.

I vårt användbarhetstest visade det sig svårt att ta sig från person-fliken de var i och få jobbannonser direkt i träfflistan. Om man råkade söka på just platsbanken, jobb eller liknande beskrivande nyckelord kom dock en sponsrad träff upp överst på samtliga flikar (något vi initialt tänkt ta bort).

Det visade sig att folk antingen sökte enbart baserat på vad vi bad dem om (jobb, lediga jobb, jobbannonser, etc) eller skrev väldigt specifika sökfrågor som läkare ortopedi skövde som sökfras. Här saknades ibland lite data, exempelvis behöver vi utvärdera om lämpliga synonymer finns, som att läkare och specialistläkare kan vara synonymt i vissa fall, eller åtminstone inte ska vara uteslutande.

Hur mäter ni dessa mål egentligen?

Just nu mäter vi dem inte, inte på nuvarande sökfunktion. I och med att den kommande sökfunktionen blir den ordinarie ska vi dock börja mäta och nu har vi börjat definiera verksamhetsmål likt de två ovan om att hitta kollega och smidigt se interna jobbannonser.

Mätmetoden vi kommer köra med för dessa mål är genomklickningsfrekvens i det första skedet. Det heter ofta CTR (Click through rate) på engelska och går ut på att användaren gör något önskvärt. I detta fallet skulle vi räkna ut hur många procent som söker efter ett namn och sedan klickar på en träff. Det ses som en lyckosam användning av sökfunktionen.

Vill man göra mer avancerad webbanalys och följa upp beteendet ännu mer i detalj kan man kolla in vad som kallas för dwell time och pogo sticking. Dwell time är precis som det låter, den tiden användaren stannar upp på sidan bakom träfflistan, exempelvis en personprofil på intranätet om hen sökte efter en kollega. Pogo sticking handlar om att inte klappa sig på axeln för de klick en användare gör på en träff om de återvänder inom säg 5 sekunder. Om det är det vanliga beteendet för en viss sorts träffar betyder det nog att de träffarna inte är något som uppskattas av användarna. Nu är inte detta en post om webbanalys, vi kanske kommer tillbaka till sånt här någon annan gång 🙂

Sista frågan – vad tycker du om denna sökfunktion jämfört med den befintliga?

Denna fråga är så klart än mer av kvalitativ sort än de två tidigare. Alla hade inte använt den befintliga, men de flesta hade det. Majoriteten förklarade mer eller mindre passionerat hur usel de tycker att den nuvarande sökfunktionen är (även fast många inte testat den på nytt på flera år). Praktiskt taget alla följde upp med att påpeka att den sökfunktion de just testat var oerhört mycket bättre. Denna typ av utsagor ska man ta med en nypa salt, men vi var noggranna med att inte tala om att vi jobbar med sök, bara att ”vi skulle gärna ha din hjälp att utvärdera den kommande sökfunktionen…” i kombination med namnskyltar med VGR-loggan på.

Många påpekade att det var skönt att slippa alla mötesanteckningar (de flesta gömmer sig under en egen flik i testversionen), andra tyckte det såg tydligare ut och 2-3 stycken tyckte det såg googligt ut.

Vissa trodde vi var de som gjort Bing.com, så vilken sökfunktion folk sågade kanske varierade. Vi vet dock med oss att vår nuvarande sökfunktion är allt annat än uppskattad. Intressant nog var det två av dessa tjugo som påpekade att nuvarande sökfunktions uselhet kan man inte klandra sökfunktionen för, det hänger ju på innehållet och om det man söker efter över huvud taget existerar.

Nästa steg…

Planen är att köra ett till användbarhetstest innan jul, sedan en till i slutet på januari. Detta gör vi på andra sjukhus i regionen. Därefter tar vi beslut om vilken vidareutveckling vår testversion ska få.

Efter det blir det en testomgång till, kanske bland andra kollegor än enbart de på sjukhus. Efter det misstänker jag att sökfunktionen är så pass bra att vi vågar ersätta nuvarande sökfunktion – förhoppningsvis ackompanjerade av kollegornas jubel 😀

[uppdatering 2016-02-15]

Nu har vi en annan design på flikarna. Dessa ska utvärderas och se om det blir tillräckligt enkelt att hitta mellan flikar. Planen är att testa denna design på användare och om testet faller väl ut så ersätter vi befintliga sökfunktionen i april (och fortsätter att testa).

Ännu tydligare flikar till sökmotorn
Efter användbarhetstestet har vi reviderat utseendet på flikarna. Nu är de mörkblå och sticker ut lite mer än tidigare. Nästa steg är att utvärdera om detta är tydligt nog.

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s