Evaluering - Hvorfor?
- En av de mest viktige aktivitetene i UCD.
- en datainnsamling
- Dersom man ikke evaluerer, hvordan skal man ellers vite at man har laget et system brukeren vil ha(validere), og at man har laget det slik brukeren vil ha det(verifisere)?
- kan brukes til å utrede nye krav (ny iterasjon)
Evaluering - Hvordan?
- Hva ønsker jeg å finne ut av om systemet?
- Hvilken metode gir meg den dataen jeg er ute etter?
- Hvilken metode vil gi meg svar på mine spørsmål?
- Ofte velger man kombinasjoner av tilnærminger -> triangulering
Evaluering - når?
- Så ofte som mulig.
- Kan gjøres som en gjennomgående aktivitet eller hovedsakelig tilknyttet milepæler
Kontrollerte omgivelser
En TILNÆRMING!
* Definerte oppgaver i kontrollerte omgivelser.
* Evalator har kontroll og det er så lite forstyrrelser som mulig.
* Kan telle metrikker. Finner kun det man leter etter.
* Fint for mer lavoppløselige prototyper.
* kan bli kunstig
* eks. Metode - brukbarhetstesting: obervasjon, intervjue bruker, testing
Naturlige omgivelser
En TILNÆRMING!
- Ser bruk i tiltenkt miljø.
- Minimere hawthorn effekt og observasjonsbias.
- Mer høyoppløselig prototype
- Teste med variabler som man finner ute i omgivelsene.
- eks. Metoder - Feltstudier: observasjon, intervjue brukere, intervjue eksperter
Evaluering uten bruker:
En TILNÆRMING!
* Bruker holdes utenfor evalueringen og kan gjøres hvor som helst.
- Burde kombineres med andre tilnærminger.
* eks. Metode- Analytisk evaluering: teori/heuristikker med eksperter. Kognitiv gjennomgang med eksperter. Ekspertevaluering.
Cognitive Walkthrough
EN TEKNIKK
* Evaluering uten brukere
* Designet evalueres av eksperter.
* Fokus på om designet støtter brukeren i oppgaveløsning
* Bruker psykologiske prinsipper.
* For hvert steg:
- Hvilken påvirkning vil interaksjonen ha?
- Hvilke kognitive prosesser kreves fra brukeren?
- Hvilke læringsporblemer kan oppstå
Heuristisk evaluering
EN TEKNIKK
- Evaluering uten brukere
* Kunnskap om typiske brukere brukes til å identifisere brukbarhetsproblemer
* Desingere vurderer aspektere ved grensesnittet opp mot passende heuristikker. - Heuristikker er lister av egenskaper som ofte er laget med utgangspunkt i desginprinsipper
Ekspertevaluering
EN TEKNIKK
- En eller flere eksperter evaluerer en løsning og påpeker problemer og svakheter
- Ekspertene setter seg inn i brukers rolle
- Kan være både HCI-eksperter og domeneeksperter
Brukbarhetstesting
EN METODE!
- Når? du har metrikker du ønsker å måle opp mot brukbarhetsmål
* Evaluering i kontrollerte omgivelser
* Tester opp mot brukbarhetsmål: Effektivitet, Flittighet, Tilfredshet, Lærbarhet, Memorerbarhet
* Følgende metrikker(måleenhet) kan brukes: tid, antall feil, antall forsøk, fullføringsrate
* Teknikker: Observasjon, Intervjue brukere, AB-testing
Feltstudier
EN METODE!
- beskriver evaluering av prototype i brukssituasjonens naturlige omgivelser
- Kan også gjøres i en tidlig fase
- Foretas som regel i en senere fase når:
- Prototypen er mer sofistikert og utviklet
- Ikke bare horisontale, men også vertikale funksjoner
- Prototypen allerede er evaluerte i kontrollerte omgivelser
- Fordeler:
- Representative omgivelser(beliggenhet og kontekst)
- Bruker oppfører seg mer naturlig
- Mer realistisk (støy, andre personer, dekningsproblemer osv)
- Kan utvides til langtidsstudier.
Teknikker: Observasjon, Intervjue bruker, Intervjue eksperter
Analytisk evaluering
EN METODE
* Uten bruker
* Teori, modeller, retningslinjer og prinsipper
* Empirisk: observasjoner, spørreundersøkelse, litteratur
Tilnærming
Den overordnede ideen man har om og hvordan best få svar på det man lurer på. Gir indikasjon på passende metoder.
- Tilnærminger:
kontrollert, naturlig og uten bruker
Metode
- Den konkrete strukturen og omfanget på hvordan man har gått frem med en aktivitet.
- Inkluderer detaljer omkring aktiviteten som formål, kontekst, antall deltakere osv.
- Valg av metode må samsvarer med den overordnede tilnærmingen.
- ## Metoder: Brukbarhetstesting, feltstudier, analytisk evaluering
Teknikk
Beskriver detaljene i fremgangsmåten man har valgt innen en bestemt metode.
-Teknikker: Gruppeobservasjon, intervjue bruker, intervjue eksperter, heuristisk evaluering, cognitive walkthrough, ekspertevaluering,
Kognitiv gjennomgang
- Oppgavebasert (vi ønsker å se på spesielle oppgaver eller elementer)
- Når? Hvis du ville brukerutfordringer og har skisser
- Uten brukere
- Formålet er å undersøke hvor godt designet støtter brukeren i oppgaveløsning
- Ekspertene følges gjennom designet steg for sted for å identifisere potensielle problemer.
- Hvilken påvirkning vil interaksjonen ha?
- Hvilken kognitive prosesser kreves fra brukeren?
- Hvilke læringsproblemer kan oppstå?
Think aloud
- Tilnærming: kontrollerte omgivelser.
- Når? Du mangler gode interaksjonsmuligheter og vil evaluere konsepter eller du gjør en brukbarhetstest.
Validering
Teste om det er det riktige systemet
- Måler jeg det jeg hevder å måle?
Verifisering
Teste om systemet er laget riktig
Bias
Resultater i en forskning er skjeve eller feilaktige. Resultatene i en undersøkelse blir påvirket av systematiske skjevheter eller feil i gjennomføringen av undersøkelsen.
- Oppstår ubevisst eller bevisst hos både deltaker og forsker.
Scope(omfang)
Kan funnene generaliseres utover utvalget?
Økologisk gyldighet
Hvorvidt omgivelsene i studien legger til rette for å kunne generalisere til de naturlige omgivelsene for fenomenet.
Reliabilitet
Graden av pålitelighet og konsistens i en undersøkelse. Om metoden gir omtrent samme resultater etter gjentatte målinger -> høy grad av reliabilitet
- kan resultatet reproduseres?
Memorerbarhet
Et brukbarhetsmål.
- Hvor lett det er å huske hvordan man bruker et produkt, når man først har lært det. Man bør ikke måtte lære seg hvordan man gjør en oppgave hver gang.
