Usability-Test: Fehler

Teil 3: Fehler als wichtiger Usability-Test Messwert

Usability-Test Fehler (Bild: Karl-Ludwig Poggemann via Flickr)

In dieser kleinen Beitragsreihe, habe ich bereits von zwei sehr wichtigen Usability-Test Metriken gesprochen: in Teil 1 war es die Task Time und in Teil 2 war es die Completion Rate. In Teil 3 will ich einen eigentlich offensichtlichen Messwert ansprechen: Fehler.

Bewusst Fehler notieren

Usability-Tests und Fehler gehören zusammen wie Pech und Schwefel. In diesem Artikel sind nicht Fehler bei der Vorbereitung, Moderation oder Auswertung von Usability-Tests gemeint (siehe hierzu beispielsweise Aufgaben im Usability-Test). Es geht um Fehler welche Nutzer (also Probanden) beim Abarbeiten der ihnen gestellten Usability-Test Aufgaben machen.

Zunächst muss zwischen Fehlern und Ausrutschern unterschieden werden:

Mistakes are errors in choosing an objective or specifying a method of achieving it whereas slips are errors in carrying out an intended method for reaching an objective (Human error: slips and mistakes).

Fehler passieren also aufgrund einer falschen Absicht, wohingegen Ausrutscher eine gute Absicht voraussetzen und auf einer eher schlechten Durchführung beruhen.

Ausrutscher sind meistens nicht der Rede wert. Menschen sind nunmal nicht perfekt und kleine Ausrutscher passieren schon mal. Man vertippt sich oder verklickt sich (trotz guter Absicht) und so weiter. Wenn sich eine gewisse Häufung von Ausrutschern bei unterschiedlichen Probanden über den Ablauf eines Usability-Tests beobachten lässt, sollte man sich allerdings schon fragen wie das User Interface Nutzer deutlicher unterstützen könnte.

Fehler hingegen müssen immer notiert werden. Hat der Proband bewusst auf das falsche Element geklickt? Hat der Proband ein Formular nicht abgeschickt oder bei der Dateneingabe etwas falsch gemacht?

Derjenige (oder Diejenigen) der einen Usability-Test dokumentiert (also nicht der Moderator) sollte jeden Fehler kurz notieren. Möglichst immer wieder, also auch wiederkehrende Fehler. Das hilft bei der späteren Usability-Test Auswertung Fehler zu gewichten.

Nach dem Usability-Test lassen sich Fehler addieren. Man kann entweder jeden einzelnen Fehler zählen (ein Proband kann mehrere Fehler pro Aufgabe machen) oder Fehler als mindestens einen Fehler zählen. Meiner Meinung lässt sich Letzteres in der Praxis leichter handhaben. Probanden die sich (unter uns gesagt) besonders doof anstellen und bei einer Aufgabe 10 Fehler machen (gerne auch immer wieder denselben), schlagen dennoch nur mit einem Fehler für besagte Aufgabe zu Buche. Das führt dazu, dass ein einziger besonders unsicherer Proband nicht das gesamte Testergebnis so aussähen lässt, als wäre wirklich alles schief gegangen (während die anderen Probanden eigentlich gut mit ihren Aufgaben zurecht kamen).

Dennoch sollte man die Fehlerhäufigkeit im Auge behalten. Ebenfalls zu beurteilen ist der Schweregrad eines Fehlers. Ist er, na ja, gering oder wirklich kritisch (oder etwas dazwischen)? Beim definieren von Schweregraden sollte man sich im Team Rat holen oder, noch besser, im Team ein einheitliches Verständnis etablieren.

Usability Fehler melden

Ein letzter aber wichtiger Punkt ist das Melden von Fehlern im Usability-Test. Diese Dokumentationen und Berichte sind wichtig. Sie sind es ja schließlich, warum man den Usability-Test überhaupt erst gemacht hat. Als verantwortlicher Usability-Experte muss man aber darauf achten, nicht nur negative Nachrichten in die Projekt- oder Feature Teams zu tragen.

Dokumentierte Usability-Probleme sollten immer von Empfehlungen begleitet werden. Ebenso sollte man auch nicht mit positiven Usability-Test Ergebnissen hintern Berg halten. Das motiviert das Team und rückt den Usability Berater auch mal in positives Licht—und das schadet nun wirklich nicht.

About Jan (501 Articles)
Informationsarchitekt und Konferenz-Veranstalter (IA Konferenz, die Konzepter-Konferenz: http://iakonferenz.org, MOBX Mobile UX Konferenz: http://mobxcon.com), Podcaster und Twitter Addict. Geboren in Prag, sesshaft in Berlin.

Leave a comment

Your email address will not be published.


*


css.php