Usability-Test: Completion Rate

Teil 2: Completion Rate als wichtiger Usability-Test Messwert

Completion Rate (Foto: Astronaut Ron Garan photo by NASA Goddard Photo and Video)

Die Completion Rate ist ein wichtiger Usability-Test Wert. Was dieser Wert aussagt und wie man die Completion Rate ermittelt beschreibt dieser Artikel.

Task Time

In Teil 1 dieser kleinen Usability-Test Reihe Usability-Test Task Time habe ich davon gesprochen, wie man sehr einfach erste wertvolle Werte aus Usability-Tests gewinnen kann: es ging um die sogenannte Task Time.

Die durchschnittliche Task Time gibt Auskunft über die Dauer einer Usability-Test Aufgabe. Gesammelte Task Times sind gute Orientierungspunkte und helfen das Usability-Test Ergebnis zu interpretieren. (…) Die Task Time gibt ganz einfach an, wie lange es gedauert hat, bis ein vorher definiertes Ergebnis einer Usability-Test Aufgabe erreicht worden ist.

Im zweiten Teil dieser Serie will ich einen weiteren wichtigen und extrem einfach zu ermittelnden Wert vorstellen: die Completion Rate.

Completion Rate

Die Completion Rate (auf Deutsch sowas wie Abschlussrate vielleicht) gibt Auskunft darüber, wie viele Usability-Test Aufgaben erfolgreich beendet werden konnten. Die Completion Rate ist ein wichtiger Usability-Test Wert der sehr einfach zu ermitteln und ebenso leicht zu kommunizieren ist.

Hat der Proband Aufgabe 1 ohne Hilfe erfolgreich durchführen können? Ja oder Nein? Hat der Proband Aufgabe 2 lösen können? Ja oder Nein? Wurde Aufgabe 3 erfolgreich gelöst? Ja oder Nein? Und so weiter. Einfache und klare Antworten die sich in Prozent umrechnen und auswerten lassen.

Wichtig ist, wie bereits in Teil 1 geschrieben wurde, eine gewisse Konsistenz in den eigenen Usability-Tests zu entwickeln. Wenn man feststellt, dass seit dem Redesign die Completion Rate von 40% auf 75% gestiegen ist, lassen sich die Ergebnisse nur sinnvoll vergleichen, wenn beiden Tests die selben Aufgaben zugrunde lagen. Man hätte also, als Beispiel, einen Usability-Test vor dem Redesign und einen Usability-Test nach dem Redesign gemacht (mit genau den selben Aufgaben aber unterschiedlichen Probanden) um dann die Completion Rates vergleichen zu können.

Completion Rates können zu jedem Zeitpunkt im Projekt gesammelt werden. Papier Prototypen können den Kollegen im Nachbarbüro vorgelegt werden und Clickdummies können in Usability-Tests geprüft werden. Nach jedem Test wird notiert, ob der Nutzer erfolgreich war und am Ende des Usability-Tests wird zusammengerechnet. Wichtig ist, sich im Vorfeld zu jeder Aufgabe zu überlegen, was man als erfolgreiches Ende pro Aufgabe definiert. Hat der Nutzer das Formular abgeschickt? Hat  er den Warenkorb gefunden? Hat der User ein bestimmtes Produkt gekauft? Und so weiter.

Completion Rate Berechnung

Wenn beispielsweise von sechs Aufgaben Proband 1 fünf Aufgaben erfolgreich beenden konnte, hat Proband 1 eine Completion Rate von 83,333 %. Proband 2 konnte tatsächlich alle Aufgaben lösen. Das ist einfach: eine Completion Rate von 100% für Proband 2 (und high five mit den Kollegen). Proband 3 tat sich schwer mit 2 Aufgaben und hat tatsächlich nur insgesamt 4 Aufgaben ohne Hilfe erfolgreich beenden können: Completion Rate von 66,666%. Die Probanden 4, 5 und 6 hatten Completion Rates von 83,333 %, 83,333 % und 66,666%. Wir erhalten also eine Gesamt Completion Rate (alle einzelnen Werte zusammengezählt) von 80,555%.

Jetzt will ich weder eine akademische Präzision vortäuschen noch Ergebnisse schön rechnen, daher schneide ich Nachkommastellen einfach ab (ich runde also immer nach unten ab). Wir erhalten also in diesem Beispiel eine Usability-Test Gesamt Completion Rate von 80%. Das ist ein einfacher Wert, der sich sehr leicht im Team und mit Stakeholdern, Entscheidern und sonstigen Beteiligten kommunizieren lässt.

Die durchschnittliche Completion Rate lässt sich auch pro Aufgabe angeben. Dann sieht man besser, welche Stellen den Nutzern im Test Schwierigkeiten machten und welche nicht.

Gute oder schlechte Completion Rate?

Hat man die Completion Rate nun ermittelt, kommt unweigerlich die Frage von irgend jemandem im Projekt ist das ein guter Wert oder nicht?

Das ist eine berechtigte Frage. Es kommt etwas auf den Kontext an. Unabhängig vom Wert ist es zum Beispiel interessant zu wissen, ob sich der Wert im Vergleich zu vorherigen Messungen verbessert oder verschlechter hat?

Was genau wurde im Usability-Test überprüft? Ein online Forum für Jugendliche oder Lebenserhaltende Software einer Krankenwagen-Komponente? Eine E-Commerce Plattform oder der multimediale Auftritt einer Künstlerin? Je nach Kontext kann ein Wert unter 100% auch noch sehr gut oder aber sehr gefährlich sein.

Im halbwegs unbedrohlichen Web-Kontext sagt man als Faustregel, alles oberhalb von 78% Completion Rate ist gut, alles darunter ist eher schlecht.

Also: ran an die Completion Rate… und wenn wir uns mal irgendwo sehen, dann erzählt mir mal Euere Erfahrungen damit. Würde mich freuen.

About Jan (501 Articles)
Informationsarchitekt und Konferenz-Veranstalter (IA Konferenz, die Konzepter-Konferenz: http://iakonferenz.org, MOBX Mobile UX Konferenz: http://mobxcon.com), Podcaster und Twitter Addict. Geboren in Prag, sesshaft in Berlin.

Leave a comment

Your email address will not be published.


*


css.php