Produkte oder Services testen: wie viele Tests machen Sinn?
Wir werden oft gefragt: „Wie viele Tests sollen wir durchführen, wenn wir neue Produkte oder Services einführen bzw. bestehende verbessern möchten?“ Unsere Antwort wird Sie verblüffen: viel weniger, als Sie vielleicht denken! Mit fünf Tests können Sie ca. 80% der Handhabungs-Probleme finden. Eine Goldene Regel in der User Experience.
Wahrnehmungen und Reaktionen einer Person, die aus der tatsächlichen und/oder der erwarteten Benutzung eines Produkts, eines Systems oder einer Dienstleistung resultieren. User Experience umfasst sämtliche Emotionen, Vorstellungen, Vorlieben, Wahrnehmungen, physiologischen und psychologischen Reaktionen, Verhaltensweisen und Leistungen, die sich vor, während und nach der Nutzung ergeben.
(nach ISO 9241)
Der „Usability-Papst“ Jakob Nielsen hat Erstaunliches erforscht: in zahlreichen Versuchen konnte er belegen, dass die Kurve in Bezug auf Test-User und dem Auffinden von Handhabungsproblemen steil nach oben ansteigt und dann auf hohem Niveau stagniert.
Das macht Lust aufs Testen! Natürlich hängen die Zahlen auch von der Komplexität der Produkte ab – und meistens testet man schrittweise neue Features oder Entwicklungsschritte in mehreren Testrunden – aber hey: Fünf ist eine machbare Zahl um die User Experience massiv zu verbessern. Worauf warten Sie noch?
Wenn Sie auf 100% erpicht sind, dann haben wir für Sie gerne noch eine detailliertere Tabelle. Laura Faulkner hat weiter geforscht und diese Ergebnisse veröffentlicht:
| Anzahl der Personen | minimal gefundene Probleme | durchschnittlich gefundene Probleme | Standardabweichung |
|---|---|---|---|
| 5 | 55 | 85,55 | 9,30 |
| 10 | 82 | 94,69 | 3,22 |
| 15 | 90 | 97,05 | 2,12 |
| 20 | 95 | 98,4 | 1,61 |
| 30 | 97 | 99,0 | 1,13 |
| 40 | 98 | 99,6 | 0,81 |
| 50 | 98 | 100 | 0 |
Ich wünsche Ihnen großen Erfolg beim Testen und viele inspirierende Einsichten von Ihren Kunden!
Wenn Sie mehr über Testmethoden erfahren möchten, dann melden Sie sich gleich bei uns! Der Kaffee wartet schon darauf, gemeinsam getrunken zu werden!
Quellen:
Jakob Nielsen (2000): Why you only need to test with 5 users
Laura Faulkner (2003): Beyond the five-user assumption: Benefits of increased sample sizes in usability testing
