Im Usability-Engineering ist das Hauptziel einer Evaluation, die Benutzbarkeit eines Produkts zu testen. Dies erfolgt am besten unter Anwendung einer Usability-Methode. Wir stellen Ihnen hier eine breite Auswahl an Usability-Methoden vor.

Durch die Anwendung der Methoden können Gesichtspunkte wie Effektivität, Effizienz und Zufriedenheit gemessen werden. So wird geprüft, ob das entwickelte System wirklich den Anforderungen der künftigen Nutzenden entspricht. Die Methoden können während des ganzen Prozesses iterativ angewendet werden. Klassifiziert werden die Methoden in expertenorientiert bzw. nutzerorientiert sowie summativ und formativ. Da in der Praxis die Methoden teilweise in unterschiedlichen Varianten für verschiedene Zwecke eingesetzt werden, ist es oft nicht möglich, klar zu trennen. Folgend werden die verschiedenen Evaluationsmöglichkeiten erklärt und jeweils passende Usability-Methoden vorgeschlagen. 

Im Rahmen eines Usability-Tests bearbeiten Testpersonen mit dem zu untersuchenden Produkt realistische Aufgaben, wobei sie von Usability-Expertinnen und -Experten beobachtet werden. Auf Basis der Äusserungen der Probanden, Beobachtungen der Testleitenden oder auch auf Grund von Messungen (z.B. Zeitdauer für die Aufgabenbearbeitung) können Probleme im Umgang mit dem System erkannt und Verbesserungsmöglichkeiten erarbeitet werden.

Entscheidend für den Nutzen der Untersuchung ist eine möglichst repräsentative Auswahl von Testpersonen. Zwar lassen sich bereits mit 4-6 Personen verlässliche  Ergebnisse erzielen, üblicherweise werden aber 8-12 Personen als Probanden herangezogen. 

Usability-Tests können in verschiedenen Varianten und mit unterschiedlichem technischen und finanziellen Aufwand durchgeführt werden. Interaktionen der Testpersonen werden mit Hilfe einer speziellen Software (z.B. Techsmith Morae) aufgezeichnet. Dabei werden z.B. Mausklicks aufgenommen oder die Mimik der Probanden per Webcam mitgeschnitten. Die Teilnehmenden werden zudem aufgefordert, gleichzeitig ihre Handlungen zu beschreiben (Methode des lauten Denkens). Das aufgezeichnete Video (oder Ausschnitte davon) kann nach dem Test gemeinsam mit den Probanden diskutiert werden (Post-Video-Session/Retrospektives lautes Denken). In der Praxis werden Usability-Tests häufig mit Interviews, Fragebögen oder einer Eyetracking-Analyse kombiniert.

Pro Person sollte die Testdauer nicht mehr als 1.5 Stunden betragen, da die Qualität der Ergebnisse sonst abnehmen kann. Aus diesem Grund gilt es vorher die Funktionen oder Tasks zu bestimmen, welche man mit dem Usability-Test untersuchen will.

Für die Durchführung solcher Tests ist die Ausarbeitung eines Ablaufplans erforderlich, der entsprechende Testaufgaben und Testszenarien beinhaltet. Weitere Arbeitsschritte umfassen die Rekrutierung von Testteilnehmenden, die Durchführung und Videoaufzeichnung der Tests, sowie die Auswertung der Videoaufzeichnungen und Notizen. Zudem ist ein Raum notwendig, in dem die Tests störungsfrei und unter immer gleichen Bedingungen für alle Teilnehmenden durchgeführt werden können (z.B. unser speziell auf solche Untersuchungen ausgelegtes Usability Lab).

Trotz des hohen Aufwands, stellen Produkttests mit Anwenderinnen und Anwendern nach wie vor das zentrale Element für die Durchführung von umfassenden Usability-Evaluationen dar. Der grosse Vorteil dieser Methode ist der unmittelbare Einblick in die Interaktion eines Anwenders mit einem Produkt und damit das einfache Erkennen realer Nutzungsprobleme. 

Weiterführende Literatur

• Greifeneder, E. (2012). Does it matter where we test? Online user studies in digital libraries in natural environments. Humboldt Universität Berlin, IBI: Dissertation.
• Symonds, E. (2011). A practical application of SurveyMonkey as a remote usability-testing tool, Library Hi Tech, Vol. 29 (3), S. 436-445. Verfügbar unter http://www.emeraldinsight.com/journals.htm?articleid=1949303.

Das Card-Sorting ist ein einfach anwendbares Verfahren, dass zur Beschreibung von Workflows oder auch zur Entwicklung von Navigationsmenüs genutzt werden kann. Dabei stehen die Erwartungen der Nutzenden an das User-Interface im Vordergrund.

Um festzustellen, wie die Benutzenden Information gruppieren würden, werden den Testpersonen beschriftete Karten präsentiert, welche sie aufgrund der wahrgenommenen Zusammenhänge in Gruppen einteilen sollen. Je nach Testdesign können die Anwenderinnen und Anwender Begriffe abändern oder neue Begriffe hinzufügen. Zusätzlich werden die Testpersonen dazu aufgefordert ihren Denkprozess laut zu artikulieren (Methode des lauten Denkens).

Zur Abbildung von Workflows bekommen die Testpersonen leere Kärtchen vorgelegt, welche sie mit ihren Aufgaben bzw. Tätigkeiten beschriften und entsprechend sortieren. Dabei muss es sich nicht um einen realen Ablauf handeln, es kann auch die Beschreibung eines idealen Arbeitsablaufes dargestellt werden. 

Durch Card-Sorting können Strukturen optimiert oder entwickelt werden, sodass sie dem kognitiven Modell der User entsprechen. Dadurch wird z.B. Information leichter auffindbar.

Card-Sorting wird optimalerweise mit ca. 10-12 Personen durchgeführt, um individuellen Vorlieben nicht zu viel Gewicht zu geben. Die Einzelergebnisse werden abschliessend konsolidiert.

Weiterführende Literatur

• Kempken, A. und Heinsen, S. (2003). Usability für mobile Anwendungen. In: Heinsen, S. und Vogt, P. (Hrsg.). Usability praktisch umsetzen, S. 250-267. München: Hanser.
• Manhartsberger, M. und Musil, S. (2002). Web Usability – Das Prinzip des Vertrauens. Bonn: Galileo Press.
• Schilb, S. (2005). Card Sorting – Techniken im Überblick. i-com: Vol. 4, Issue 1, S. 49-50.

Mit Hilfe klassischer Datenerhebungsverfahren können Benutzerschnittstellen detailliert untersucht werden. Dennoch bleiben im Rahmen solcher Evaluationen mitunter Fragen offen. So kann mit Hilfe von Beobachtungen oder Befragungen nicht beantwortet werden, warum User in einem bestimmten Dialog verharren - wurden bestimmte Funktionen/Elemente nicht wahrgenommen oder war deren Funktion unklar? Um dem entgegenzuwirken, kann Eyetracking als zusätzliches Evaluationsverfahren beigezogen werden. 

Dabei werden die Blickbewegungen von Nutzenden analysiert. Die dazu verwendeten Geräte senden Infrarotstrahlen aus, welche vom Auge reflektiert werden. Diese Reflexionen werden mit einer Kamera aufgezeichnet. Eine Software berechnet anschliessend ausgehend vom Pupillenmittelpunkt die Position der Reflexion und der daraus resultierenden Blickposition. Diese Daten können als Heatmap ausgegeben werden. Dabei sind Fixationen der Augen als farbige Flächen dargestellt. 

Mit dieser Technik können unterschiedliche Objekte wie Plakate, Videos oder User-Interfaces analysiert werden. Folgende Fragen lassen sich dadurch beantworten:

• Wo schauen die Nutzenden zuerst hin?
• Werden wichtige Bereiche des Produkts schnell erkannt?
• Welche Elemente werden wahrgenommen, welche komplett übersehen?

Eyetracking ist eine wertvolle Ergänzung zu anderen Evaluationsmethoden. Es unterstützt die Analyse verschiedener Schnittstellen-Designs. Eyetracking zeigt prägnant auf, wo die Aufmerksamkeit der Nutzenden liegt und bietet damit eine umfassende Protokollierung der visuellen Wahrnehmung von User-Interfaces.

Weiterführende Literatur

• Maier, M. & Jenke, M. (2018). What does the eye want? An investigation of interface parameters to ensure intuitive gaze-controlled interactions for multidimensional inputs. In advances in intelligent systems and computing (2018, S. 3-14). Cham: Springer.
• Holmqvist, K. & Andersson, R. (2017). Eye Tracking: a comprehensive guide to methods, paradigms and measures. Lund, Schweden: Lund Eye-Tracking Research Institute.
• Bergstrom, J. R. & Schall, A. J. (2014). Eye Tracking in User Experience Design. USA: Elsevier Science & Technology.

Die heuristische Evaluation ist eine Usability-Methode zum Überprüfen, ob das User-Interface eines Produktes konform zu bestimmten anerkannten Prinzipien des Usability-Engineerings ist. Diese Prinzipien werden als Heuristiken bezeichnet. Dabei handelt es sich um Richtlinien für die anwenderfreundliche Gestaltung von Benutzerschnittstellen. Diese basieren auf Resultaten aus einer Vielzahl von Studien, welche von Experten und Expertinnen durchgeführt worden sind.

In einem ersten Durchgang verschaffen sich die Evaluatoren zunächst einen Überblick über das zu untersuchende Produkt, im zweiten Durchgang liegt der Fokus auf speziellen Interaktionselementen. Während beiden Durchgängen werden die Eigenschaften des Produktes mit entsprechenden Heuristiken verglichen. Die Evaluatoren untersuchen das Produkt zunächst alleine, anschliessend im Team. Dabei protokollieren sie sämtliche Verstösse gegen geltenden Heuristiken. Die meisten Heuristiken sind eher allgemein formuliert. Heuristische Evaluationen untersuchen unter anderem die Sichtbarkeit vom Systemstatus oder die Konsistenz der Benutzeroberfläche.

Eine Heuristische Evaluation ist einfach und schnell durchzuführen. Schon mit wenigen Experten und Expertinnen können in kurzer Zeit Usability-Probleme eines Produktes ermittelt werden. Daher bietet sich eine Heuristische Evaluation vor allem während früher Stadien der Produktentwicklung an.

• Heuer, J. (2003). Expertenevaluation. In: Heinsen, S. und Vogt, P. (Hrsg.). Usability praktisch umsetzen, S. 116-135. München: Hanser.
• Nielsen, J. (1997). Heuristic Evaluation. In: Nielsen, J. und Mack, R. (Hrsg.). Usability Inspection Methods, S. 25-62. New York: Wiley & Sons.
• Schweibenz, W. und Thissen, F. (2003). Qualität im Web – Benutzerfreundliche Webseiten durch Usability Evaluation. Berlin: Springer.

Eine weitere Usability-Methode ist das Walkthrough-Verfahren, wobei die Erlernbarkeit eines Produktes im Fokus steht. Es werden typische Handlungsabläufe festgelegt, die im Rahmen der Evaluation untersucht werden sollen. Die Teilnehmenden spielen diese in chronologischer Reihenfolge durch. Es gibt mehrere Walkthrough-Varianten: Cognitive Walkthrough, Pluralistic Usability-Walkthrough und Jogthrough.

Cognitive Walkthrough:

Ein Cognitive Walkthrough gliedert sich in zwei Phasen: Vorbereitungsphase und Analysephase. In der Vorbereitungsphase werden detaillierte Information zu den System-Usern gesammelt und die zu analysierenden Aufgaben ausgewählt. Zudem wird die genaue Handlungsabfolge festgelegt, welche Voraussetzung für die korrekte Bewältigung der Aufgaben ist. Die Experten und Expertinnen führen die erarbeiteten Handlungsschritte mit Hilfe von Papierskizzen, Screenshots oder einem Prototypen durch.

Zielführend sind folgende Leitfragen: 

• Ist der Zweck der Aufgabe verständlich?
• Ist die Funktion für die Erfüllung der Aufgabe sichtbar / erkennbar?
• Ist die Funktion verständlich und wird sie mit der Aufgabe in Zusammenhang gebracht?
• Erhält der User eine sinnvolle und verständliche Rückmeldung nach Ausführung der Funktion?

Pluralistic Usability-Walkthrough:

Im Gegensatz zur Usability-Methode Cognitive Walkthrough, wird in dieser Variante der Durchlauf in einem Team mit einem repräsentativen End-User evaluiert. Zum Team gehören auch ein Entwickler/eine Entwicklerin und ein Usability-Experte/eine Usability-Expertin. Der End-User hat die Aufgabe, das zu evaluierende Produkt aus seiner Perspektive zu bewerten. Die Perspektive des End-Users soll möglichst genau verstanden und nachvollzogen werden. Dabei nehmen die Entwickler Kommentare und Anmerkungen auf und setzen sie in der Gestaltungsoptimierungen um.

Jogthrough:

Beim Jogthrough handelt es sich um eine weniger zeitaufwendige Variante des Cognitive Walkthroughs. Grund dafür ist, dass das Protokollieren durch Videodokumentation und Protokollsoftware vereinfacht wird. Außerdem wird der vorgegebene Aktionsablauf weniger streng gehandhabt, was Diskussionen während der Evaluation ermöglicht.

Weiterführende Literatur

• Mack, R. and Nielsen, J. 1993. Usability inspection methods: report on a workshop held at CHI'92, Monterey, CA, May 3–4, 1992. SIGCHI Bull. 25, 1 (Jan. 1993), 28-33. 
• Randolph G. Bias. 1994. The pluralistic usability walkthrough: coordinated empathies. In Usability inspection methods, Jakob Nielsen and Robert L. Mack (Eds.). John Wiley \& Sons, Inc., New York, NY, USA 63-76.
• Rowley, E. & Rhoades, D.G. (1992). The Cognitive Jogthrough: A Fast-Paced User Interface Evaluation Procedure. Proceedings of the SIGCHI Conference on human factors in computing systems, (Monterey, Cal, May 3-7). ACM, New York, 1992, S. 389-395.

Bei der Usability-Methode Focus Group handelt es sich um strukturierte Diskussionen zu vorgegebenen Themen, die von einer geschulten Moderation geleitet werden. Die Gruppenteilnehmenden sollten dabei ähnliche demographische Merkmale aufweisen und eine spezifische Zielgruppe repräsentieren. Ein typisches Fokusgruppen-Interview wird mit sechs bis zwölf Teilnehmenden durchgeführt und dauert etwa zwei Stunden. Die Teilnehmenden sollen potentielle Benutzende des zu untersuchenden Produktes sein. 

Gruppenmitglieder können in der Regel frei miteinander reden und interagieren. So werden Fragen nicht an einzelne Personen, sondern an die Gruppe gestellt. Es gilt, die Meinungen, Überzeugungen und Ansichten der Teilnehmenden zu klären und zu untersuchen. Hauptzweck der Durchführung einer Focus Group ist es, die Reaktionen der Teilnehmenden zu beobachten.

Zur späteren Auswertung der Daten werden Video- und Audioaufzeichnungen angefertigt, welche entweder selektiv oder vollständig transkribiert werden. Ein derartiges Transkript enthält die Äusserungen der Teilnehmenden in chronologischer Reihenfolge, ohne interpretative Anreicherungen. Fokusgruppen sind somit eine schnelle und einfache Art, qualitative Daten von mehreren Teilnehmenden zu erhalten. 

• Dalton, P. & McNicol, S. (2020). A practical guide to focus groups: research and evaluation guides. Raleigh, USA: lulu.com

Interviews und Umfragen können in verschiedenen Phasen des Produktentwicklungsprozesses eingesetzt werden. Sie eignen sich einerseits in frühen Stadien der Produktentwicklung zur Erstellung von Anforderungsdefinitionen. Andererseits können Befragungen auch genutzt werden, um Einschätzungen von Anwenderinnen und Anwendern bezüglich der Qualität bereits existierender Produkte zu erhalten.

Demgegenüber läuft eine schriftliche Befragung (z.B. mittels einer Online-Umfrage) strukturierter ab. Diese Form der Befragung eignet sich daher insbesondere wenn quantitative Daten erhoben werden, welche statistisch signifikante Aussagen bezüglich der definierten Untersuchungsziele ermöglichen sollen. Generell ist bei Umfragen auf eine ausreichend grosse Teilnehmerzahl zu achten, denn nur auf diese Weise lassen sich repräsentative Ergebnisse erzielen. Man unterscheidet hierbei zwischen offenen (jeder kann teilnehmen) und geschlossenen Umfragen. Die Konzeption eines geeigneten Fragebogens ist besonders wichtig, da auf die Formulierung der Fragen, deren Reihenfolge, sowie das Antwortformat geachtet werden muss.

Fragebögen lassen sich nach dem Grad ihrer Standardisierung unterscheiden. Bei vollstandardisierten Fragebögen sind die Formulierung, die Reihenfolge sowie das Antwortformat (vordefinierte Skalen, z.B. --, -, 0, +, ++) festgelegt. Von teilstandardisierten Fragebögen spricht man dagegen, wenn die Antwortformate (auch) die Möglichkeit enthalten, Antworten frei zu formulieren.

Fragebögen werden oft zur Anforderungsanalyse, aber auch im Anschluss an Usability-Tests eingesetzt, um ein Gesamturteil zu einem Produkt zu bekommen.

Wichtige Fragebögen im Zusammenhang mit Usability-Evaluation sind:

• ISONorm 110
• ISOMetrics
• AttrakDiff
• User-Experience Questionnaire
• QUIS
• SUMI

Weiterführende Literatur

• Kontio, J., Lehtola, L. und Bragge, J. (2004). Using the Focus Group Method in Software Engineering: Obtaining Practitioner and User Experiences. In Proceedings of the 2004 International Symposium on Empirical Software Engineering (ISESE '04). IEEE Computer Society, Washington, DC, USA, 271-280.
• Krueger R. A., Casey, M. A.(2008). Focus Groups: A Practical Guide for Applied Research, Sage.
• Holtzblatt, K., und Jones, S. (1993). Contextual Inquiry: A Participatory Technique for System Design.' in Schuler, D., and Namioka, A. (eds.) Participatory Design: Principles and Practice. Lawrence Earlbaum, Hillsdale, NJ. S. 180-193.

Bei Contextual Inquiry handelt es sich um eine strukturierte Feldbefragung, die auf dem Prinzip einer gemeinschaftlichen Produktentwicklung durch Designer/Designerinnen, Programmierende und Anwendende beruht. Dabei kommen herkömmliche journalistische Befragungstechniken zum Einsatz.

Contextual Inquiry dient der Sammlung von Information, welche für die Anforderungsdefinition genutzt werden kann. Hierfür wird eine Mischung aus Interview und Beobachtung verwendet, wobei entscheidend ist, dass die Untersuchung im realen Arbeitsumfeld der Testperson(en) stattfindet. Ziel ist es Information über die Motivation der Anwendenden, ihrer Aufgaben und ihres Arbeitsumfeldes zu gewinnen, und diese in einem präzisen Modell zusammenzufassen.

Weiterführende Literatur

• Richter, M. & Flückiger, M. D. (2013). Usability Engineering kompakt – Benutzbare Software gezielt entwickeln. 3. Auflage. Berlin: Springer Verlag

Als Fragebogen eignet sich AttrakDiff im Anschluss an andere Testverfahren. Das Verfahren kann auch unabhängig von anderen Tests einzeln eingesetzt werden. Dabei sollte darauf geachtet werden, dass Testpersonen ausreichend Einblick in das Produkt erhalten, um es bewerten zu können. Da sowohl Navigationselemente als auch gestalterische Aspekte zentralen Einfluss auf die Attraktivität eines Produktes haben, sollte der Fragebogen vorzugsweise erst in den späteren Phasen der Produktentwicklung eingesetzt werden.

Weiterführende Literatur

• Hassenzahl, M., Burmester, M. und Koller, F. (2008): Der User Experience auf der Spur: Zum Einsatz von www.attrakdiff.de. In: Brau, H. et al. (Hrsg.), Usability Professionals 08, German Chapter der Usability Professionals' Association. (S. 78–82). Stuttgart: Fraunhofer IRB Verlag.

Unter Kriterienkatalogen versteht man Checklisten, anhand derer man während des gesamten Entwicklungsprozesses überprüfen kann, inwieweit die anvisierten Ziele verfolgt bzw. die als relevant erachteten Richtlinien umgesetzt wurden. Die Grundlage für einen Kriterienkatalog können verschiedene Normen und Richtlinien, gesetzliche Anforderungen, statistische Werte oder auch Rahmenbedingungen eines Projektes sein.

Es werden Kriterien ausgewählt, welche für das Produkt relevant sind und unzutreffende Aspekte ausgeschlossen. Anforderungen werden gewichtet und der Grad, der bestimmt wann ein Kriterium erfüllt ist, wird definiert. Der Vorteil von Kriterienkatalogen bzw. Checklisten gegenüber herkömmlichen Normen und Guidelines ist, dass sie präziser formuliert und einfacher zu handhaben sind. 

Weiterführende Literatur

• Ravden, S. und Johnson, G. (1989). Evaluating Usability of Human-Computer Interfaces: a Practical Method. Halsted Press, New York, NY, USA.
• Weiermann, T. (2007). Evaluation der Usability von Websites mittels Kriterienkatalogen (German Edition), GRIN Verlag.

Bei dieser Usability-Methode werden Stereotypen von zukünftigen Nutzern und Nutzerinnen erstellt. Den Personas werden Namen, oftmals auch ein Bild und bestimmte Eigenschaften zugeordnet. Allgemein formulierte Präferenzen vermeiden einen zu detaillierten Fokus auf individuelle Eigenschaften. Personas sind ein zeit- und kostengünstiges Werkzeug.

Ziel ist es, in die Rollen der Personas zu schlüpfen, um aus der jeweiligen Perspektive das System und dessen Use-Cases zu untersuchen. Das Projektteam kann dann gezielt auf die Bedürfnisse der einzelnen Nutzergruppen eingehen. 

Personas basieren üblicherweise auf Nutzerdaten. Deswegen wird vor der Umsetzung der Methode eine Datenerhebung durchgeführt. Es empfiehlt sich, Personas iterativ zu entwickeln. Übermässige Redundanzen zwischen den Personas sollten vermieden werden, dafür sollte sichergestellt werden, dass jeder im Projektteam die Personas kennt und weiss welche Persona für welche Zielgruppe steht. 4-6 Personas sind meistens ausreichend.

Weiterführende Literatur

• Blomkvist, S. (2007). Persona, an overview. (Extract from the paper “The User as a Personality. Using Personas as a tool for design”) Uppsala University, Dept of IT-HCI.
• Chang,Y., Lim, Y., and Stolterman, E. (2008). Personas: from theory to practices. In Proceedings of the 5th Nordic conference on Human-computer interaction: building bridges (NordiCHI '08). ACM, New York, NY, USA, S. 439-442.
• Miaskiewicz, Tomasz, und Kenneth A. Kozar. „Personas and User-Centered Design: How Can Personas Benefit Product Design Processes?“ Design Studies 32, Nr. 5 (September 2011): 417–30. https://doi.org/10.1016/j.destud.2011.03.003.

Ein Remote Usability-Test unterscheidet sich von anderen Usability-Tests insofern, dass Testleitung und Testteilnehmende räumlich oder zeitlich voneinander unabhängig sind. Die Aufgaben werden mittels Online-Tool bereitgestellt. Damit werden auch die Interaktionen der Teilnehmenden protokolliert. Man unterscheidet zwischen zwei Arten von Online-Tests. Bei einem asynchronen Test führen Teilnehmende den Test mit der Software selbständig durch und sind zeitlich vom Testleitenden unabhängig. Bei einem synchronen Test sind sowohl Testleitung als auch Teilnehmende gleichzeitig online und lediglich räumlich voneinander getrennt. 

Diese Methode bietet sich beispielsweise im bibliothekarischen Bereich an, um neue Websites oder neu gestaltete Features zu testen.

Da die Tools weder teuer noch schwer zu benutzen sind, und darüber hinaus eine Reihe von Auswertungen automatisiert ausgeführt werden können, stellen Remote-Tests eine sinnvolle Ergänzung zu klassischen Tests im Labor dar. Allerdings können mit solchen Tests mitunter nicht so viele qualitative Daten wie bei Labor-Tests gesammelt werden, da bspw. bei solchen Tests kein Lautes Denken mit einer entsprechenden Audioaufzeichnung durchgeführt wird.

Der Testleiter/die Testleiterin macht sich mit dem zu untersuchenden Objekt vertraut und kreiert den Testablauf, inklusive Aufgaben und demographischer Fragen. Nachdem diese in das ausgewählte Tool eingegeben sind und Pretests durchgeführt wurden, können Testpersonen eingeladen werden. Testpersonen sollten möglichst der Zielgruppe des zu evaluierenden Produkts entsprechend rekrutiert werden.

Wie bei einem anderen Usability-Tests werden auch hier die Probleme kategorisiert und priorisiert. Anschliessend werden die Ergebnisse mittels eines Berichts dokumentiert. 

Weiterführende Literatur

• Greifeneder, E. (2012). Does it matter where we test? Online user studies in digital libraries in natural environments. Humboldt Universität Berlin, IBI: Dissertation.
• Symonds, E. (2011). A practical application of SurveyMonkey as a remote usability-testing tool, Library Hi Tech, Vol. 29 (3), S. 436-445. Verfügbar unter http://www.emeraldinsight.com/journals.htm?articleid=1949303.

Der ISOMetrics-Fragebogen wurde ursprünglich 1996 von Willumeit, Gediga & Hamborg an der Universität Osnabrück als Werkzeug zur Evaluation von Software-Produkten gemäss der Norm DIN EN ISO 9241 Teil 10 (heute Teil 110) entwickelt.

Mittels ISOMetrics-Fragebogen können grundlegende Fehler im Dialogdesign aufgedeckt werden. Es empfiehlt sich die Langversion erst im Rahmen finaler Tests einzusetzen, da die Auswertung zeitintensiver ist als bei der Kurzversion. Setzt man den Fragebogen ISOMetrics in Kombination mit Usability-Tests oder anderen Evaluationsmethoden ein, so genügt es die Kurzversion des Fragebogens zu verwenden.

ISOMetrics kurz

Die Usability-Methode ISOMetrics-Fragebogen (kurz) eignet sich eher für die summative Evaluation. Für eine formative Evaluation sollte die Langversion des Fragebogens herangezogen werden. Mittels des ISOMetrics-Fragebogens können grundlegende Fehler hinsichtlich der Dialoggestaltung aufgedeckt werden.

Da der ISOMetrics-Fragebogen ebenso wie die ISO-Norm 9241-110 nicht ausschliesslich auf den Einsatz bei Websites ausgelegt ist, empfiehlt sich folgender Testablauf: 

1. Selektion der zutreffenden Fragen des Standardfragebogens und ggf. Ableitung eigener, zusätzlicher Fragen
2. Zusammenfassen zu einem Fragebogen
3. Erkunden der Website (explorativ oder anhand von gezielten Aufgaben)
4. Bewertung anhand des Fragebogens
5. Auswerten der Ergebnisse

ISOMetrics lang

Dieses Verfahren kann sowohl für die summative als auch für die formative Evaluation einer Software eingesetzt werden. In der Langversion werden zusätzlich zu jeder Frage Kommentare abgegeben.

Da der ISOMetrics-Fragebogen ebenso wie die ISO-Norm 9241-110 nicht ausschliesslich auf den Einsatz für Websites ausgelegt ist, empfiehlt sich folgender Testablauf: 

1. Selektion der zutreffenden Fragen des Standardfragebogens und ggf. Ableitung eigener, zusätzlicher Fragen
2. Zusammenfassen zu einem Fragebogen
3. Erkunden der Website (explorativ oder anhand von gezielten Aufgaben)
4. Bewertung anhand des Fragebogens
5. Auswerten der Ergebnisse und Kommentare (aufgrund der Kommentarfelder ist die Auswertung zeitlich umfangreicher als bei der Kurzversion)

Im Rahmen einer Best Practice-Analyse wird durch die Untersuchung der Produkte von der Konkurrenz bzw. von Websites mit ähnlichem Fokus versucht, Anregungen für das eigene Produkt zu erhalten und Varianten für eine möglichst optimale Umsetzung / Gestaltung zu ermitteln. Mittels einer Best Practice-Analyse lassen sich Rückschlüsse auf die Qualität und die Marktpositionierung der eigenen Produkte ziehen. Daraus können wichtige Erkenntnisse für mögliche Produktoptimierungen gewonnen werden.

Weiterführende Literatur

• Gualtieri, Mike. „Best Practices In User Experience (UX) Design“, 2009, 19.item

Bei der Claims Analysis werden Vor- und Nachteile bestimmter Produktmerkmale oder Designelemente erfasst. Dabei liegt der Fokus auf der Interaktion der Anwendenden mit dem Produkt.

Weiterführende Literatur

• Andrews, Mark. „Claims Analysis: Law, Logic, and Risk“. SSRN Electronic Journal, 2001. https://doi.org/10.2139/ssrn.287796.item

Weiterführende Literatur Usability Methoden

• Flückiger, M. & Richter, M. (2016). Usability und UX kompakt. Berlin: Springer-Verlag GmbH.
• Brau, H. & Sardonick, F. (2016). Methoden der Usability Evaluation - wissenschaftliche Grundlagen und praktische Anwendungen. Bern: Hogrefe Verlag.