SUS, UEQ, … – Nutzlose Werkzeuge oder hilfreiche Indikatoren

Wozu eigentlich diese Usability- und UX-Fragebögen ausserhalb der akademischen Welt? Wenn wir im Usability-Test sitzen, können wir doch alles sehen, nachfragen, Intentionen ergründen, Erwartungen challengen und das «echte» Nutzerproblem eingrenzen. Warum also noch mit Befragungen hantieren, die «nur» eine Zahl liefern und keine Hintergrundinformationen? Und gibt es Gelegenheiten, in denen uns die Fragebögen auch sonst weiterhelfen?

Halten wir die Spannung hoch und schauen uns mal unsere Fragebogen-Favoriten an: SUS, UEQ, Attrakdiff2 und UTAUT2. Die eine oder andere Abkürzung ist uns in der Praxis geläufiger. Aber alle 4 bringen unterschiedliche Perspektiven in eine Untersuchung der Usability oder UX.

System Usability Scale – SUS

Die System Usability Scale (SUS) hat in der Praxis zwei grosse Vorteile: Es gibt nur 10 Fragen, die halbwegs natursprachlich sind und das Ergebnis ist leicht lesbar. Ein System erhält dabei eine Punktzahl zwischen 0 und 100, während 100 das beste Ergebnis ist. Darüber hinaus gibt es jede Menge Industriebenchmarks gegen die man sein eigenes System oder seine Website vergleichen kann. Wichtig, weil es oft nicht beachtet wird, der Fragebogen verhebt nur, wenn alle Fragen gestellt werden. Die Autoren des Fragebogens selbst nannten ihn «quick and dirty usability scale» – und so ist er auch: Eine Zahl, ein Benchmarkvergleich, und robust (das ist ein hohes Gut in der Statistik).

Vorteile:

  • Nur 10 Fragen
  • Klares Zahlenergebnis x von 100 Punkten, mit > 80 Punkten ist eine Website bereits über dem Durchschnitt;
  • Zum Benchmarking geeignet, Industriedurchschnitte publiziert
  • Robust (also recht flexibel, was die Einhaltung der Voraussetzungen betrifft)

Nachteile:

  • Einige Fragen fühlen sich redundant an, obwohl sie es nicht sind
  • Misst nur Usability (und Learnability)
  • Keine genauen Hinweise zu Schwächen
  • Weil Ankreuztendenzen vorgebeugt werden soll, sind Fragen mal positiv, mal negativ formuliert. Zu schnelle Personen kreuzen deshalb falsch an (hier muss jeweils immer durch Testleiter hingewiesen werden)

User Experience Questionnaire – UEQ

Der UEQ, User Experience Questionnaire, befragt neben der Usability auch weitere emotionale Themen und kann demzufolge auch Schwierigkeiten über die reine Einfachheit der Interaktion hinaus aufdecken. Schön für eine Befragung ist es, dass man hier Kreuzchen zwischen Adjektivpaaren setzt nach dem Motto: Ist das System eher unverständlich oder verständlich? Das ist sehr einfach zu verstehen und geht recht schnell, auch wenn es insgesamt 26 solche Adjektivpaare sind. Der UEQ fragt aber damit mehr als ein Konstrukt ab und kann gekürzt werden. Die «Konstrukte» sind Attraktivität, Durchschaubarkeit, Effizienz, Steuerbarkeit, Stimulation und Originalität. So kann man sich schliesslich entscheiden, z.B. Attraktivität nicht zu befragen und die entsprechenden Adjektivpaare aus dem Fragebogen zu entfernen. Dann wird’s allerdings mit dem Benchmark schwierig.

Vorteile:

  • Leicht verständliche Adjektivpaare, leicht auszufüllen
  • Nicht nur Usability sondern auch User Experience
  • Im Gesamten zum Benchmarking geeignet
  • einfache Auswertung & Interpretation

Nachteile:

  • Einige Adjektive ungewöhnlich (z.B. pragmatisch)
  • Interpretation der Ergebnisse ist bei zu kleinen Stichproben mit Vorsicht vorzunehmen, wer das statistische Know-how nicht hat, achte daher auf ausreichende Stichproben
  • Publizierte Benchmarkzahlen sind Sammelzahlen (zumeist aus webbasierten Applikationen), d.h. man benötigt idealerweise eigene Benchmarks
  • Weil Ankreuztendenzen vorgebeugt werden soll, kreuzen auch hier zu schnelle Personen falsch an (hier muss jeweils immer durch Testleiter hingewiesen werden)

Attrakdiff2

Nach einem ähnlichen Prinzip funktioniert der Attrakdiff2. Auch hier dürfen Adjektivpaare unterschieden werden und es wird in Konstrukten abgefragt. Sehr hübsch an den Konstrukten ist die Aufteilung der hedonischen Qualität (also die emotionalen Aspekte) in Stimulation (was letztlich Nutzungsfreude ist) und Identität. Letzteres ist in Zeiten der konsequenten Vernetzung von Corporate Content mit Community Content (über Social Media) ein interessanter Wert. Kann ich über die Nutzung des Systems meine gewünschte Identität kommunizieren? Dieser Fragebogen wie auch schon der UEQ lässt also die gesamte User Experience befragen und so nicht nur den Hygienefaktor Usability sondern auch, ob das System möglicherweise besonders oder eben entbehrlich ist. Insbesondere bei Vorher-Nachher-Vergleichen oder Variantenvergleichen ist der Fragebogen gut zu verwenden.

Vorteile:

  • Nicht nur Usability sondern auch User Experience
  • Differenzierte Betrachtung der emotionalen Komponenten des Erlebnisses
  • Ab mind. 10 Befragten auch zu Varianten- oder Vorher-Nachher-Vergleichen geeignet
  • Leicht auszufüllen (Adjektivpaare)
  • Klassifizierung, ob begehrt oder nicht, ist auch ohne Benchmark möglich

Nachteile:

  • Mehr ungewöhnliche Adjektive als beim UEQ (z.B. isolierend, ausgrenzend, … )
  • Interpretation der Ergebnisse bei zu kleinen Stichproben mit Vorsicht
  • Publizierte Benchmarkzahlen sind Sammelzahlen, man benötigt idealerweise eigene Benchmarks
  • Weil Ankreuztendenzen vorgebeugt werden soll, kreuzen zu schnelle Personen falsch an (hier muss jeweils immer durch Testleiter hingewiesen werden)

UTAUT2

Der UTAUT2 ist schon fast eine heilige Kuh. Aus dem Denkhaus für Technologieakzeptanz (Technology Acceptance Model) hat das Instrument eine lange Forschungsarbeit hinter sich, was denn die Nutzung eines Systems beeinflusst. Wir erhalten hieraus also nicht nur eine Zahl zu Erlebnis oder Einfachheit der Anwendung, sondern auch zur Nutzungsabsicht durch die Befragten. Somit lässt sich im besten Fall sogar der Charakter der Applikation herausfinden, ob also zum Beispiel eher der erwartete Nutzen oder der erwartete Aufwand die Nutzung beeinflussen.

Vorteile:

  • umfassende Befragung der relevanten Einflüsse auf das Nutzungsverhalten
  • Wirkmechanismen der einzelnen Einflüsse für die Nutzung der konkreten Applikation lassen sich untersuchen
  • Nutzungsverweigerer lassen sich Nutzern gut gegenüberstellen
  • Resultate können den Persona-Definitionen helfen

Nachteile:

  • Komplexere Auswertung (es steht kein Werkzeug wie bei oben genannten Fragebögen zur Verfügung)
  • Stichprobenumfang über den Daumen bei 30, wenn man Gruppen vergleichen möchte
  • weitestgehend (auch bei UX Experten) unbekannt
  • Kompliziertere, recht viele Fragestellungen
  • Ob meine Applikation “gut” oder “schlecht” ist, lässt sich nicht ermitteln

Und welches Tool nehme ich jetzt für mein nächstes Projekt?

Ganz einfach: Das was man am besten versteht und deren Ergebnis man verarbeiten kann und will. Am Ende muss die Auswertung einfach sein und gute Argumente zur Verbesserung des Produktes liefern. In unserem Fall entscheiden wir uns meist für den User Experience Questionnaire, da die Probanden den UEQ schnell ausfüllen können und trotzdem beim Ausfüllen auch immer das Produkt erneut hinterfragen. Ausserdem geht die Auswertung mit etwas Übung schnell vonstatten und die Ergebnisse können auch gut Aussenstehenden erklärt werden. Wo der jeweilige Kunde mit seiner Applikation steht und was er als erstes anpacken sollte, lässt sich zeigen und stellt die Priorisierung unserer qualitativ ermittelten Mängel (aus der Beobachtung eines Tests z.B.) in das entsprechende Licht.

Letztendlich braucht aber jedes neue Tool eine gewisse Einarbeitungszeit und kann dann je nach Produkt und Untersuchungsfrage eingesetzt werden. Am Ende zählt ja nicht das Testergebnis, sondern was man daraus macht 😉

Impressum

 

evux AG

Stauffacherstrasse 129
8004 Zürich
Schweiz

info@evux.ch

 

Vertretungsberechtigte Personen
Dr. Susanne Schmidt-Rauch, Geschäftsführerin
Stefan Wanner, Geschäftsführer

Handelsregistereintrag
Nummer: CHE-204.548.947
Handelsregisteramt: Zürich

Mehrwertsteuernummer
CHE-204.548.947 MWST

Wir, die evux AG nehmen den Schutz Ihrer persönlichen Daten sehr ernst und halten uns strikt an die gesetzlichen Vorgaben zum Schutz personenbezogener Daten.

Die nachfolgende Erklärung gibt Ihnen einen Überblick darüber, wie wir diesen Schutz gewährleisten und welche Art von Daten zu welchem Zweck erhoben werden.

Erhebung personenbezogener Daten bei Besuch unserer Website
Bei der bloss informatorischen Nutzung der Website, also wenn Sie evux nicht anderweitig Informationen übermitteln, erhebt evux nur die personenbezogenen Daten, die Ihr Browser an den Server von evux übermittelt. Wenn Sie die Website betrachten möchten, erhebt evux die folgenden Daten, die technisch erforderlich sind, um die Website anzuzeigen und die Stabilität und Sicherheit zu gewährleisten. Diese werden in den Logfiles des Servers gespeichert. (Rechtsgrundlage ist Art. 6 Abs. 1 S. 1 lit. f DS-GVO):

  • Ihre IP-Adresse
  • Datum und Uhrzeit der Anfrage
  • Zeitzonendifferenz zur Greenwich Mean Time (GMT)
  • Inhalt der Anforderung (konkrete Seite)
  • Zugriffsstatus/HTTP-Statuscode
  • jeweils übertragene Datenmenge
  • Website, von der die Anforderung kommt
  • Ihr Browser
  • Ihr Betriebssystem und dessen Oberfläche
  • Sprache und Version der Browsersoftware

Diese Daten sind nicht personenbezogen, d.h. evux kann diese Daten keiner bestimmten Person zuordnen. Eine Zusammenführung dieser Daten mit anderen Datenquellen wird nicht vorgenommen.

Personenbezogenen Daten werden über unsere Website nur soweit erhoben, wie Sie diese freiwillig an uns übermitteln, um beispielsweise mit uns in Kontakt zu treten.

Ohne Ihre ausdrückliche Einwilligung werden die von Ihnen übermittelten personenbezogenen Daten nur für den Zweck verwendet, für den Sie uns Ihre Daten übermittelt haben.

Information über die Erhebung personenbezogener Daten
Bei Ihrer Kontaktaufnahme mit evux per E-Mail werden die von Ihnen mitgeteilten Daten von evux gespeichert, um Ihre Fragen zu beantworten. Zu den für die Kontaktaufnahme erhobenen Personendaten zählen insbesondere Ihre Kontaktdaten, wie etwa Name, E-Mail-Adresse & Firma. Diese Daten werden nur für eine Kontaktaufnahme mit Ihnen verwendet und im Übrigen nicht verarbeitet. Die in diesem Zusammenhang anfallenden Daten löscht evux, nachdem die Speicherung nicht mehr erforderlich ist, oder schränkt die Verarbeitung ein, falls gesetzliche Aufbewahrungspflichten bestehen.

Ihre Rechte
Werden personenbezogene Daten von Ihnen verarbeitet, sind Sie Betroffener i.S.d. DS-GVO und es stehen Ihnen folgende Rechte gegenüber evux als dem Verantwortlichen zu:

  • Recht auf Auskunft
  • Recht auf Berichtigung oder Löschung
  • Recht auf Einschränkung der Verarbeitung
  • Recht auf Widerspruch gegen die Verarbeitung
  • Recht auf Datenübertragbarkeit

Sie haben das Recht, sich bei einer Datenschutz-Aufsichtsbehörde über die Verarbeitung Ihrer personenbezogenen Daten durch evux zu beschweren.

Widerspruch oder Widerruf gegen die Verarbeitung Ihrer Daten
Falls Sie eine Einwilligung zur Verarbeitung Ihrer Daten erteilt haben, können Sie diese jederzeit widerrufen. Ein solcher Widerruf beeinflusst die Zulässigkeit der Verarbeitung Ihrer personenbezogenen Daten, nachdem Sie ihn gegenüber evux ausgesprochen haben.

Soweit evux die Verarbeitung Ihrer personenbezogenen Daten auf die Interessenabwägung stützt, können Sie Widerspruch gegen die Verarbeitung einlegen. Im Falle Ihres begründeten Widerspruchs prüft evux die Sachlage und wird entweder die Datenverarbeitung einstellen bzw. anpassen oder Ihnen ihre zwingenden schutzwürdigen Gründe aufzeigen, aufgrund derer evux die Verarbeitung fortführt.

Selbstverständlich können Sie der Verarbeitung Ihrer personenbezogenen Daten für Zwecke der Werbung und Datenanalyse jederzeit widersprechen. Über Ihren Werbewiderspruch können Sie evux unter folgenden Kontaktdaten informieren: info@evux.ch

Haftungsausschluss
evux übernimmt keinerlei Gewähr hinsichtlich der inhaltlichen Richtigkeit, Genauigkeit, Aktualität, Zuverlässigkeit und Vollständigkeit der Informationen.
Haftungsansprüche gegen evux wegen Schäden materieller oder immaterieller Art, welche aus dem Zugriff oder der Nutzung bzw. Nichtnutzung der veröffentlichten Informationen, durch Missbrauch der Verbindung oder durch technische Störungen entstanden sind, werden ausgeschlossen.
Alle Angebote sind unverbindlich. evux behält es sich ausdrücklich vor, Teile der Seiten oder das gesamte Angebot ohne gesonderte Ankündigung zu verändern, zu ergänzen, zu löschen oder die Veröffentlichung zeitweise oder endgültig einzustellen.

Haftung für Links
Verweise und Links auf Webseiten Dritter liegen ausserhalb unseres Verantwortungsbereichs. Es wird jegliche Verantwortung für solche Webseiten abgelehnt. Der Zugriff und die Nutzung solcher Webseiten erfolgen auf eigene Gefahr des Nutzers oder der Nutzerin.

Urheberrechte
Die Urheber- und alle anderen Rechte an Inhalten, Bildern, Fotos oder anderen Dateien auf der Website gehören ausschliesslich der evux AG oder den speziell genannten Rechtsinhabern. Für die Reproduktion jeglicher Elemente ist die schriftliche Zustimmung der Urheberrechtsträger im Voraus einzuholen.

Datenschutz
Gestützt auf Artikel 13 der schweizerischen Bundesverfassung und die datenschutzrechtlichen Bestimmungen des Bundes (Datenschutzgesetz, DSG) hat jede Person Anspruch auf Schutz ihrer Privatsphäre sowie auf Schutz vor Missbrauch ihrer persönlichen Daten. Wir halten diese Bestimmungen ein. Persönliche Daten werden streng vertraulich behandelt und weder an Dritte verkauft noch weiter gegeben.
In enger Zusammenarbeit mit unseren Hosting-Providern bemühen wir uns, die Datenbanken so gut wie möglich vor fremden Zugriffen, Verlusten, Missbrauch oder vor Fälschung zu schützen.
Beim Zugriff auf unsere Webseiten werden folgende Daten in Logfiles gespeichert: IP-Adresse, Datum, Uhrzeit, Browser-Anfrage und allg. übertragene Informationen zum Betriebssystem resp. Browser. Diese Nutzungsdaten bilden die Basis für statistische, anonyme Auswertungen, so dass Trends erkennbar sind, anhand derer wir unsere Angebote entsprechend verbessern können.

Datenschutzerklärung für die Nutzung von Google Analytics
evux benutzt Google Analytics, einen Webanalysedienst der Google Inc. („Google“). Google Analytics verwendet sog. „Cookies“, Textdateien, die auf Ihrem Computer gespeichert werden und die eine Analyse der Benutzung der Website durch Sie ermöglichen. Die durch den Cookie erzeugten Informationen über Ihre Benutzung dieser Website werden in der Regel an einen Server von Google in den USA übertragen und dort gespeichert. Im Falle der Aktivierung der IP-Anonymisierung auf dieser Website, wird Ihre IP-Adresse von Google jedoch innerhalb von Mitgliedstaaten der Europäischen Union oder in anderen Vertragsstaaten des Abkommens über den Europäischen Wirtschaftsraum zuvor gekürzt. Nur in Ausnahmefällen wird die volle IP-Adresse an einen Server von Google in den USA übertragen und dort gekürzt. Im Auftrag des Betreibers dieser Website wird Google diese Informationen benutzen, um Ihre Nutzung der Website auszuwerten, um Reports über die Website-Aktivitäten zusammenzustellen und um weitere mit der Website-Nutzung und der Internetnutzung verbundene Dienstleistungen gegenüber dem Website-Betreiber zu erbringen.

Die im Rahmen von Google Analytics von Ihrem Browser übermittelte IP-Adresse wird nicht mit anderen Daten von Google zusammengeführt.

Sie können die Speicherung der Cookies durch eine entsprechende Einstellung Ihrer Browser-Software verhindern; evux weist Sie jedoch darauf hin, dass Sie in diesem Fall gegebenenfalls nicht sämtliche Funktionen dieser Website vollumfänglich werden nutzen können. Sie können darüber hinaus die Erfassung der durch das Cookie erzeugten und auf Ihre Nutzung der Website bezogenen Daten (inkl. Ihrer IP-Adresse) an Google sowie die Verarbeitung dieser Daten durch Google verhindern, indem sie das unter dem folgenden Link verfügbare Browser-Plug-in herunterladen und installieren: http://tools.google.com/dlpage/gaoptout.

Diese Website verwendet Google Analytics mit der Erweiterung „_anonymizeIp()“. Dadurch werden IP-Adressen gekürzt weiterverarbeitet, eine Personenbeziehbarkeit kann damit ausgeschlossen werden. Soweit den über Sie erhobenen Daten ein Personenbezug zukommt, wird dieser also sofort ausgeschlossen und die personenbezogenen Daten damit umgehend gelöscht.

evux nutzt Google Analytics, um die Nutzung der Website analysieren und regelmäßig verbessern zu können. Über die gewonnenen Statistiken kann evux das Angebot verbessern und für Sie als Nutzer interessanter ausgestalten. Für die Ausnahmefälle, in denen personenbezogene Daten in die USA übertragen werden, hat sich Google dem EU-US Privacy Shield unterworfen, https://www.privacyshield.gov/EU-US-Framework. Rechtsgrundlage für die Nutzung von Google Analytics ist Art. 6 Abs. 1 S. 1 lit. f DS-GVO.

Informationen des Drittanbieters: Google Dublin, Google Ireland Ltd., Gordon House, Barrow Street, Dublin 4, Ireland, Fax: +353 (1) 436 1001. Nutzerbedingungen: http://www.google.com/analytics/terms/de.html, Übersicht zum Datenschutz: http://www.google.com/analytics/learn/privacy.html, sowie die Datenschutzerklärung: http://www.google.com/policies/privacy

Regelmässige Löschung und Sperrung von personenbezogenen Daten
Personenbezogene Daten werden für die Dauer der jeweiligen gesetzlichen Aufbewahrungsfrist gespeichert. Nach Ablauf der Frist erfolgt eine routinemässige Löschung der Daten, sofern nicht eine Erforderlichkeit für eine Vertragsanbahnung oder die Vertragserfüllung besteht.

Rechtsgrundlage der Verarbeitung
Art. 6 I lit. a DS-GVO dient evux als Rechtsgrundlage für Verarbeitungsvorgänge, bei denen evux eine Einwilligung für einen bestimmten Verarbeitungszweck einholt. Ist die Verarbeitung personenbezogener Daten zur Erfüllung eines Vertrags, dessen Vertragspartei Sie sind, erforderlich, so beruht die Verarbeitung auf Art. 6 I lit. b DS-GVO. Gleiches gilt für solche Verarbeitungsvorgänge die zur Durchführung vorvertraglicher Massnahmen erforderlich sind. Unterliegt evux einer rechtlichen Verpflichtung durch welche eine Verarbeitung von personenbezogenen Daten erforderlich wird, so basiert die Verarbeitung auf Art. 6 I lit. c DS-GVO. In seltenen Fällen könnte die Verarbeitung von personenbezogenen Daten erforderlich werden, um lebenswichtige Interessen von Ihnen oder einer anderen natürlichen Person zu schützen. Dann würde die Verarbeitung auf Art. 6 I lit. d DS-GVO beruhen. Letztlich könnten Verarbeitungsvorgänge auf Art. 6 I lit. f DS-GVO beruhen. Auf dieser Rechtsgrundlage basieren Verarbeitungsvorgänge, die von keiner der vorgenannten Rechtsgrundlagen erfasst werden, wenn die Verarbeitung zur Wahrung eines berechtigten Interesses evux oder eines Dritten erforderlich ist, sofern Ihre Interessen, Grundrechte und Grundfreiheiten nicht überwiegen. Das berechtigte Interesse von evux liegt in der Durchführung der Geschäftstätigkeit.

Stand: Mai 2018