Das Testen

In der Regel wird getestet, nachdem eine Analyse erstellt wurde und ein potentieller Defekt identifiziert wurde. So könnte eine Webanalyse ergeben, dass Nutzer mit einem iPhone weniger Zeit auf einer Seite verbringen als Android-Nutzer, und nun mit einer Anpassung für iPhones getestet werden, ob die Nutzer dann ein ähnliches Verhalten aufzeigen wie die Android-Nutzer.

Die größte Herausforderung beim Testen ist nicht das Beherrschen eines Test-Werkzeugs, sondern das Konzipieren des Tests. Schließlich sollen die Effekte einer Änderung isoliert und gemessen werden. Dies bedeutet, wie so häufig, die zu testende Fragestellung möglichst genau zu spezifizieren und im nächsten Schritt festzulegen, wie eine Veränderung getestet werden soll. Dafür hat sich das in dem Kurs vorgestellte Hypothesen-Framework als sehr nützlich erwiesen.

Grundsätzlich wird unterschieden in

  • a/b/n Tests und
  • multivariaten Tests (es heißt wirklich multivariat ohne n)

Bei a/b/n Tests wird die Kontrollversion a gegen eine Testversion b getestet und gegebenenfalls gegen weitere Testversionen c, d, …, hier durch n repräsentiert. Bei multivariaten Tests werden mehrere Elemente auf einer Seite gegeneinander getestet. Es existieren hier also viel mehr Varianten als bei einem typischen a/b/n-Test.