UXC-E07: A/B Testing

A/B Testing, auch bekannt als Split-Testing, ist eine wis­sen­schaft­lich fun­dier­te Methode zur ver­glei­chen­den Be­wer­tung zweier Ver­sio­nen einer Web­sei­te oder App, um her­aus­zu­fin­den, welche besser ab­schnei­det in Bezug auf spe­zi­fi­sche Leis­tungs­in­di­ka­to­ren (KPIs) wie Klick­ra­ten, Kon­ver­sio­nen oder Be­nut­zer­en­ga­ge­ment. Bei diesem Ver­fah­ren er­hal­ten zu­fäl­lig aus­ge­wähl­te Be­nut­zer ent­we­der die Version A oder die Version B der zu tes­ten­den In­ter­face-Kom­po­nen­ten. Die Er­geb­nis­se werden dann sta­tis­tisch ana­ly­siert, um fest­zu­stel­len, welche Version ef­fek­ti­ver in der Er­rei­chung der fest­ge­leg­ten Ziele ist (Kohavi et al., 2009).

Vor­be­rei­tung

Die Vor­be­rei­tung eines A/B Tests beginnt mit der klaren De­fi­ni­ti­on der Test­zie­le und der Fest­le­gung der KPIs, die ge­mes­sen werden sollen. Wichtig ist, dass die Än­de­run­gen zwi­schen den beiden Ver­sio­nen A und B präzise de­fi­niert und auf einen ein­zel­nen Va­ria­blen­un­ter­schied be­grenzt sind, um klare Er­geb­nis­se zu ge­währ­leis­ten. Es muss auch eine hin­rei­chend große Stich­pro­ben­grö­ße er­mit­telt werden, um sta­tis­tisch si­gni­fi­kan­te Er­geb­nis­se zu er­zie­len. Zudem ist es er­for­der­lich, die tech­ni­sche Im­ple­men­tie­rung der beiden Ver­sio­nen vor­zu­be­rei­ten, ein­schließ­lich der Me­cha­nis­men zur zu­fäl­li­gen Zu­wei­sung der Ver­sio­nen an die Be­nut­zer (Shadish et al., 2002).

Durch­füh­rung

Während der Durch­füh­rung des A/B Tests er­hal­ten Be­nut­zer, die zur Website oder App kommen, zu­fäl­lig ent­we­der die Version A oder B. Daten über das Be­nut­zer­ver­hal­ten und die In­ter­ak­tio­nen mit jeder Version werden au­to­ma­tisch ge­sam­melt. Dieser Prozess wird fort­ge­setzt, bis ge­nü­gend Daten ge­sam­melt sind, um eine ver­läss­li­che Analyse durch­füh­ren zu können, was ab­hän­gig von der Ver­kehrs­men­ge und der fest­ge­leg­ten Stich­pro­ben­grö­ße va­ri­ie­ren kann (Kohavi et al., 2009).

Aus­wer­tung

Nach Ab­schluss der Da­ten­samm­lung werden die Er­geb­nis­se ana­ly­siert, oft unter Ver­wen­dung sta­tis­ti­scher Tests, um fest­zu­stel­len, ob es einen si­gni­fi­kan­ten Un­ter­schied zwi­schen den beiden Ver­sio­nen gibt. Die Analyse sollte auch Fak­to­ren wie sai­so­na­le Effekte oder externe Ein­flüs­se be­rück­sich­ti­gen, die die Er­geb­nis­se ver­zer­ren könnten. Ab­schlie­ßend werden die Er­geb­nis­se in­ter­pre­tiert und in einem Bericht zu­sam­men­ge­fasst, der Emp­feh­lun­gen für die Im­ple­men­tie­rung der über­le­ge­nen Version enthält (Siroker & Koomen, 2013).

Vor- und Nach­tei­le

Vor­tei­le des A/B Testing sind die klare Be­wer­tung der Ef­fek­ti­vi­tät von De­sign­än­de­run­gen und die Mög­lich­keit, fun­dier­te Ent­schei­dun­gen über die Op­ti­mie­rung der Be­nut­zer­er­fah­rung zu treffen. Nach­tei­le um­fas­sen die Not­wen­dig­keit einer großen Anzahl von Be­nut­zern, um sta­tis­tisch re­le­van­te Er­geb­nis­se zu er­zie­len, und die Li­mi­tie­rung, dass nur eine Va­ria­ble gleich­zei­tig ef­fek­tiv ge­tes­tet werden kann. Zudem können sich die Test­be­din­gun­gen von der realen Nutzung un­ter­schei­den und somit die Ge­ne­ra­li­sier­bar­keit der Er­geb­nis­se ein­schrän­ken (Ton et al., 2012).

• Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). "Controlled experiments on the web: Survey and practical guide." Data Mining and Knowledge Discovery. Dieser Artikel bietet eine umfassende Einführung in die Methodik und praktische Durchführung von kontrollierten Experimenten im Web, einschließlich A/B Tests.
• Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin. Dieses Buch liefert grundlegende Einblicke in die Planung und Durchführung von experimentellen und quasi-experimentellen Designs.

• Siroker, D., & Koomen, P. (2013). A/B Testing: The Most Powerful Way to Turn Clicks Into Customers. Wiley. Dieses Buch zeigt auf, wie A/B Testing effektiv eingesetzt werden kann, um Konversionen zu steigern und die Benutzererfahrung zu optimieren.
• Ton, Z., Kochan, A. F., & Tuckman, B. W. (2012). "Adapting A/B testing in managing human resource and organizational behavior." Management Science. Diese Studie untersucht, wie A/B Testing in anderen Bereichen wie HR und Organisationsverhalten adaptiert und angewendet werden kann.