Versteckte Kosten bei A/B-Tests

Literatur bezüglich der Vorzüge von A/B-Tests gibt es reichlich, aber nur wenig wurde über die mit ihnen verbundenen Tücken und Schwierigkeiten geschrieben. Die meisten Leute aus dem E-Commerce-Gewerbe, der Welt der Technik und der Start-up-Unternehmen wollen Ihnen weismachen, dass A/B-Tests ein Muss sind. In Wirklichkeit sind diese jedoch oft unnötig und kontraproduktiv.

Bei Sticker Mule haben wir aufgehört, aktiv A/B-Tests durchzuführen. Was folgt, sind unserer Gründe für diese Entscheidung. Ich sollte einleitend zugeben, dass wir mehr als 70 Umsetzungs-Tests durchgeführt haben, bevor wir diese Entscheidung getroffen haben. Darunter hatten wir nur 3 signifikante Sieger. Ich kenne kein normales Verhältnis von Tests zu Erfolgen, aber ich vermute, dass unsere Situation üblich ist. Das soll nicht heißen, dass wir nicht daran glauben, ständig an der Verbesserung unserer Umsetzung zu arbeiten – wir haben dazu verschiedene Wege gefunden, auf die ich später näher eingehen werde.

Die 6 versteckten Kosten von A/B-Tests

1) Zeitaufwand

Ressourcen sind begrenzt. Zeit, die für A/B-Tests aufgewendet wird, kann nicht anderweitig genutzt werden. Wie Sie Ihre Zeit nutzen, bestimmt Ihren Wachstumspfad. A/B-Tests sind eine Wachstumstaktik, aber sie sind nicht immer die sinnvollste Einsatzmöglichkeit Ihrer Ressourcen.

2) Verlorene Umsetzungen

Die meisten Umsetzungs-Tests scheitern. Zudem führen unterdurchschnittliche Varianten dazu, dass Sie Umsetzungen während der Laufzeit verlieren. Bei diesen verlorenen Umsetzungen handelt es sich um eine Investition, zu Diensten der Verbesserung Ihrer langfristigen Umsetzungsrate. Vergessen Sie jedoch dabei nicht, dass es sich um echte Kosten handelt.

3) Leistung

In Zusammenhang mit verlorenen Umsetzungen, machen A/B-Testing-Tools Ihre Website zudem etwas langsamer, was ebenfalls Ihre Umsetzungsrate verringert – auch für die Kontrolle. Die zusätzlichen Umsetzungen, die Sie aufgrund dieses Leistungsabfalls verlieren, sind ein weiterer, oft übersehener Kostenpunkt von A/B-Tests.

4) Verwirrung

A/B-Tests verwirren potenziell Ihr Team und Ihre Kunden. Der Kundendienst tut es sich dabei oft schwer, einen Kunden sachgemäß zu beraten, wenn er nicht weiß, mit welcher Kundenvariante er es gerade zu tun hat. Sie können den Kundendienst zwar über die verschiedenen Tests, die Sie momentan durchführen, aufklären, aber dennoch erschweren Sie ihm die Arbeit.

5) Geschwindigkeit

A/B-Tests verlangsamen die Beschlussfassung in Ihrem Unternehmen. Einige Ideen sind offensichtlich gut und die Einhaltung eines strikten A/B-Testing-Protokolls verzögert nur unnötig ihre Einführung. Zeit ist eine begrenzte Ressource und die Anzahl der Verbesserungen, die Sie pro Jahr umsetzen, hat einen großen Einfluss auf Ihr Unternehmenswachstum.

6) Fokus

Normalerweise beglückwünschen sich Unternehmen selbst, weil sie viel in die Umsetzung investieren. Dies wird durch einen Risikomanager oder bezahlte Berater belegt. Die größten Kosten sind dabei nicht die Gehälter dieser Personen, sondern die Verschiebung des Fokus anderer Teammitglieder wie Designer, Kundenberater und Entwickler. Der Erfolg eines Risikomanagers geht in der Regel auf Kosten anderer Kollegen, die in ihren primären Rollen weniger erfolgreich sind.

Wie wir die Umsetzung ohne A/B-Tests verbessern

Der Verzicht auf A/B-Tests bedeutet nicht, dass wir die Bemühungen um eine Verbesserung der Umsetzung aufgegeben haben. Vielmehr verbessern wir unsere Umsetzung durch andere Methoden (ja, A/B-Tests sind nicht die einzige Möglichkeit).

Sie können Ihren langfristigen Umsetzungs-Trend ziemlich einfach über Google Analytics überwachen, um zu messen, ob Sie gute Entscheidungen getroffen haben. Und Sie können diese Methode der Umsetzungsraten-Überwachung noch präziser gestalten, indem Sie den Trend Ihrer Umsetzungsrate nach Kanal verfolgen.

In diesem Sinne setzen wir zur Verbesserung der Umsetzungsrate auf Folgendes:

Benutzerfreundlichkeit-Prinzipien

Die Einhaltung von gründlich recherchierten Benutzerfreundlichkeit-Prinzipien führt in der Regel zu guten Ergebnissen bei der Umsetzungs-Optimierung.

Design-Prinzipien

Zusätzlich zu den Benutzerfreundlichkeit-Prinzipien gibt es grundlegende Design-Prinzipien, welche die Umsetzung verbessern, wenn sie denn befolgt werden.

Die goldene Regel

"Was du nicht willst, dass man dir tu..." ist ein Leitprinzip für die meisten unserer Entscheidungen und funktioniert hervorragend in Bezug auf die Umsetzungs-Optimierung.

Probleme lösen

Das Lösen von tatsächlichen Schmerzpunkten, die unsere Kunden erleben, ist die primäre Art und Weise, wie wir in der Lage waren, unsere Umsetzungsrate zu verbessern und unsere Marke zu stärken.

Wir haben A/B-Tests nicht völlig aufgegeben

Ich sollte zudem zugeben, dass wir immer noch einige Ideen A/B-testen. Anstatt uns an einen strikten A/B-Testing-Prozess zu halten, lassen wir unser Team Ideen, die sie interessant finden, A/B-testen.

Um die Wahrscheinlichkeit zu minimieren, es mit dem Testen zu übertreiben, haben wir unsere A/B-Testing-Tools von Drittanbietern abgeschaltet und Split-Tests in unsere Codebasis integriert. Das heißt, um einen Test durchzuführen, benötigen wir die Hilfe der Entwickler, um ihn einzurichten. Dieser Mehraufwand hält uns davon ab, unbedachte Tests durchzuführen, und hat den zusätzlichen Vorteil, dass der Leistungsabfall, der mit der Verwendung eines Drittanbieter-Tools einhergeht, eliminiert wird.

Schließlich sind wir jetzt in der Lage, völlig unterschiedliche Versionen unseres Codes A/B-testen zu lassen, was viel interessanter ist als das Testen einfacher Designänderungen mit einem Drittanbieter-Tool.

Wenn Ihnen unser Ansatz, die Umsatzrate durch das Lösen von Problemen zu verbessern, anstatt ein A/B-Testing-Tool zu verwenden, zusagt, dann teilen Sie einige der Eigenschaften, die wir bei Teammitgliedern suchen.

Haben Sie das Gefühl, dass Sie gut in unser Team passen würden? Dann bewerben Sie sich doch bei uns. Wir würden uns über Ihre Rückmeldungen freuen.