Les coûts cachés des tests A/B
Publie par Anthony Constantino le
On trouve beaucoup de publications sur les avantages des tests A/B, mais peu d'informations sur leurs inconvénients. La plupart des personnes travaillant dans le commerce électronique, les technologies et les start-ups voudraient vous faire croire que les tests A/B sont essentiels alors qu'en réalité, ils sont souvent inutiles et contre-productifs.
Chez Sticker Mule, nous avons récemment cessé de réaliser activement des tests A/B et j'ai pensé qu'il serait utile de vous expliquer pourquoi. Je dois d'abord admettre que nous avons effectué plus de 70 tests de transformation avant de prendre cette décision et que nous n'avons eu que 3 gagnants significatifs. Je ne sais pas quel est le bon rapport entre le nombre de tests et le nombre de gagnants, mais je pense que notre situation est courante. Cela ne veut pas dire que nous croyons qu'il ne faut pas travailler constamment pour améliorer le taux de transformation, mais nous avons trouvé des solutions différentes, que je détaillerai plus loin.
Les 6 coûts cachés des tests A/B
1) Le temps
Les ressources sont limitées, et le temps consacré aux tests A/B ne peut pas être consacré à une autre tâche. La façon dont vous utilisez votre temps détermine votre trajectoire de croissance. Le test A/B est une tactique de croissance, mais ce n'est pas toujours la meilleure utilisation de vos ressources.
2) Les transformations perdues
La plupart des tests de transformation n'aboutissent pas et des variations non performantes vous font perdre des opportunités de transformations pendant leur exécution. Ces transformations perdues sont un investissement que vous faites pour améliorer votre taux de transformation à long terme, mais n'oubliez pas qu'elles représentent un coût réel.
3) La performance
En ce qui concerne les transformations perdues, les outils de test A/B rendent votre site plus lent et cela réduit également votre taux de transformation - même pour le contrôle. Les transformations supplémentaires que vous perdez à cause de cette baisse de performance représentent un autre coût, souvent ignoré, des tests A/B.
4) La confusion
Les tests A/B risquent de semer la confusion dans votre équipe et chez vos clients. Le service clientèle peut avoir du mal à servir correctement un client s'il ignore quelle variation le client regarde. Vous pouvez informer le service clientèle sur les différents tests que vous effectuez, mais, quoi qu'il en soit, vous rendez leur travail plus difficile.
5) La rapidité
Les tests A/B ralentissent la prise de décision de votre entreprise. Certaines idées sont évidemment bonnes et le fait d'adhérer à un processus de test A/B strict réduit votre temps de mise en œuvre. Le temps est limité et le nombre d'améliorations que vous mettez en œuvre par an a un impact majeur sur votre trajectoire de croissance.
6) La concentration
Habituellement, les entreprises se félicitent d'avoir investi massivement dans la transformation. Ceci est corroboré par le directeur de la gestion des risques (CRO) ou les consultants rémunérés. Le coût le plus important n'est pas le salaire de ces personnes, mais le changement d'orientation des autres membres de l'équipe, tels que les concepteurs, le service à la clientèle et les développeurs. Le succès d'un CRO se fait généralement au détriment des autres collègues dans leur rôle principal.
Comment améliorer le taux de transformation sans tests A/B
L'abandon des tests A/B ne signifie pas que nous avons renoncé aux efforts visant à améliorer notre taux de transformation. Nous l’améliorons plutôt par d'autres méthodes (oui, les tests A/B ne sont pas votre seule option).
Vous pouvez suivre la tendance de votre transformation à long terme assez facilement via Google Analytics pour savoir si vous prenez de bonnes décisions. Et vous pouvez ajouter plus de précision à cette méthode de suivi des taux de transformation en examinant l'évolution de votre taux par canal.
En gardant cela à l'esprit, nous nous concentrons davantage sur les points suivants afin d'améliorer notre taux de transformation :
Les principes de convivialité
L'adhésion à des principes de convivialité donne généralement de bons résultats en matière d'optimisation de la transformation.
Les principes de conception
Outre les principes de convivialité, il existe des principes de conception de base qui tendent à améliorer les taux de transformation lorsqu'ils sont suivis.
La règle d'or
« Faire aux autres... » est un principe directeur pour la plupart de nos prises de décision et il fonctionne très bien en ce qui concerne l'optimisation de la transformation.
La résolution de problèmes
Nous avons réussi à améliorer notre taux de transformation et à renforcer notre image de marque principalement en résolvant les problèmes réels de nos clients.
Nous n'avons pas complètement abandonné les tests A/B
Je dois avouer que nous réalisons encore des tests A/B pour quelques-unes de nos idées. Mais plutôt que d'adhérer à un processus de test A/B strict, nous laissons notre équipe effectuer des tests A/B pour idées qui les intéressent.
Pour minimiser la probabilité de trop tester, nous avons désactivé notre outil de tests A/B tiers et intégré le concept de test fractionné directement dans notre code primaire. Cela signifie que pour effectuer un test, nous avons besoin de l'aide de l’équipe de développement pour le mettre en place. Cet effort supplémentaire décourage l'exécution de tests inconsidérés et présente l'avantage supplémentaire d'éliminer les problèmes de performance qui accompagnent l'utilisation d'un outil tiers.
Enfin, nous sommes maintenant en mesure d’effectuer des tests A/B sur des versions entièrement différentes de notre code, ce qui est beaucoup plus intéressant que de simplement tester les changements de conception basiques à travers un outil tiers.
Si notre approche consistant à améliorer le taux de transformation en apportant des solutions aux problèmes plutôt qu'en utilisant des outils de tests A/B vous intéresse, sachez que vous partagez certaines des caractéristiques que nous recherchons chez les membres de notre équipe.
Vous avez l'impression que vous vous intégrerez bien dans notre équipe ? Postulez pour nous rejoindre. N'hésitez pas à nous contacter.