Custos ocultos dos testes A/B

Há muita literatura sobre os méritos dos testes A/B, mas pouca informação sobre os seus inconvenientes. A maioria das pessoas no ecommerce, tecnologia e nas startups, fazem crer que os testes A/B são uma actividade obrigatória quando, na realidade, são muitas vezes desnecessários e contraproducentes.

Na Sticker Mule, parámos ativamente os testes A/B e pensei que seria útil explicar porquê. Devo admitir que fizemos mais de 70 testes de conversão antes de tomarmos esta decisão e que só tivemos 3 vencedores significativos. Não sei qual o rácio normal entre testes e vitórias, mas suspeito que a nossa situação é comum. Isto não quer dizer que não acreditemos em trabalhar constantemente para melhorar a conversão - encontrámos formas diferentes, que detalharei mais tarde.

Os 6 custos ocultos dos testes A/B

1) Tempo

Os recursos são finitos. O tempo gasto em testes A/B não pode ser gasto noutro lugar. A forma como utiliza o seu tempo determina a sua trajetória de crescimento. Os testes A/B são uma tática de crescimento, mas nem sempre é a melhor utilização dos seus recursos.

2) Conversões perdidas

A maioria dos testes de conversão falham e as variações de baixo desempenho causam-lhe a perda de conversões enquanto estas executam. Estas conversões perdidas são um investimento que se faz para melhorar a sua taxa de conversão a longo prazo, mas não se esqueça de que são um custo real.

3) Desempenho

Em relação às conversões perdidas, as ferramentas de teste A/B tornam o seu site mais lento e isto também reduz a sua taxa de conversão - mesmo para o controlo. As conversões adicionais que perde devido a este golpe de desempenho são outro custo, muitas vezes ignorado, dos testes A/B.

4) Confusão

Os testes A/B podem confundir a sua equipa e os clientes. O serviço ao cliente pode ter dificuldade em atender devidamente um cliente se este não souber qual a variação que o cliente está a ver. Pode informar o serviço de apoio ao cliente sobre os vários testes que realiza, mas, independentemente disso, está a dificultar-lhes o trabalho.

5) Velocidade

Os testes A/B atrasam a tomada de decisões da sua organização. Algumas ideias são obviamente boas e a adesão a um rigoroso processo de testes A/B reduz o seu tempo para entrar em acção. O tempo é finito e o número de melhorias que implementa por ano tem um grande impacto na sua trajetória de crescimento.

6) Foco

Normalmente, as organizações felicitam-se por investirem fortemente na conversão. Isto é evidenciado por um Chief of CRO ou consultores pagos. O maior custo não é o salário dessas pessoas, mas sim mudar o foco de outros membros da equipa, tais como designers, apoio ao cliente, e promotores. O sucesso de um Chief of CRO é geralmente à custa de tornar outros colegas menos bem sucedidos nas suas funções principais.

Como melhoramos a conversão sem testes A/B

Afastarmo-nos dos testes A/B não significa que tenhamos abandonado os esforços para melhorar a conversão. Pelo contrário, estamos a melhorar a nossa conversão através de outros métodos (sim, os testes A/B não são a sua única opção).

Pode monitorizar a sua tendência de conversão a longo prazo com bastante facilidade através do Google Analytics para avaliar se está a tomar boas decisões. E pode acrescentar mais precisão a este método de monitorização da taxa de conversão, analisando a sua tendência de taxa de conversão por canal.

Com isto em mente, estamos a duplicar os seguintes aspetos para melhorar a nossa taxa de conversão:

Princípios de usabilidade

A adesão a princípios de usabilidade minuciosamente investigados produz geralmente bons resultados na otimização da conversão.

Princípios de conceção

Para além dos princípios de usabilidade, existem princípios de conceção básicos que tendem a melhorar a conversão quando seguidos.

A regra de ouro

"Faça aos outros..." é um princípio orientador para a maioria das nossas tomadas de decisão e funciona bem no que diz respeito à otimização da conversão.

Resolver problemas

Resolver os pontos fracos reais que os nossos clientes experienciam é a principal forma como conseguimos melhorar a nossa taxa de conversão e fortalecer a nossa marca.

Não abandonámos completamente os testes A/B

Devo admitir que ainda testamos algumas ideias. Em vez de aderirmos a um rigoroso processo de testes A/B, deixamos a nossa equipa testar ideias sobre as quais têm interesse.

Para minimizar a probabilidade de testar demasiado, desligámos a nossa ferramenta de teste A/B de terceiros e integrámos testes divididos na nossa base de códigos. Isto significa que, para executar um teste, precisamos de ajuda do departamento de desenvolvimento para o configurar. Este esforço extra desencoraja a execução de testes descuidados e tem o benefício adicional de eliminar o impacto de desempenho que a utilização de uma ferramenta de terceiros implica.

Finalmente, podemos agora testar versões completamente diferentes do nosso código, o que é muito mais interessante do que simplesmente testar alterações básicas de conceção através de uma ferramenta de terceiros.

Se a nossa abordagem para melhorar a taxa de conversão através da resolução de problemas em vez de utilizar uma ferramenta de testes A/B é apelativa para si, partilha algumas das características que procuramos nos membros da equipa.

Sente que se enquadraria bem na nossa equipa? Candidate-se a juntar-se a nós. Não hesite em contactar-nos.