Os custos ocultos dos testes A/B

Existe bastante literatura sobre os méritos dos testes A/B, mas pouca informação sobre suas desvantagens. Muita gente que trabalha com comércio, tecnologia ou startups diria que os testes A/B são uma atividade essencial, sendo que, na realidade, eles podem ser desnecessários e até contraprodutivos.

Na Sticker Mule, recentemente paramos de fazer testes A/B ativamente, e acho que seria interessante explicar o porquê. Antes de começar, preciso admitir que executamos mais de 70 testes de conversão antes de tomar esta decisão e só tivemos 3 bons resultados significativos. Não sei qual seria uma proporção normal de testes para bons resultados, mas desconfio que a nossa situação seja comum. O que eu quero dizer é que não acreditamos em esforço constante para melhorar a conversão — descobrimos formas diferentes, que detalharei mais tarde.

Os 6 custos ocultos dos testes A/B

1) Tempo

Os recursos são finitos. O tempo gasto com testes A/B não pode ser investido em outros lugares. O uso que você faz do seu tempo determina sua trajetória de crescimento. Os testes A/B são uma tática de crescimento, mas nem sempre consistem no melhor uso dos seus recursos.

2) Conversões perdidas

Em sua maioria, os testes de conversão falham, e as variações com mau desempenho fazem você perder conversões enquanto eles são realizados. Essas conversões perdidas são um investimento que você faz para melhorar sua taxa de conversão no longo prazo, mas não se esqueça de que são um custo real.

3) Desempenho

Conectado às conversões perdidas, as ferramentas para testes A/B deixam seu site mais lento e também reduzem sua taxa de conversão — mesmo para o controle. As conversões adicionais que você perde por conta desse prejuízo ao desempenho são outro custo frequentemente ignorado dos testes A/B.

4) Confusão

Os testes A/B podem confundir sua equipe e clientes. O suporte ao consumidor pode ter dificuldade em atender direito um cliente quando não sabe qual variação o cliente está vendo. Você pode educar o suporte ao consumidor sobre os vários testes sendo executados, mas com isso você dificulta seu trabalho.

5) Rapidez

Os testes A/B atrasam a tomada de decisões da sua organização. Algumas ideias são obviamente boas, e aderir a um processo estrito de testes A/B reduz o tempo de que você dispõe para a implementação. O tempo é finito, e o número de melhorias realizadas todo ano tem um impacto grande sobre sua trajetória de crescimento.

6) Foco

Geralmente, as organizações se parabenizam por investir bastante em conversão. Isso é evidenciado por um Diretor Executivo de Receita ou consultores pagos. O maior custo não é o salário destas pessoas, mas a mudança de foco de outros membros da equipe, como designers, desenvolvedores e agentes de atendimento. O sucesso de um Diretor de Receita costuma vir às custas de uma diminuição no sucesso das funções primárias de outros colegas.

Como melhoramos conversões sem usar testes A/B

Nós nos afastamos dos testes A/B, mas nem por isso abandonamos os esforços para melhorar nossa conversão. Estamos é melhorando nossa conversão com outros métodos (os testes A/B não são a única opção!)

É fácil monitorar tendências de conversão a longo prazo com o Google Analytics, avaliando se você está tomando boas decisões. Para dar mais precisão a esse método de monitoramento de taxas de conversão, você pode examinar a tendência de conversão por canal.

Tendo isso em mente, estamos redobrando esforços nos seguintes pontos para melhorar nossa taxa de conversão:

Princípios de usabilidade

Aderir a princípios de usabilidade bem pesquisados costuma gerar bons resultados na otimização das conversões.

Princípios de design

Além de usar princípios de usabilidade, existem princípios de design básicos que tendem a melhorar sua conversão.

A regra de ouro

"Faça aos outros..." é um princípio norteador para a maioria das decisões que tomamos, e que dá ótimos resultados para a otimização de nossas conversões.

Resolução de problemas

Resolver transtornos reais que nossos clientes sofrem é a forma primária pela qual conseguimos melhorar nossa taxa de conversão e fortalecer marca.

Não abandonamos os testes A/B inteiramente

Devo admitir que ainda testamos algumas ideias com o A/B. Em vez de aderir a um processo estrito com testes A/B, deixamos nosso pessoal usar esta opção quando têm curiosidade em testar alguma ideia.

Para minimizar a chance de testar demais, desativamos nossa ferramenta terceirizada de testes A/B e integramos os testes na nossa base de código. Isso significa que, a fim de realizar um teste, precisamos de ajuda da equipe de desenvolvedores. Esse esforço adicional desencoraja a execução de testes fúteis, e tem a vantagem de eliminar o prejuízo no desempenho que vem com o uso de uma ferramenta terceirizada.

Finalmente, agora podemos testar com o A/B versões totalmente diferentes do nosso código, o que é muito mais interessante do que simplesmente testar alterações básicas de design através de uma ferramenta terceirizada.

Se você acha interessante a nossa abordagem de melhorar a taxa de conversão através da resolução de problemas, em vez de com os testes A/B, você possui algumas das caraterísticas que procuramos nos membros da nossa equipe.

Acha que você se encaixaria bem conosco? Mande sua candidatura para se juntar a nós. Vai ser ótimo falar com você!