O que é
No teste A/B, a versão atual (A) e uma variação (B) vão ao ar ao mesmo tempo, e cada uma é mostrada a uma parte do público. No fim, compara-se qual das duas se saiu melhor na métrica escolhida antes de o teste começar. O objeto pode ser uma página, um anúncio ou um e-mail.
O teste serve para trocar discussão de gosto por evidência, em decisões como o texto do botão, o título da página ou o tamanho do formulário. Boa parte do valor está na disciplina: uma hipótese escrita, uma mudança por vez e uma data para acabar.
O ponto que mais confunde é que o mesmo nome cobre dois testes diferentes. O teste de anúncio, feito dentro da plataforma de mídia, divide o orçamento entre duas versões da campanha. O teste de página divide o tráfego entre duas versões da página. O resultado de um não vale para o outro.
É a forma de decidir uma mudança por dado e não por opinião. Só vale se a hipótese e a métrica forem escritas antes e o teste for até a data combinada.
Como funciona
Um teste bem feito segue cinco passos, nesta ordem:
- Escreva a hipótese. O que vai mudar, por que a mudança deve funcionar e qual métrica diz se funcionou, como a taxa de conversão. Date o texto antes de começar.
- Mude uma coisa só na versão B. Com duas mudanças, o resultado não diz qual delas causou o efeito.
- Confira o volume. Sem visitas e conversões suficientes na página, a diferença costuma ser ruído.
- Fixe a data de fim. Defina a duração antes e espere por ela. Resultado antes do prazo pode ser acaso.
- Decida pelo que foi combinado e registre. Aplique a versão vencedora e guarde hipótese, datas e resultado, inclusive quando a B perde.
No Google Ads, o recurso se chama experimentos. Ele divide o orçamento ou o tráfego entre a campanha original e uma versão de teste, compara as duas num período definido e permite aplicar a versão vencedora.
Para teste de página, a ferramenta do Google era o Google Optimize, encerrado em 30 de setembro de 2023. Os experimentos ativos nessa data foram encerrados, e material que ainda recomenda o Optimize está desatualizado.
Exemplos
Testar o texto do botão de uma landing page
A hipótese escrita é que um botão que diz o que a pessoa recebe gera mais pedidos de proposta do que “Enviar”. A versão B muda só o texto. A métrica de decisão é o pedido concluído, não o clique. Veja mais sobre CTA e sobre a landing page.
Duas chamadas no mesmo anúncio
A campanha roda dois textos de anúncio num experimento do Google Ads. A versão que vence mostra o que funciona no anúncio. Isso não prova que a página de destino converte melhor, porque ela não mudou.
Relatório que declara vencedora cedo demais
A versão B aparece na frente nos primeiros dias, e alguém pede para encerrar e aplicar. Olhe a data de fim combinada. Antes dela, a diferença pode ser acaso, e aplicar a mudança vira palpite com cara de resultado.
Página com pouco movimento
A página de serviço recebe poucas visitas por mês, e o time quer testar três títulos. Sem volume, o teste não conclui. Comece pela página com mais visitas e mais gente saindo antes do formulário, como faz o CRO.
Erros comuns
- Encerrar o teste quando uma versão aparece na frente. Compare a data de fim no histórico do experimento com a data em que o resultado foi lido.
- Mudar mais de um elemento na versão B. Liste as diferenças entre as duas versões: se há mais de um item, o resultado não diz o que causou o efeito.
- Ainda carregar o Google Optimize. Procure “optimize” no código da página e no gerenciador de tags.
- Testar sem hipótese escrita. Confira se a ficha do teste traz a hipótese e a métrica de decisão com data anterior ao início.
- Tirar conclusão sobre a página a partir de um teste de anúncio. Se só o anúncio mudou, o resultado vale para o anúncio.
- Testar uma página que quase ninguém visita. Veja as sessões e as conversões dela no período do teste.
Perguntas frequentes
Qual a diferença entre teste A/B e teste multivariado?
O A/B compara duas versões com uma única mudança. O multivariado combina várias mudanças ao mesmo tempo e pede mais tráfego para dizer qual combinação funcionou.
Qual a diferença entre teste de anúncio e teste de página?
O de anúncio, como os experimentos do Google Ads, divide o orçamento entre duas versões da campanha. O de página divide o tráfego entre duas versões da página. Cada um responde a uma pergunta diferente.
Quanto tempo um teste A/B deve durar?
Não existe prazo que sirva a todos. A duração e o volume de visitas dependem de quanto a página converte e são definidos antes de começar. O teste termina na data combinada, não quando uma versão aparece na frente.
O Google Optimize ainda funciona?
Não. Foi encerrado em 30 de setembro de 2023, e os experimentos ativos nessa data foram encerrados. Quem ainda precisa testar páginas usa outra ferramenta.
O que perguntar à agência sobre teste A/B?
Qual era a hipótese, o que mudou na versão B, qual métrica decidia e quanto tempo o teste durou. Pergunte também quantas conversões cada versão teve e se o resultado vale para a página ou só para o anúncio.
Termos relacionados
Aprofunde no blog
Fontes
- Sunset September 2023: Google Optimize. Google Analytics Ajuda, 2023.
- About the Experiments page (formerly drafts and experiments). Google Ads Ajuda.
Escrito por Rudi Kiel, Head de Tráfego e sócio. Revisado por Guilherme Boni em . Como fazemos o glossário