Teste A/B: útil com tráfego, enganador sem ele

O princípio: duas versões, um sorteio, uma medição

«Test A/B» e «A/B test» são pesquisados, cada um, 1600 vezes por mês em França. O princípio: uma versão A (a atual) e uma versão B (a alteração), apresentadas ao acaso a visitantes comparáveis durante o mesmo período. Como só a página difere, a diferença de conversão medida pode ser atribuída à alteração, se a amostra for suficientemente grande.

Ronny Kohavi e os seus coautores, que dirigiram a experimentação em grandes empresas da web, resumem o interesse do método num artigo de referência publicado em 2009: as equipas aprendem mais quando ouvem os seus clientes em vez da «opinião da pessoa mais bem paga» (a «HiPPO»). O mesmo artigo insiste no que faz falhar os testes: a potência estatística, o tamanho da amostra e a variância.

Quanto tráfego é preciso para concluir?

O tráfego necessário depende de duas coisas: a sua taxa de conversão atual e a dimensão da diferença que quer detetar. Quanto mais baixa a taxa e mais pequena a diferença, mais visitantes são precisos. Uma aproximação corrente em estatística, para um teste com duas versões e os limiares habituais (5% de risco de falso alarme, 80% de probabilidade de detetar um efeito real), dá por versão: n ≈ 16 × p × (1 − p) ÷ d², em que p é a taxa de conversão e d a diferença absoluta a detetar.

Exemplo de cálculo: com uma taxa de 2% (p = 0,02) e a vontade de detetar uma subida para 2,4% (d = 0,004), obtém-se cerca de 16 × 0,02 × 0,98 ÷ 0,000016, ou seja, perto de 20 000 visitantes por versão, 40 000 no total, para um único teste. Uma diferença mais pequena exige muito mais.

Os nossos próprios sites ilustram o limite: no conjunto dos nossos sites que vendem, o Google Analytics mediu 351 sessões de 1 de outubro de 2026 a 19 de outubro de 2026 (só são contados os visitantes que aceitam a medição). Nenhum destes sites permite um teste A/B conclusivo sobre as suas compras. É o caso da maioria das PME.

Use uma calculadora de tamanho de amostra antes de lançar um teste e fixe a duração antecipadamente. Parar um teste assim que uma versão «ganha» é o erro mais frequente: com espreitadelas suficientes, o acaso acaba sempre por produzir um falso vencedor.

Sem tráfego suficiente: corrigir, depois medir antes e depois

Um site pequeno ganha mais a corrigir o que está manifestamente avariado do que a testar nuances. Eis o que se corrige sem teste, porque o defeito é evidente:

1. 1
   O botão de compra ou de orçamento invisível sem deslizar no telemóvel.
2. 2
   Os custos de entrega descobertos apenas no pagamento.
3. 3
   A conta obrigatória antes de pagar.
4. 4
   O formulário com mais de cinco campos.
5. 5
   A página que demora vários segundos a mostrar o seu conteúdo principal.
6. 6
   O número de telefone não clicável.

Com tráfego: o que testar primeiro

Quando o seu tráfego o permite, teste o que tem o maior efeito possível, nas páginas com mais visitas:

• A própria oferta: preço, conteúdo de um pack, plano em destaque.
• O título e a primeira frase da landing page.
• A ordem dos blocos: provas antes ou depois do preço.
• O número de etapas do pagamento.
• A apresentação das opções: três planos contra um só.

A cor de um botão raramente faz parte da lista: o efeito esperado é demasiado pequeno para ser medido com o tráfego de uma PME.

Mapas de calor e gravações de sessões: úteis, com consentimento

«Heatmap» (mapa de calor) é pesquisado 5400 vezes por mês em França. Um mapa de calor mostra onde os visitantes clicam e até onde deslizam numa página. Não prova nada sobre a conversão, mas revela depressa os problemas: um elemento não clicável em que toda a gente tenta tocar, um botão que ninguém vê porque está demasiado em baixo, um bloco ignorado.

Do lado da privacidade, a CNIL (a autoridade francesa de proteção de dados) só dispensa de consentimento algumas ferramentas de medição de audiências, sob condições estritas (apenas estatísticas anónimas, dados não reutilizados para outros fins). As ferramentas de gravação de sessões e de mapas de calor vão muitas vezes além disso: verifique a configuração da sua ferramenta face à recomendação da CNIL, e recolha o consentimento quando for exigido.

Conduzir um teste corretamente: a lista

1. 1
   Uma hipótese escrita antes do teste: «mostrar o prazo de entrega debaixo do botão vai aumentar as adições ao carrinho».
2. 2
   Um único indicador principal, decidido antecipadamente: compras, adições ao carrinho ou pedidos de orçamento.
3. 3
   O tamanho da amostra e a duração calculados antes de começar, em semanas inteiras para cobrir os dias fracos e fortes.
4. 4
   Uma distribuição aleatória dos visitantes, vendo cada um sempre a mesma versão.
5. 5
   Nenhuma leitura dos resultados para decidir antes do fim previsto.
6. 6
   Um relatório escrito, com vencedor ou não: um teste sem efeito também é informação.