Test A/B: útil con tráfico, engañoso sin él

El principio: dos versiones, el azar y una medición

«Test A/B» y «A/B test» se buscan cada uno 1600 veces al mes en Francia. El principio: una versión A (la actual) y una versión B (la modificación), mostradas al azar a visitantes comparables durante el mismo periodo. Como solo cambia la página, la diferencia de conversión medida puede atribuirse a la modificación, si la muestra es lo bastante grande.

Ronny Kohavi y sus coautores, que dirigieron la experimentación en grandes empresas de internet, resumen el interés del método en un artículo de referencia publicado en 2009: los equipos aprenden más cuando escuchan a sus clientes que cuando siguen «la opinión de la persona mejor pagada» (la «HiPPO»). El mismo artículo insiste en lo que hace fracasar los tests: la potencia estadística, el tamaño de la muestra y la varianza.

¿Cuánto tráfico hace falta para sacar conclusiones?

El tráfico necesario depende de dos cosas: tu tasa de conversión actual y el tamaño de la diferencia que quieres detectar. Cuanto más baja es la tasa y más pequeña la diferencia, más visitantes hacen falta. Una aproximación habitual en estadística, para un test de dos versiones con los umbrales usuales (5 % de riesgo de falsa alarma, 80 % de probabilidades de detectar un efecto real), da por versión: n ≈ 16 × p × (1 − p) ÷ d², donde p es la tasa de conversión y d la diferencia absoluta que se quiere detectar.

Ejemplo de cálculo: con una tasa del 2 % (p = 0,02) y el objetivo de detectar un paso al 2,4 % (d = 0,004), se obtiene aproximadamente 16 × 0,02 × 0,98 ÷ 0,000016, es decir, cerca de 20.000 visitantes por versión, 40.000 en total, para un solo test. Una diferencia más pequeña exige muchos más.

Nuestras propias webs ilustran el límite: en el conjunto de nuestras webs que venden, Google Analytics midió 351 sesiones del 1 de octubre de 2026 al 19 de octubre de 2026 (solo se cuentan los visitantes que aceptan la medición). Ninguna de estas webs permite un test A/B concluyente sobre sus compras. Es el caso de la mayoría de las pymes.

Usa una calculadora de tamaño de muestra antes de lanzar un test y fija la duración de antemano. Parar un test en cuanto una versión «gana» es el error más frecuente: a fuerza de mirar, el azar acaba siempre produciendo un falso ganador.

Sin tráfico suficiente: corregir y después medir antes y después

Una web pequeña gana más corrigiendo lo que está claramente roto que probando matices. Esto es lo que se corrige sin test, porque el defecto es evidente:

1. 1
   El botón de compra o de presupuesto que no se ve sin hacer scroll en el móvil.
2. 2
   Los gastos de envío que solo se descubren en el pago.
3. 3
   La cuenta obligatoria antes de pagar.
4. 4
   El formulario de más de cinco campos.
5. 5
   La página que tarda varios segundos en mostrar su contenido principal.
6. 6
   El número de teléfono que no se puede pulsar.

Con tráfico: qué probar primero

Cuando tu tráfico lo permita, prueba lo que pueda tener más efecto, en las páginas con más visitas:

• La propia oferta: precio, contenido de un pack, opción destacada.
• El título y la primera frase de la landing page.
• El orden de los bloques: pruebas antes o después del precio.
• El número de pasos del pago.
• La presentación de las opciones: tres planes frente a uno solo.

El color de un botón rara vez está en la lista: el efecto esperado es demasiado pequeño para medirlo con el tráfico de una pyme.

Heatmaps y grabaciones de sesiones: útiles, con consentimiento

«Heatmap» se busca 5400 veces al mes en Francia. Un mapa de calor muestra dónde hacen clic los visitantes y hasta dónde hacen scroll en una página. No demuestra nada sobre la conversión, pero revela rápido los problemas: un elemento no pulsable que todo el mundo intenta tocar, un botón que nadie ve porque está demasiado abajo, un bloque que se ignora.

En cuanto a la privacidad, en Francia la CNIL solo exime del consentimiento a algunas herramientas de medición de audiencia, con condiciones estrictas (solo estadísticas anónimas, datos que no se reutilizan para otros fines). Las herramientas de grabación de sesiones y de mapas de calor suelen ir más allá: revisa la configuración de tu herramienta a la luz de la recomendación de la CNIL (y de la normativa de tu país) y recoge el consentimiento cuando sea obligatorio.

Hacer un test como es debido: la lista

1. 1
   Una hipótesis escrita antes del test: «mostrar el plazo de entrega debajo del botón aumentará los añadidos al carrito».
2. 2
   Un solo indicador principal, decidido de antemano: compras, añadidos al carrito o solicitudes de presupuesto.
3. 3
   El tamaño de la muestra y la duración calculados antes de empezar, en semanas completas para cubrir los días flojos y los fuertes.
4. 4
   Un reparto aleatorio de los visitantes, y que cada uno vea siempre la misma versión.
5. 5
   Ninguna lectura de resultados para decidir antes del final previsto.
6. 6
   Un informe escrito, gane o no: un test sin efecto también es información.