Le principe : deux versions, un hasard, une mesure
« Test A/B » et « A/B test » sont recherchés chacun 1 600 fois par mois en France. Le principe : une version A (l’actuelle) et une version B (la modification), présentées au hasard à des visiteurs comparables pendant la même période. Comme seule la page diffère, l’écart de conversion mesuré peut être attribué à la modification, si l’échantillon est assez grand.
Ronny Kohavi et ses coauteurs, qui ont dirigé l’expérimentation chez de grands acteurs du web, résument l’intérêt de la méthode dans un article de référence publié en 2009 : les équipes apprennent le plus quand elles écoutent leurs clients plutôt que « l’avis de la personne la mieux payée » (la « HiPPO »). Le même article insiste sur ce qui fait échouer les tests : la puissance statistique, la taille d’échantillon et la variance.
Combien de trafic faut-il pour conclure ?
Le trafic nécessaire dépend de deux choses : votre taux de conversion actuel et la taille de l’écart que vous voulez détecter. Plus le taux est bas et l’écart petit, plus il faut de visiteurs. Une approximation courante en statistique, pour un test à deux versions avec les seuils usuels (5 % de risque de fausse alerte, 80 % de chances de détecter un vrai effet), donne par version : n ≈ 16 × p × (1 − p) ÷ d², où p est le taux de conversion et d l’écart absolu à détecter.
Exemple de calcul : avec un taux de 2 % (p = 0,02) et l’envie de détecter un passage à 2,4 % (d = 0,004), on obtient environ 16 × 0,02 × 0,98 ÷ 0,000016, soit près de 20 000 visiteurs par version, 40 000 au total, pour un seul test. Un écart plus petit demande beaucoup plus.
Nos propres sites illustrent la limite : sur l’ensemble de nos sites qui vendent, Google Analytics a mesuré 351 sessions du 1 octobre 2026 au 19 octobre 2026 (seuls les visiteurs qui acceptent la mesure sont comptés). Aucun de ces sites ne permet un test A/B concluant sur ses achats. C’est le cas de la plupart des PME.
Utilisez un calculateur de taille d’échantillon avant de lancer un test, et fixez la durée à l’avance. Arrêter un test dès qu’une version « gagne » est l’erreur la plus fréquente : avec assez de coups d’œil, le hasard finit toujours par produire un faux gagnant.
Sans assez de trafic : corriger, puis mesurer avant et après
Un petit site gagne plus à corriger ce qui est manifestement cassé qu’à tester des nuances. Voici ce qui se corrige sans test, parce que le défaut est évident :
- Le bouton d’achat ou de devis invisible sans défiler sur mobile.
- Les frais de livraison découverts seulement au paiement.
- Le compte obligatoire avant de payer.
- Le formulaire de plus de cinq champs.
- La page qui met plusieurs secondes à afficher son contenu principal.
- Le numéro de téléphone non cliquable.
Avec du trafic : quoi tester en premier
Quand votre trafic le permet, testez ce qui a le plus d’effet possible, sur les pages qui ont le plus de visites :
- L’offre elle-même : prix, contenu d’un pack, formule mise en avant.
- Le titre et la première phrase de la page d’atterrissage.
- L’ordre des blocs : preuves avant ou après le prix.
- Le nombre d’étapes du paiement.
- La présentation des options : trois formules contre une seule.
La couleur d’un bouton fait rarement partie de la liste : l’effet attendu est trop petit pour être mesuré sur un trafic de PME.
Heatmaps et enregistrements de sessions : utiles, avec le consentement
« Heatmap » est recherché 5 400 fois par mois. Une carte de chaleur montre où les visiteurs cliquent et jusqu’où ils font défiler une page. Elle ne prouve rien sur la conversion, mais elle révèle vite les problèmes : un élément non cliquable que tout le monde essaie de toucher, un bouton que personne ne voit parce qu’il est trop bas, un bloc ignoré.
Côté vie privée, la CNIL n’exempte de consentement que certains outils de mesure d’audience, sous conditions strictes (statistiques anonymes uniquement, données non réutilisées à d’autres fins). Les outils d’enregistrement de sessions et de cartes de chaleur vont souvent au-delà : vérifiez la configuration de votre outil au regard de la recommandation de la CNIL, et recueillez le consentement quand il est requis.
Mener un test proprement : la liste
Une hypothèse écrite avant le test
« afficher le délai de livraison sous le bouton augmentera les ajouts au panier ».Un seul indicateur principal, décidé à l’avance
Achats, ajouts au panier ou demandes de devis.- La taille d’échantillon et la durée calculées avant de commencer, en semaines entières pour couvrir les jours faibles et forts.
- Une répartition au hasard des visiteurs, chacun voyant toujours la même version.
- Aucune lecture des résultats pour décider avant la fin prévue.
Un compte rendu écrit, gagnant ou non
Un test sans effet est aussi une information.
Questions fréquentes
Qu’est-ce qu’un test A/B ?
C’est une expérience qui présente au hasard deux versions d’une page à des visiteurs comparables, pendant la même période, pour mesurer laquelle convertit le mieux.
Combien de visiteurs faut-il pour un test A/B ?
Cela dépend du taux de conversion et de l’écart recherché. Avec un taux de 2 % et un écart à détecter de 0,4 point, il faut de l’ordre de 20 000 visiteurs par version : la plupart des petits sites n’ont pas ce trafic.
Combien de temps doit durer un test A/B ?
La durée nécessaire pour atteindre l’échantillon calculé, en semaines entières, fixée avant de commencer. Arrêter dès qu’une version semble gagner produit de faux gagnants.
Une heatmap remplace-t-elle un test A/B ?
Non. Elle montre où les visiteurs cliquent et jusqu’où ils lisent, ce qui aide à trouver des problèmes, mais elle ne mesure pas l’effet d’une modification sur les ventes.