Test A/B: utile con il traffico, ingannevole senza

Il principio: due versioni, il caso, una misura

In Francia «test a/b» e «a/b test» vengono cercati ciascuno 1600 volte al mese. Il principio: una versione A (quella attuale) e una versione B (la modifica), mostrate a caso a visitatori comparabili nello stesso periodo. Siccome cambia solo la pagina, la differenza di conversione misurata può essere attribuita alla modifica, se il campione è abbastanza grande.

Ronny Kohavi e i suoi coautori, che hanno guidato la sperimentazione presso grandi aziende del web, riassumono il valore del metodo in un articolo di riferimento pubblicato nel 2009: i team imparano di più quando ascoltano i clienti invece dell’«opinione della persona più pagata» (la «HiPPO»). Lo stesso articolo insiste su ciò che fa fallire i test: potenza statistica, dimensione del campione e varianza.

Quanto traffico serve per concludere?

Il traffico necessario dipende da due cose: il tuo tasso di conversione attuale e la dimensione della differenza che vuoi rilevare. Più il tasso è basso e la differenza piccola, più visitatori servono. Un’approssimazione comune in statistica, per un test a due versioni con le soglie usuali (5% di rischio di falso allarme, 80% di probabilità di rilevare un effetto reale), dà per versione: n ≈ 16 × p × (1 − p) ÷ d², dove p è il tasso di conversione e d la differenza assoluta da rilevare.

Esempio di calcolo: con un tasso del 2% (p = 0,02) e l’obiettivo di rilevare un passaggio al 2,4% (d = 0,004), si ottiene circa 16 × 0,02 × 0,98 ÷ 0,000016, cioè quasi 20.000 visitatori per versione, 40.000 in totale, per un solo test. Una differenza più piccola ne richiede molti di più.

I nostri siti mostrano il limite: su tutti i nostri siti che vendono, Google Analytics ha misurato 351 sessioni dall’1 ottobre 2026 al 19 ottobre 2026 (contano solo i visitatori che accettano la misurazione). Nessuno di questi siti permette un test A/B conclusivo sugli acquisti. È il caso della maggior parte delle PMI.

Usa un calcolatore della dimensione del campione prima di lanciare un test, e fissa la durata in anticipo. Fermare un test non appena una versione «vince» è l’errore più frequente: a forza di sbirciare, il caso finisce sempre per produrre un falso vincitore.

Senza abbastanza traffico: correggere, poi misurare prima e dopo

Un sito piccolo guadagna di più correggendo ciò che è palesemente rotto che testando sfumature. Ecco cosa si corregge senza test, perché il difetto è evidente:

1. 1
   Il pulsante d’acquisto o di preventivo invisibile su mobile senza scorrere.
2. 2
   Le spese di spedizione scoperte solo al pagamento.
3. 3
   L’account obbligatorio prima di pagare.
4. 4
   Il modulo con più di cinque campi.
5. 5
   La pagina che impiega diversi secondi a mostrare il contenuto principale.
6. 6
   Il numero di telefono non cliccabile.

Con il traffico: cosa testare per primo

Quando il traffico lo permette, testa ciò che può avere l’effetto maggiore, sulle pagine con più visite:

• L’offerta stessa: prezzo, contenuto di un pacchetto, formula messa in evidenza.
• Il titolo e la prima frase della landing page.
• L’ordine dei blocchi: prove prima o dopo il prezzo.
• Il numero di passaggi del pagamento.
• La presentazione delle opzioni: tre formule contro una sola.

Il colore di un pulsante raramente fa parte della lista: l’effetto atteso è troppo piccolo per essere misurato con il traffico di una PMI.

Heatmap e registrazioni delle sessioni: utili, con il consenso

In Francia «heatmap» viene cercato 5400 volte al mese. Una mappa di calore mostra dove i visitatori cliccano e fin dove scorrono una pagina. Non dimostra nulla sulla conversione, ma rivela in fretta i problemi: un elemento non cliccabile che tutti provano a toccare, un pulsante che nessuno vede perché è troppo in basso, un blocco ignorato.

Sul fronte privacy, in Francia la CNIL (l’autorità francese per la protezione dei dati) esenta dal consenso solo alcuni strumenti di misurazione dell’audience, a condizioni rigide (solo statistiche anonime, dati non riutilizzati per altri scopi). Gli strumenti di registrazione delle sessioni e le heatmap spesso vanno oltre: verifica la configurazione del tuo strumento rispetto alla raccomandazione della CNIL e raccogli il consenso quando è richiesto.

Condurre un test come si deve: la lista

1. 1
   Un’ipotesi scritta prima del test: «mostrare i tempi di consegna sotto il pulsante aumenterà le aggiunte al carrello».
2. 2
   Un solo indicatore principale, deciso in anticipo: acquisti, aggiunte al carrello o richieste di preventivo.
3. 3
   Dimensione del campione e durata calcolate prima di iniziare, in settimane intere per coprire i giorni deboli e quelli forti.
4. 4
   Una distribuzione casuale dei visitatori, ognuno dei quali vede sempre la stessa versione.
5. 5
   Nessuna lettura dei risultati per decidere prima della fine prevista.
6. 6
   Un resoconto scritto, che ci sia un vincitore o no: anche un test senza effetto è un’informazione.