A/B Test per Email Marketing: come eseguirlo in modo efficace

Che cos’è l’A/B test nell’email marketing

Nessun marketer al mondo può sottrarsi alla sua dose giornaliera di sano testing, e questo è particolarmente vero nell’email marketing dove qualsiasi cosa – dalle newsletter, ai flussi automatizzati, ai pop-up e signup form – è potenzialmente ottimizzabile.

L’A/B testing o split testing è quel processo che ci permette di validare una ipotesi mettendola a confronto con una sua variazione, lasciando che siano poi i dati a confermarci quale delle due versioni è vincente e quindi migliore per la nostra audience.

Facciamo un esempio per rendere meglio il concetto.

Supponiamo che il nostro e-commerce utilizzi come lead magnet uno sconto di 5€ sul primo ordine, con un coupon che viene inviato via email al contatto che fa opt-in sul nostro pop-up.

Ipotesi: e se invece offrissimo la spedizione gratuita sul primo ordine? Otterremmo più contatti?

E qui si aprono due strade:

• Andare “di pancia” e semplicemente sostituire il lead magnet attuale perché in fondo dentro di te sai già che funzionerà meglio (e tu conosci la tua audience meglio di chiunque altro!);
• Fare i professionisti e impostare un A/B testing che ci darà nel tempo le risposte che stiamo cercando.

Noi abbiamo optato per la seconda opzione, e siamo sicuri che la pensi come noi.

Ecco i risultati intermedi di questo test:

In questo caso, la versione vincente sembrerebbe quella in cui forniamo la spedizione gratuita sul primo ordine.

Sembrerebbe, appunto. Ma possiamo davvero fidarci di questo risultato e prendere già una decisione?

La risposta è un deciso NO, perché ancora manca un ingrediente fondamentale per la ricetta di un A/B test vincente: la significatività statistica, su cui torneremo più avanti.

Perché è importante fare A/B test in modo efficace

Un certo Jeff Bezos, parlando del successo di Amazon dichiarò:

“Our success at Amazon is a function of how many experiments we do per year, per month, per week, per day”

Il successo di uno dei più grandi colossi del mondo e-commerce (e non solo) passa per un testing costante di ipotesi da validare o scartare in base ai risultati ottenuti.

Ora, tu che leggi questo articolo difficilmente stai gestendo un business di questa portata (in tal caso, complimenti!) ma la lezione è chiara e assolutamente applicabile alla tua strategia di email marketing:

Se qualcosa funziona bene, è possibile o addirittura probabile che possa funzionare anche meglio. Se qualcosa funziona meno bene, sicuramente c’è modo di ottimizzarla.

Non fare testing in modo costante o addirittura dimenticarsi della parte di testing adottando un approccio set-and-forget è il modo ideale per ottenere risultati mediocri da uno dei canali più importanti del tuo ecosistema digitale.

Le possibili variabili da testare sono tantissime, vediamo qualche esempio.

Le variabili di un A/B test di email marketing

Ogni test che facciamo altro non è che un tentativo di migliorare una determinata KPI, mettendo a confronto una versione di “controllo” con una versione alternativa. 

Pertanto, il primo passo è quello di partire dall’obiettivo di ottimizzazione ovvero la domanda alla quale cerchiamo di dare risposta attraverso il test.

La seconda email del mio flusso di benvenuto ha un open rate del 20%? 

Il mio obiettivo in questo caso è testare una variante che ritengo possa portare open rate migliori. 

Su cosa agire? In questo caso andrò a creare una subject line differente, e lascerò le due versioni “competere” tra loro per un numero di invii che risulti statisticamente significativo o comunque sufficiente a permettermi di trarre una conclusione attendibile.

La terza email del mio flusso di recupero carrello ha un click rate del 2%? 

Sicuramente dovrò rivedere la call-to-action della mia email: wording, posizione, colore del pulsante. Tutte queste variabili possono essere testate, a patto di fare un test per volta in modo da capire esattamente cosa funziona, e soprattutto cosa non funziona.

Il pop-up del mio e-commerce ha un opt-in rate inferiore all’1%?

Voglio più lead, altrimenti il mio flusso di benvenuto soffre. Come posso portare l’opt-in rate del mio pop-up su livelli accettabili? 

Analizzando il pop-up attuale, e – surprise – creandone una versione alternativa con il cambio di una sola variabile. 

Insomma: andate e testate, miei prodi!

Come impostare un sistema di A/B testing affidabile

Diciamo subito una cosa abbastanza ovvia: testare tanto per farlo è sempre una pessima idea.

Avere le idee chiare sul cosa vogliamo ottenere da ogni singolo A/B test ci permette non solo di condurlo in modo efficace, ma anche di avere una chiara mappa sulle azioni da compiere una volta che il test sarà terminato.

Per questo è utilissimo avere un testing diary che consenta di tenere traccia dei test effettuati, con relativi risultati e possibili iterazioni per ottimizzare ulteriormente le varianti vincenti.

Creare questo diario di bordo è molto semplice: nella nostra esperienza, un Google Sheet di questo tipo è più che sufficiente per avere una chiara visione degli A/B test di email marketing che effettuiamo sui nostri clienti.

Quando progetti un A/B test, assicurati di:

• Formulare una ipotesi chiara come obiettivo del test;
• Testare sempre e solo una variabile alla volta;
• Avere un campione significativo di dati prima di decretare l’esito del test.

Come rendere l’A/B test affidabile e attendibile

Quando effettuiamo degli A/B test di email marketing, è importante familiarizzare con il concetto di significatività statistica di un test.

Senza entrare troppo nel tecnico, la significatività statistica di un test è la probabilità che il risultato del test non sia dovuto al caso, ma sia verosimilmente credibile.

Come puoi facilmente immaginare, per raggiungere una significatività statistica il campione di dati deve essere sufficientemente grande.

La buona notizia è che non è necessario essere esperti di calcolo delle probabilità per fare analisi di questo tipo sui risultati di un A/B test, visto che software come Klaviyo forniscono questa informazione all’interno dei suoi tool di analytics.

Qui ad esempio vediamo il risultato di un A/B test effettuato su una newsletter, dove abbiamo messo a confronto due subject line leggermente diverse al fine di valutare quale delle due versioni portasse open rate migliori.

Questo test ha visto la variante A vincere con significatività statistica, ovvero in modo statisticamente attendibile.

Se utilizziamo un calcolatore per A/B Testing come ad esempio quello fornito da Dynamic Yield, vediamo che il risultato è ampiamente confermato.

Ricordi il test mostrato all’inizio di questo articolo?

Nel confronto tra i due pop-up con “promesse” differenti (5€ di sconto – spedizione gratuita) non abbiamo ancora abbastanza dati per poter determinare quale offerta sia la migliore per i clienti di questo e-commerce.

Se decidessimo di interrompere il test adesso e decretare la spedizione gratuita come nuovo lead magnet, avremmo un 32.15% di probabilità di prendere una decisione errata nel lungo periodo.

Forse è meglio lasciar andare questo test ancora per un po’, sei d’accordo?

Ovviamente è sempre possibile interrompere il test prima che venga raggiunta una significatività statistica, per varie ragioni.

Ma idealmente sarebbe ottimale avere quanti più dati possibili per limitare effetti sgraditi della varianza.

Esempi di A/B test nell’email marketing

Non sempre è possibile determinare un vincitore di un A/B test.

Questo accade quando i risultati del test non vedono una variante vincere in maniera rilevante sull’altra, nonostante un campione statistico ragionevole di email inviate (nel caso di campagne e flussi) o di impression (nel caso di pop-up e signup forms).

Un esempio è questo test sul flusso di recupero checkout, in cui abbiamo testato timing differenti per valutare possibili variazioni nel conversion rate:

Nonostante un numero di invii discretamente importante, non sembra esserci una differenza significativa e pertanto sembra improbabile che questo test avrà un vero vincitore.

Ma un A/B test dall’esito inconclusivo ci fornisce comunque delle informazioni utili, e ci permette di prendere delle decisioni sulla base di quanto osservato. Possiamo ad esempio far partire nuovi test su variabili differenti, partendo dalla consapevolezza che i due timing testati hanno offerto risultati analoghi.

Never stop testing!

Conclusioni

Un approccio organizzato e data-driven all’A/B testing è uno dei pilastri di una strategia di email marketing che funziona.

Rimboccati le maniche, e spero che questo articolo possa darti qualche spunto per rendere i tuoi test ancora più efficienti.

Per qualsiasi domanda, chiedi pure nei commenti!