Un framework per il testing in Loop – il metodo V.I.C.E.

Come realizzare A/B test efficaci, misurare i risultati e tenerne traccia su qualsiasi progetto digital

Growth Hacking e Conversion Rate Optimization sono solo alcune delle discipline e delle metodologie comunemente utilizzate per migliorare i risultati delle campagne online, non solo paid.

Tutte queste metodologie si basano sulla formulazione di ipotesi, il testing e la misurazione di risultati.
Di cosa si tratta in realtà? Dell’applicazione sistematica nel marketing online del metodo scientifico. Leggiamone una definizione.

“Il metodo scientifico (o metodo sperimentale) è la modalità tipica con cui la scienza procede per raggiungere una conoscenza della realtà oggettiva, affidabile, verificabile e condivisibile: esso consiste, da una parte, nella raccolta di dati empirici sotto la guida delle ipotesi e teorie da vagliare; dall’altra, nell’analisi rigorosa, logico-razionale e, dove possibile, matematica di questi dati”

Gli A/B Test sono una applicazione rigorosa del metodo scientifico: ci permettono di formulare delle ipotesi, verificarle tramite un esperimento e misurarne i risultati con dati oggettivi.

Perché utilizzare gli A/B Test?
Perché nella totalità dei casi l’arbitro del successo o insuccesso di una campagna è l’utente e quindi un piccolo miglioramento delle KPI che misuriamo (es. conversion rate di una landing page) può portare grandi benefici alle campagne che vi veicolano traffico.

Cosa è un A/B Test?

A/B Testing, nel digital marketing, consiste nella pratica di testare due varianti di uno stesso elemento (es. due landing page con poche variazioni significative, due campagne) per poter capire se l’esperimento (la variante oggetto dell’analisi) è in grado di portare differenze significative e oggettive.

Gli A/B test vengono anche definiti Test 50/50 o Split Test perché solitamente la variante oggetto dell’esperimento viene testata sul 50% dell’elemento di controllo (es. utenti). E’ possibile ovviamente fare test con un rapporto diverso da 50/50 (es. 20/80) ma sarà necessario un tempo maggiore per raccogliere dati.

Immaginiamo di lavorare a una campagna di lead generation da 1000€ al mese, verso una Landing Page che converte al 3% (cioè ottiene 3 lead ogni 100 click). Ogni click costa in media €0,50.

Il calcolo è abbastanza semplice:

• Con 1000€ acquistiamo 2000 click (1000€/0,50€)
• Ogni 2000 click otteniamo 60 lead (il 3% di 2000 click)
• Il costo per 60 lead è di 1000€ (il totale della campagna). Quindi il costo per ogni singola lead è di 16,66€ circa.

Immaginiamo di voler migliorare il tasso di conversione di questa landing. Decidiamo di creare una nuova variante con un form più breve (da 7 campi a 4 campi). Iniziamo un test A/B (dividiamo cioè il 50% del traffico verso la nostra nuova variante) e misuriamo i risultati.

Con nostra sorpresa e soddisfazione scopriamo che questa landing converte al 5%. Proviamo quindi a misurarne l’impatto sulle nostre campagne.

Con 1000€ acquistiamo 2000 click (1000€/0,50€).

• Ogni 2000 cClick otteniamo 100 lead (il 5% di 2000 click)
• Il costo per 100 lead è di 1000€ (il totale della campagna). Quindi il costo per ogni singola lead è di 10€.

Risultato: l’esperimento ha portato a un aumento del tasso di conversione del 66,7% e un calo del costo per conversione del -40%.

In questo caso non abbiamo fatto modifiche alle nostre campagne, non abbiamo aumentato i budget – abbiamo semplicemente verificato l’impatto di una nuova landing in un nostro progetto con un test A/B.

Come formulare/pensare un A/B test?

Molto spesso il design di landing page e siti web non viene definito con metodicità, e così le eventuali migliorie che vengono proposte, decise, applicate non vengono guidate da dati oggettivi. Molto spesso ci si affida al gusto, al proprio istinto, a indicazioni di qualcuno credibile. Magari ci si ispira ad un post o ad un articolo come questo, correndo a implementare qualcosa che ha funzionato per altri.

Questo non sempre è corretto, perché ogni progetto fa storia a sé.

Si può ovviamente partire dal proprio intuito nel formulare un test, ma è buona norma iniziare dall’analisi dei dati e dalla formulazione di ipotesi.

Si tratta principalmente di dati quantitativi: sono dati che possono essere misurati in modo incontrovertibile tramite strumenti di digital analytics, come Google Analytics. Prendiamo il nostro esempio: in questo caso il conteggio delle conversioni provenienti da due differenti landing è appunto una misurazione quantitativa e, al netto del buon funzionamento degli script di tracking, è relativamente sicuro.

Qualche altro esempio di dato quantitativo utilizzabile negli A/B test:

–  Permanenza media nelle pagine
–  Abbandono di un carrello
–  Valore Carrello Medio
–  Scrolling Verticale di una pagina

Ma possono essere fatti test anche su aspetti più business, come ad esempio il pricing di un prodotto mostrato nella landing page.

Anche se è ovviamente possibile condurre diversi test A/B contemporaneamente, è fortemente raccomandato testare UN solo elemento per volta sulla stessa pagina, per poter valutare correttamente l’impatto della modifica. È altrettanto utile tenere traccia delle ipotesi fatte, soprattutto se non riusciamo, per diversi motivi, a fare un test immediatamente.

Come dare la giusta priorità a ciascun test: il framework VICE

In Loop utilizziamo una variante della metodologia ICE per raccogliere le ipotesi, tenere traccia dei test A/B in corso e mantenerne uno storico.

Tenere questa sorta di “diario di bordo” ci è utile soprattutto quando si lavora in team e quando nel tempo si corre il rischio di “dimenticare” quali test sono stati fatti in passato.

La metodologia ICE è stata utilizzata e formulata, tra gli altri, da Sean Ellis per definire le priorità di progetto e di prodotto con un basilare, ma efficace, sistema di scoring. Non è l’unica, ma è una delle metodologie più comuni, con relative varianti e personalizzazioni.

Alla metodologia base è stata aggiunta la V di Velocità. Pensiamo che la rapidità e la facilità nel determinare un risultato possano essere un valore aggiunto per i nostri clienti, perché ogni singola variante migliorativa può significare un incremento di risultati e di fatturato.

VICE è un acronimo dei quattro elementi che valutiamo per capire quali test meritano maggiore attenzione.

V- Velocità (da 1: molto laborioso da preparare/raccolta dati lunga a 10: molto rapido da implementare e valutare)
I- Impatto (da 1: in grado di portare migliorie marginali in termini quantitativi a 10: potenzialmente disruptive rispetto al progetto)
C- Confidenza (da 1: ipotesi non data-driven, test mai realizzato a 10: test ampiamente osservato e risultati “quasi sicuri”)
E- Esperienza e facilità (da 1: lungo e oneroso da implementare a 10: realizzabile con pochissimo sforzo e con poche risorse)

A ciascuno di questi elementi diamo un punteggio da 1 a 10. La somma di questi elementi determina un punteggio da 4 a 40. Maggiore il punteggio, migliore sarà il test (più veloce, più di impatto, più collaudato e più facile da implementare).

Questo strumento ci aiuta a raccogliere le idee (le ipotesi che formuliamo analizzando i dati), ma soprattutto a valutare con attenzione la priorità che dovremmo assegnare a ciascun test, sulla base dell’impatto che può dare e dello sforzo necessario per condurlo.

Dovremmo infatti iniziare dalle cose in grado di generare un impatto, soprattutto se i dati ci danno già indicazioni chiare e ancora meglio se il test è facile da implementare.

Fattore 1: (V)elocità

La velocità indica quanto rapidamente un test può essere completato. L’indicazione principale potrebbe essere determinata da quanto traffico otterrà la pagina oggetto del test: una landing page, ad esempio, avrà più traffico in percentuale di una pagina di checkout di un eCommerce. Maggiore è il traffico che otterrà una pagina, maggiore sarà la velocità di chiusura del test e comprensione dei risultati.

Un altro aspetto è quanto “visibile” sarà l’elemento del test, in generale. È probabile che una call to action in un bottone arancio anziché in un bottone verde possa avere un impatto, ma molto probabilmente non sposterà il conversion rate in modo drastico. L’aspetto di visibilità, ad esempio, può essere rilevante se la pagina ha tantissimi elementi rispetto a una pagina più scarna, con meno possibilità di interazione per l’utente.

Quanto meno evidente e “significativa” sarà la modifica, quanto probabilmente minore sarà l’impatto.

Fattore 2: (I)mpatto

L’Impatto è quanto si ipotizza possa essere rilevante il test rispetto al miglioramento del KPI obiettivo. Se ad esempio il nostro scopo è l’incremento delle iscrizioni alla newsletter, l’inserimento di un freebie particolarmente interessante per gli utenti nell’esperimento a fronte di nessun freebie nella versione originale della pagina di iscrizione può avere un Impatto significativo.

Anche in questo caso la visibilità del test è determinante: cambiamenti radicali avranno probabilmente impatti più radicali, mentre piccole modifiche avranno risultati spesso ‘testa a testa’, rendendo necessario tantissimo traffico per determinare se la modifica è effettivamente in grado di portare miglioramenti.

Possiamo anche ragionare in termini di Impatto rispetto alla posizione dell’elemento testato nel funnel che abbiamo costruito.
Se è tipico che una pagina prodotto abbia più visite di una pagina carrello, che ha a sua volta più visite di una pagina di checkout, un test ben concepito su una pagina prodotto potrebbe avere un fattore di impatto maggiore.

Fattore 3: (C)onfidenza

Il fattore Confidenza determinerà la nostra sicurezza nel predire i risultati del test. Se hai già verificato che un elemento è un collo di bottiglia nel tuo funnel o nella navigazione dell’utente, avendolo riscontrato già in altri test condotti in passato, avrai uno score di Confidenza più alto perché sarai più sicuro del risultato atteso.

Come sempre non fidarti troppo del tuo istinto e non credere che se una cosa ha funzionato una volta funzionerà per sempre. Ipotizza, testa, misura e trai le tue conclusioni.

Fattore 4: (E)sperienza e Facilità

Esperienza e Facilità è un punteggio di autovalutazione su quanto facile sarà implementare il test rispetto alle tue skill, quelle del team (e magari rispetto alla velocità di reazione del tuo cliente).

Chi si occuperà del test? Sarà necessaria una piccola modifica in una campagna, che puoi fare da solo? Sarà necessario l’intervento di un copy? Sarà necessario l’intervento di un designer? Sarà necessario l’intervento di un esperto Magento? Questo può darti la chiara indicazione di quante risorse (tempo e denaro) saranno necessarie per iniziare e completare il test.

Un punteggio di 10 significa che si può fare con estrema facilità, un punteggio di 1 indica che sarà necessario uno sforzo non banale per lanciarlo.

Misurare i risultati e decretare un vincitore

Una volta provata sul campo la metodologia e “messa a processo” sarà relativamente facile tenere traccia dei test attivi, completati e in cantiere. Quando, però, sarà possibile decretare un vincitore?

Un test fatto frettolosamente può infatti portare a risultati migliori, ma può rivelarsi errato sul lungo periodo.

Per assicurarci che il test abbia valore dobbiamo appellarci alla statistica. Se in un test ottengo risultati migliori su una base di 100mila click è probabile che l’impatto sia legato effettivamente alle migliorie oggetto del test e non alla casualità.

Per calcolare facilmente il vincitore di un test puoi usare questo strumento.

Tieni presente che non sempre sarà possibile arrivare a una massa critica rilevante in termini di traffico per poter considerare un test statisticamente significativo. In questo caso valuterai i risultati: se la differenza è comunque netta (es. 10% conversion rate contro 1% conversion rate), anche su una base statistica di dati anche ‘piccola’ potresti decretare comunque un vincitore con relativamente poco rischio.

Vuoi provarlo?

Abbiamo deciso di rilasciare gratuitamente il template che abbiamo realizzato e che utilizziamo.

Vuoi provarlo? Iscriviti qui e riceverai tutte le istruzioni per farne una copia ed utilizzarlo!