Test A/B: guida completa e consigli degli esperti di Google e HubSpot

Test A/B: guida completa e consigli degli esperti di Google e HubSpot

Test A/B: guida completa e consigli degli espertiProbabilmente questa non è la prima volta che vi documentate sull’A/B testing, di cui si parla ampiamente in vari articoli. E magari già sottoponete al test A/B l'oggetto delle vostre email o i vostri post sui social media.

Malgrado le abbondanti informazioni divulgate sull’argomento, molti marketer continuano a fare A/B testing in modo errato. La conseguenza? Decisioni aziendali importanti vengono assunte sulla base di risultati imprecisi e test sbagliati.

Il problema è che il procedimento per eseguire i test A/B è spesso descritto in modo semplicistico, specie nel caso dei contenuti destinati ai commercianti.

Ecco perché abbiamo preparato questa guida completa e semplice per sottoporre al test A/B il vostro sito ecommerce.

Sommario

  1. Che cos'è il test A/B?
  2. Come funziona il test A/B
  3. Cos’è un test A/B/n?
  4. Qual è la durata ideale di un test A/B?
  5. Perché condurre un test A/B?
  6. Quali pagine del sito sottoporre all’A/B testing
  7. Assegnare delle priorità alle idee di A/B testing
  8. Corso di statistica accelerato per A/B testing
  9. Come impostare un test A/B
  10. Come analizzare i risultati di un test A/B
  11. Archiviare i test A/B condotti
  12. Procedimenti di A/B testing seguiti dai professionisti

1. Che cos'è il test A/B?

Il test A/B, anche definito split test, è un procedimento mediante il quale si confrontano due versioni della stessa pagina web, per determinare quale di esse produca il rendimento migliore.

Tale procedimento consente di rispondere a quesiti commerciali importanti, aiuta a generare più entrate dal traffico attuale e getta le basi per una strategia di marketing fondata sui dati. 

2. Come funziona il test A/B

Si mostra al 50% dei visitatori la versione A (chiamiamola “originale”) e al restante 50% dei visitatori la versione B (chiamiamola “variante”).

La versione della pagina web che genera il più alto tasso di conversione supera il test. Ad esempio, supponiamo che la variante (versione B) generi il tasso di conversione più alto. In tal caso, verrà stabilito che la variante ha superato il test e da quel momento sarà mostrata al 100% dei visitatori.

Dunque, la variante si trasformerà in “originale” e occorrerà progettare una nuova variante.

Vale la pena di ricordare che il tasso di conversione è un metro di valutazione imperfetto del successo. Se per assurdo rendessimo gratuito ogni articolo in vendita, il tasso di conversione aumenterebbe istantaneamente. Certo, questa sarebbe una pessima scelta commerciale.

Ecco perché il valore delle conversioni dovrebbe essere ancorato a un criterio di misurazione economico. 

3. Cos’è un test A/B/n?

Con il test A/B/n, è possibile testare simultaneamente più varianti, raffrontandole allo stesso originale. In questo caso, non si mostra al 50% dei visitatori l’originale e al 50% dei visitatori la variante. Piuttosto, ad esempio, si mostra al 25% dei visitatori l’originale, ad un altro 25% la prima variante, ad un ulteriore 25% la seconda variante e al restante 25% la terza variante.

Nota: il test A/B/n differisce dal test multivariato, anche se entrambi prevedono il raffronto tra più varianti. Infatti, con i test multivariati si testano più varianti e simultaneamente più elementi, con l'obiettivo di capire quale combinazione offra il rendimento migliore.

Test multivariato e test A/B

 

Fonte immagine

Per condurre un test multivariato occorre disporre di un notevole traffico; quindi per ora tralasceremo questo tipo di test. 

4. Qual è la durata ideale di un test A/B?

La durata ideale di un test A/B è di almeno uno o, meglio ancora, due interi cicli economici. Non interrompete il test solo perché i dati sono diventati significativi. Per completare il test, dovete arrivare a esaminare un campione di utenti di grandezza predeterminata. Infine, non scordate che il test dev’essere condotto per periodi composti da settimane complete.

Perché la durata ideale di un test A/B è di due interi cicli economici? Innanzitutto, perché così è possibile prendere in considerazione:

  1. gli acquirenti indecisi, che non effettuano subito l’acquisto;
  2. tutte le diverse fonti di traffico (Facebook, newsletter, ricerca organica, ecc.);
  3. eventi speciali, come un’ipotetica “newsletter del venerdì”.

“Statisticamente significativo” non significa “test completato”

Se vi è già capitato di usare un qualsiasi strumento per lo split test, probabilmente avrete familiarità con l'icona verde “statisticamente significativo”.

Per molti, sfortunatamente, questo è il segnale universale per indicare che “il test è completato e pronto da esportare”. Ma come apprenderete più avanti, nel corso accelerato di statistica, “statisticamente significativo” non equivale a “test completato”. L’avere raggiunto un certo grado di rilevanza statistica non significa poter interrompere il test.

Come calcolare la dimensione del campione da esaminare

Dunque come predeterminare correttamente le dimensioni del campione da esaminare? Non è complicato come sembra. Aprite uno strumento per calcolare la dimensione di un campione, come questo di Evan Miller.

calcolatore dimensione campione e Test A/B

Il calcolo qui sopra indica che, se il vostro tasso di conversione attuale è del 5% e volete essere in grado di rilevare un effetto minimo del 15%, vi occorre un campione di 13.533 visitatori per variante. Quindi, in totale, per un test A/B standard, serviranno oltre 25.000 visitatori.

Fondamentalmente, più è alto l’effetto minimo rilevabile (MDE), meno visitatori occorrono per testare le varianti; infatti il vostro strumento di split test non rileverà i risultati al di sotto della soglia minima.

Guardate cosa accade a diminuire l’effetto minimo rilevabile:

calcolatore dimensione campione test A/B

Rispetto al calcolo precedente, l’unico valore modificato è l'effetto minimo rilevabile, che è sceso dal 15% all'8%. In questo caso, sarà necessario un campione di 47.127 visitatori per variante. Quindi, in totale, sono necessari quasi 100.000 visitatori se si tratta di un test A/B standard.

La dimensione del campione da esaminare va calcolata in anticipo, prima di iniziare il test. E il test non può essere interrotto, anche se acquisisce un valore statisticamente significativo, finché non si giunga ad esaminare la dimensione del campione predeterminata. Diversamente, il risultato raggiunto non sarà attendibile.

Questo è il motivo per cui non ha senso seguire regole come “interrompere il test dopo 100 conversioni”.

È anche importante condurre i test per incrementi di settimane complete. Il traffico può cambiare in base al giorno della settimana e all'ora del giorno; quindi, dovrete essere sicuri di protrarre il test fino all’ultimo giorno della settimana.

5. Perché condurre un test A/B?

Ipotizziamo che spendiate 100 Euro in inserzioni Facebook per indirizzare dieci persone al vostro sito ed ammettiamo che il vostro valore medio dell'ordine sia pari a 25 Euro. Se 8 visitatori lasciano il sito senza acquistare nulla e 2 spendono 25 Euro a testa, avrete perso 50 Euro.

Supponiamo ora che investiate 100 Euro in inserzioni Facebook per indirizzare dieci persone al vostro sito. Il vostro valore medio dell'ordine è sempre di 25 Euro. Però, questa volta solo cinque visitatori lasciano il sito senza acquistare nulla, mentre gli altri cinque spendono 25 Euro a testa. Il risultato? Avrete guadagnato 25 Euro.

Si tratta di una semplificazione, ovviamente. Ma il senso è che, aumentando il tasso di conversione del sito, si rende più redditizio lo stesso volume di traffico.

Che il test dimostri o meno la maggiore efficacia della variante, comunque otterrete informazioni utili ed applicabili in vari contesti. Ad esempio, ammettiamo che un test A/B su una descrizione di prodotto fornisca indicazioni utili per il copywriting. Queste potranno essere impiegate per migliorare la value proposition e le altre descrizioni di prodotto.

Inoltre, tendere costantemente a migliorare l’efficacia del proprio negozio ha un valore intrinseco innegabile.

È il caso di condurre un test A/B?

Non necessariamente. Se il traffico sul vostro sito è scarso, probabilmente nel vostro caso il test A/B non è la soluzione migliore per l’ottimizzazione. Ad esempio, è probabile che si verifichi un ritorno sull'investimento (ROI) più elevato mediante dei test utente o dialogando con i clienti.

“Malgrado quel che si può credere, ottimizzare il tasso di conversione non significa solo condurre dei test”.

Consideriamo le cifre risultanti dallo strumento per calcolare le dimensioni del campione di cui sopra. Con un tasso di conversione standard del 5%, occorrono 47.127 visitatori per variante per rilevare un effetto dell'8%. Immaginiamo che intendiate testare una pagina di prodotto. Ne avete una che ottiene più o meno 100.000 visitatori nell’arco di 2-4 settimane?

Durata del test

Perché “nell’arco di 2-4 settimane”?! Perché, come abbiamo detto prima, un test A/B va eseguito idealmente per due cicli economici completi. Il che equivale generalmente ad un periodo di 2-4 settimane. Ora forse state pensando: “Nessun problema, protrarrò il test fino ad esaminare un campione della dimensione richiesta”. Ma non è una soluzione che funziona.

Vedete, più a lungo dura un test, più è soggetto a fattori esterni che incidono sulla sua validità, inquinando il campione. Ad esempio, i visitatori potrebbero cancellare i loro cookie e finire reinseriti nel test A/B come nuovi visitatori. O qualcuno potrebbe passare dal cellulare al desktop e visitare una variante alternativa.

In sostanza, protrarre il test troppo a lungo non è una buona soluzione.

In sintesi:

Vale la pena di investire per condurre un test A/B se il vostro negozio è in grado di raggiungere le dimensioni richieste per il campione in 2-4 settimane. Altrimenti, meglio prendere in considerazione altre forme di ottimizzazione finché il traffico non aumenterà.

Julia Starostenko, Data Scientist di Shopify, è d'accordo e spiega:

Foto esperto Julia Starostenko

Julia Starostenko, Shopify

“Sperimentare è divertente! Ma è importante assicurarsi che i risultati siano accurati. Chiedetevi se il vostro pubblico è abbastanza numeroso e se avete raccolto abbastanza dati. Per raggiungere una vera rilevanza statistica (entro un ragionevole lasso di tempo), la dimensione del pubblico dev’essere sufficientemente ampia”.

6. Quali pagine del sito sottoporre all’A/B testing?

Non so dirvi quali pagine dovreste sottoporre a uno split test. Lo so, lo so, vi semplificherei la vita dandovi una lista di “99 cose da testare adesso”. I marketer disposti a farlo in cambio di click non mancano di certo.

Ma la verità è che per stabilire quali test valga la pena di condurre c’è solo un modo: analizzare i vostri dati. E né io né chi è disposto a stilare quelle enormi liste di idee abbiamo accesso ai vostri dati, ai vostri clienti, ecc. Quindi nessuno di noi può dirvi a ragion veduta cosa testare.

“L’unico modo per stabilire quale test valga la pena di fare è analizzare i vostri dati”.

Piuttosto, il mio consiglio è: determinate voi stessi attraverso analisi qualitative e quantitative quali test valga la pena di condurre. Ecco alcuni metodi per farlo:

Analisi tecnica:

Il vostro negozio si carica correttamente e velocemente su tutti i browser? Su ogni dispositivo? Magari voi avete un nuovo e sfavillante iPhone X, ma qualcuno dei vostri visitatori potrebbe usare ancora un Motorola Razr dal 2005. Se il vostro sito non funziona correttamente e velocemente, sicuramente non converte tanto quanto potrebbe.

Sondaggi sul sito:

I sondaggi sul sito vengono visualizzati quando i visitatori navigano all’interno del vostro negozio. Ad esempio, un sondaggio sul sito potrebbe chiedere ai visitatori che si sono soffermati sulla stessa pagina per un po’ se c'è qualcosa che li frena dall’effettuare un acquisto immediato. Se sì, di che si tratta? Potete utilizzare simili dati qualitativi per migliorare il materiale pubblicato e il tasso di conversione.

Interviste ai clienti:

Prendere il telefono e parlare con i clienti è qualcosa di insostituibile. Perché hanno preferito il vostro negozio a quelli dei concorrenti? Quale problema cercavano di risolvere quando sono approdati ​​sul vostro sito? Ci sono mille domande che potreste porre per arrivare a capire davvero chi siano i vostri clienti e perché facciano acquisti da voi.

Sondaggi condotti presso i clienti:

Sono sondaggi completi indirizzati a persone che hanno già effettuato un acquisto e non ai semplici visitatori. Nel progettarli, occorre definire il profilo dei clienti, i loro problemi, le loro esitazioni precedenti all'acquisto. Inoltre occorre identificare le parole e le frasi che i clienti usano per descrivere il vostro negozio.

Analisi dei dati:

I vostri strumenti di analisi sono in grado di monitorare e riportare i dati correttamente? Potrebbe sembrare una domanda sciocca, ma rimarreste sorpresi nel sapere quanti sono gli strumenti di analisi configurati in modo errato. Questa analisi consiste nell'immergersi nei dati ed esaminare come si comportano i vostri visitatori. Ad esempio, potreste concentrarvi sul percorso d’acquisto. Qual è il punto dove la maggior parte dei visitatori desistono? In altre parole, dove la maggior parte degli utenti abbandonano il vostro percorso d’acquisto? Quello è un buon punto da sottoporre al test A/B, per iniziare.

Test utente:

Consistono nel guardare persone reali che cercano di eseguire delle attività sul vostro sito. Ad esempio, potreste chiedere loro di trovare sul sito un videogioco che costa 40-60 Euro e aggiungerlo al loro carrello. Mentre svolgono i compiti richiesti, dovranno illustrare i loro pensieri e azioni ad alta voce.

Riproduzioni delle sessioni:

Sono simili ai test utente. Questa volta però non avete solo a che fare con persone reali, ma con vero denaro e intenzioni di acquisto reali. Si tratta di osservare come i veri visitatori navigano all’interno del vostro sito. C’è qualcosa che hanno difficoltà a trovare? O un qualcosa che genera in loro frustrazione o confusione?

Esistono anche ulteriori tipi di ricerca, ma questi 7 metodi sono un buon punto di partenza. Provatene alcuni e otterrete tantissime idee su quali parti del vostro sito ecommerce sottoporre all’A/B testing. Create la vostra lista personalizzata: sarà molto più produttivo che basarvi su articoli del tipo “99 cose da testare adesso”, ve lo garantisco.

7. Assegnare delle priorità alle idee di A/B testing

Raccogliere un elenco enorme di idee per fare A/B testing genera entusiasmo, ma non serve a decidere da dove iniziare. Vediamo come stabilirlo.

Esistono alcuni schemi per definire delle priorità, stabilendo in quale ordine eseguire i test A/B:

ICE

ICE sta per impact, confidence and ease.

  • Impatto: se il test riesce, quale sarà l’impatto?
  • Fiducia: quanto siete fiduciosi che il test riuscirà?
  • Facilità: qual è la facilità di implementazione del test?

Per ognuno di questi fattori, va assegnato un punteggio da uno a dieci. Ad esempio, se si tratta di un test che riuscite a condurre facilmente da soli, senza l'aiuto di uno sviluppatore o di un designer, potete assegnargli un punteggio di facilità pari a 8. Ovviamente si tratta di un giudizio soggettivo. Se più persone conducono i test, la valutazione rischia di diventare arbitraria; perciò è utile predisporre delle linee guida che aiutino a dare valutazioni uniformi.

PIE

PIE sta per potential, importance and ease.

  • Potenziale: quanto può essere migliorata la pagina?
  • Importanza: quanto è importante il traffico della pagina in questione?
  • Facilità: qual è la facilità di implementazione del test?

Ancora una volta, ogni fattore riceve un punteggio da uno a dieci. Ad esempio, se il test è destinato a raggiungere il 90% dei vostri visitatori, potreste assegnargli un punteggio di importanza pari a 8. La PIE è soggettiva come la ICE; quindi, delle linee guida possono essere utili anche per questo schema.

PXL

PXL è lo schema suggerito da Conversion XL per stabilire delle priorità.

È un po’ diverso dagli altri due e più personalizzabile, il che porta a decisioni più obiettive. Invece di tre fattori, sono presenti domande chiuse (sì/no) e una domanda sulla facilità di implementazione del test.

Ad esempio, questo schema potrebbe prevedere domande come: “Il test è progettato per aumentare la motivazione?” In caso di risposta affermativa, il punteggio è 1. Mentre in caso di risposta negativa il punteggio è 0.

Potete saperne di più su questo schema e scaricare il foglio di calcolo da qui.

Categorie di idee

Ora sapete da dove iniziare. Tra l’altro, questi schemi possono anche aiutarvi a suddividere le vostre idee in varie categorie. Ad esempio, durante alcune ricerche sulle conversioni svolte di recente, ho creato una suddivisione tra idee da implementare, su cui indagare e da testare.

  1. Da implementare: cambiamento da apportare senz’altro, perché è presente un errore o comunque la sua necessità è ovvia.
  2. Su cui indagare: definire meglio il problema o la sua possibile soluzione.
  3. Da testare: l'idea è solida e basata sui dati. Da testare!

Tra questo metodo per suddividere le idee in categorie e gli schemi per la definizione delle priorità, ora siete pronti per iniziare a fare A/B testing.

8. Corso di statistica accelerato per A/B testing

Prima di condurre un test, è importante aver delle nozioni di statistica. Lo so, la statistica di solito non è molto amata; ma pensate a questo come al corso obbligatorio che vi siete sforzati di seguire pur di laurearvi.

La statistica è una componente importante dell’A/B testing. Fortunatamente gli strumenti per i test hanno semplificato il lavoro di ottimizzazione; ma è fondamentale avere una conoscenza di base di ciò che accade dietro le quinte, per la successiva analisi dei risultati dei test.

Alex Birkett, Direttore di Marketing per lo Sviluppo di HubSpot, spiega:

Foto esperto Alex Birkett

Alex Birkett, HubSpot

“Quando si parla di statistica, non ci si riferisce ad un numero magico di conversioni o ad un semplice indicatore di “successo” o “fallimento”. Piuttosto, si tratta di un procedimento utilizzato per prendere decisioni difficili e per ridurre il rischio, gettando luce sul possibile esito di una decisione.

In tale ottica, penso sia davvero necessario conoscere le nozioni di base: media, varianza, campionamento, deviazione standard, regressione alla media e campione “rappresentativo”. Oltretutto, quando si inizia con l’A/B testing, queste conoscenze aiutano ad impostare alcune barriere specifiche volte a mitigare il più possibile l'errore umano”.

Cos'è la media?

È il valore medio. Il vostro obiettivo è trovare una media rappresentativa.

Ad esempio, supponiamo siate alla ricerca del prezzo medio dei videogiochi. Per trovarlo, non sommerete il prezzo di ogni videogioco esistente al mondo per poi dividere l’importo totale per il numero di tutti questi videogiochi. Piuttosto, isolerete un piccolo campione, che sia rappresentativo di tutti i videogiochi del mondo.

Potreste finire per calcolare il prezzo medio su duecento videogiochi; e, se avete selezionato un campione rappresentativo, la media dei loro prezzi dovrebbe corrispondere al prezzo medio di tutti i videogiochi del mondo.

Cos'è la varianza?

È la variabilità media. Essenzialmente, maggiore è la variabilità, meno sarà accurata la previsione di un singolo punto dati attraverso la media.

Quindi, nell’esempio, indica quanto il prezzo medio si avvicina al prezzo reale di ogni singolo videogioco.

Che cos'è il campionamento?

Maggiore è la dimensione del campione, minore è la variabilità. In altri termini, più il campione è grande, più la media è accurata.

Ipoteticamente, se prendeste in esame un campione di duemila videogiochi, anziché di duecento, avreste una varianza inferiore e una media più precisa.

Cos’è la significatività statistica?

Ipotizzando che non vi siano differenze tra A e B, quanto spesso si assiste ad un diverso effetto per puro caso?

Più basso è il livello di significatività statistica, maggiore è la probabilità che la variante, sia pur “vincente”, non sia realmente migliore dell’originale.

In parole povere, un basso livello di significatività corrisponde a un’alta probabilità di “falso positivo”.

Si noti che la maggior parte degli strumenti di A/B testing segnalano la “significatività statistica” senza attendere il raggiungimento di una data prestabilita o della dimensione predeterminata del campione. È per questo che potreste notare l’oscillazione del test tra “statisticamente significativo” e “statisticamente insignificante”.

Peep Laja, fondatore del CXL Institute, desidera che più persone capiscano veramente la significatività statistica e perché essa sia ​​importante:

Foto esperto Peep Laja

Peep Laja, CXL Institute

“La significatività statistica non equivale alla validità del test, non è una regola di arresto. Raggiungere il 95% — o una percentuale superiore — di significatività statistica non significa molto, se non sono soddisfatte altre due più importanti condizioni:

1. Dimensioni sufficienti del campione in esame, sulla base di quanto predeterminato con l’apposita calcolatrice della grandezza del campione. In tal caso, l'esperimento è stato condotto su un numero sufficiente di persone per poter trarre delle conclusioni.

2. Durata sufficiente del test A/B per poter considerare rappresentativo il campione (inoltre la durata non dev’essere eccessiva, per evitare l'inquinamento del campione). Nella maggior parte dei casi, la durata ideale per un test A/B è di 2, 3 o 4 settimane; ciò in base a quanto serve per raggiungere la dimensione necessaria del campione”.

Cos'è la regressione alla media?

Quando iniziate il test, potreste notare delle fluttuazioni estreme.

La regressione alla media è il fenomeno per cui, se un valore è estremo nella prima misurazione, sarà probabilmente più vicino alla media nella seconda misurazione.

Se l'unico motivo per cui ritenete completato un test è che ha raggiunto una significatività statistica, potreste trovarvi in presenza di un falso positivo. La vostra variante vincente probabilmente regredirà alla media nel tempo.

Cos'è la potenza statistica?

Supponendo che vi sia una differenza tra A e B, quanto frequentemente se ne rileva l'effetto?

Più bassa è la potenza statistica, maggiori sono le probabilità che la variante “vincente” non venga riconosciuta. Viceversa, più elevata è la potenza statistica, minore è il rischio che la variante “vincente” non venga riconosciuta. In realtà, tutto ciò che dovete sapere è che la maggior parte degli strumenti di A/B testing considerano standard una potenza statistica dell'80%.

Ton Wesseling, fondatore di Online Dialogue, desidera che più persone sappiano cos’è la potenza statistica:

Foto esperto Ton Wesseling

Ton Wesseling, Online Dialogue

“Molte persone si preoccupano dei falsi positivi. Noi ci preoccupiamo molto di più dei falsi negativi. Perché condurre esperimenti laddove la probabilità di trovare una prova che il vostro cambiamento positivo abbia un impatto è davvero bassa...?”

Quali sono le minacce esterne alla validità?

Esistono fattori esterni che minacciano la validità dei test A/B, tra cui:

  • Black Friday, festività natalizie e periodo dei saldi;
  • menzioni positive o negative della stampa;
  • lancio di importanti campagne a pagamento;
  • giorno della settimana;
  • cambio di stagione.

Ad esempio, ipotizziamo che abbiate in programma di condurre un test A/B nel mese di dicembre. In questo periodo, lo shopping natalizio può comportare un aumento del traffico sul vostro sito ecommerce. E le performance della variante “vincente” a dicembre potrebbero rivelarsi non buone in gennaio.

Perché?

A causa di una minaccia esterna alla validità: le vacanze.

Infatti avete fondato la vostra decisione su dati anomali. E in gennaio, una volta normalizzatasi la situazione, potreste restare sorpresi, scoprendo che la pagina selezionata non è quella che offre il rendimento migliore.

Accorgimenti per ridurre le minacce esterne alla validità

Non è possibile eliminare le minacce esterne alla validità. Tuttavia è possibile attenuarle:

  • conducendo i test per settimane complete (ad esempio, non avviate un test di lunedì terminandolo al venerdì);
  • includendo diversi tipi di traffico (ad esempio, non basate il test solo sul traffico a pagamento per poi usare i risultati in relazione al traffico di qualsiasi sorgente);
  • essendo consapevoli delle potenziali minacce.

9. Come impostare un test A/B

Prima di condurre un test, dovete disporre di una solida ipotesi. Ottimo, abbiamo appena terminato la lezione di matematica e ora passiamo a quella di scienze...

Ma non temete, non è nulla di complicato. Fondamentalmente, bisogna sottoporre allo split test un'ipotesi, non un'idea. Un'ipotesi è misurabile, aspira a risolvere uno specifico problema di conversione e si focalizza su intuizioni e non su convinzioni.

Bisogna sottoporre allo split test un'ipotesi, non un'idea.

Per scrivere un’ipotesi, uso sempre una formula presa in prestito da Hypothesis Kit di Craig Sullivan:

  • Avendo visto che [inserire dati/feedback della ricerca]
  • Mi aspetto che [il cambiamento che state testando] causerà [impatto che prevedete]
  • Lo misurerò con [metrica dati]

Facile, no? Tutto quel che dovete fare è riempire gli appositi campi e la vostra idea per un test A/B si trasformerà in un'ipotesi.

Scegliere uno strumento di A/B testing

Ora potete iniziare a scegliere uno strumento di A/B testing. I primi che vengono in mente di solito sono Google Optimize, Optimizely e VWO.

Si tratta di tre opzioni valide e affidabili.

  • Google Optimize: è gratuito, salvo alcune limitazioni per i test multivariati, che però non dovrebbero interessarvi se avete appena iniziato. Funziona in sinergia con Google Analytics, il che è un vantaggio.
  • Optimizely: permette di condurre i test meno elaborati con facilità, anche senza avere competenze tecniche. Stats Engine semplifica l'analisi dei risultati dei test. Tra le tre opzioni, normalmente Optimizely è la più costosa.
  • VWO: dispone di SmartStats per semplificare l'analisi. Inoltre, offre un ottimo editor WYSIWYG per principianti. In ogni piano VWO sono inclusi: mappa a colori, sondaggi sul sito, dati analitici sui moduli, ecc.

Anche nell'App Store di Shopify abbiamo alcuni strumenti per A/B testing che potreste trovare utili.

Una volta selezionato uno strumento per A/B testing, basta registrarsi e seguire le istruzioni fornite. Il processo varia da strumento a strumento. In genere, tuttavia, vi verrà richiesto di installare uno snippet sul vostro sito e impostare gli obiettivi.

10. Come analizzare i risultati di un test A/B

Poco fa abbiamo detto che scrivere un'ipotesi sposta l'attenzione dalle convinzioni alle intuizioni. Krista Seiden, Analytics Advocate e Product Manager di Google, spiega cosa significa:

Foto esperto Krista Seiden

Krista Seiden, Google

“L'aspetto più trascurato in fatto di test A/B è l'opportunità di apprendere dalle varianti “perdenti”. Perciò, nei programmi di ottimizzazione che eseguo, ho preso l'abitudine di pubblicare un “report fallimenti”, in cui cito alcune tra le varianti “perdenti” più significative del quadrimestre e quel che ci hanno insegnato.

Una delle mie preferite in assoluto si riferiva a una campagna in corso da mesi. Siamo riusciti a sottoporre al test A/B la nuova landing page poco prima della sua pubblicazione; ed è stato un bene, perché è stata miseramente bocciata dal test. Se avessimo effettivamente lanciato la pagina così com'era, avremmo subito notevoli perdite. Non solo abbiamo finito per far risparmiare all'azienda un sacco di soldi, ma siamo stati in grado di approfondire e fare alcune ipotesi (che abbiamo poi testato) sul perché la nuova pagina si fosse rivelata così scarsa. Questo ci ha resi dei marketer migliori e ci ha permesso di avere più successo nelle nuove campagne”.

Se costruite la vostra ipotesi correttamente, anche la variante perdente sarà un risultato positivo, permettendovi di ottenere conoscenze da utilizzare per i test futuri e in altre aree della vostra attività. Quindi, nell’analizzare i risultati del test A/B, dovete focalizzarvi sulla loro comprensione, non limitandovi a verificare se il test sia riuscito o meno. C'è sempre qualcosa da imparare, sempre qualcosa da analizzare. Non ignorate i dati ricavabili dalle varianti perdenti!

Se costruite la vostra ipotesi correttamente, anche la variante perdente sarà un risultato positivo.

Segmentazione nell’analisi dei risultati di un test A/B

La cosa più importante su cui soffermarsi è la necessità di segmentazione. Spesso un test fallisce nel suo complesso, ma riesce con almeno un segmento.

A cosa mi riferisco col termine “segmento”?

Ai visitatori:

  • nuovi e ricorrenti;
  • provenienti da iOS, Android, Chrome, Safari, desktop, tablet;
  • provenienti dai risultati di ricerca organici e a pagamento, o dai social media;
  • registrati sul sito.

Ora dovreste avere un’idea più precisa. Riprendendo la metafora utilizzata in passato per spiegare i segmenti: nell’esaminare i risultati nel vostro strumento di A/B testing, è come se guardaste un pacchetto di Smarties. Quel che dovete fare è separare le Smarties per colore, in modo da poter mangiare quelle rosse per ultime. Così facendo, potrete ricavare dai dati delle informazioni più profonde e segmentate.

È probabile che l'ipotesi risulti dimostrata in particolare rispetto ad alcuni segmenti. Anche questo vi fornisce un’informazione utile.

In sintesi:

L'analisi non consiste semplicemente nel verificare se il test A/B sia riuscito o meno, ma in qualcosa di molto più approfondito. Concentratevi sulle informazioni e segmentate i dati, per scoprire ulteriori informazioni nascoste sotto la superficie.

Gli strumenti di A/B testing non svolgono l'analisi per voi; quindi questa è un'abilità importante da sviluppare nel tempo. 

11. Archiviare i test A/B condotti

Ipotizziamo di iniziare a condurre dei test A/B da domani. A distanza di due anni, ricorderemo i dettagli del nostro primo test? Probabilmente no.

Ecco perché è importante creare un archivio con i risultati dei test A/B condotti. Senza un archivio ben organizzato, tutte le informazioni raccolte andranno perse. Inoltre, non scherzo, è molto facile testare la stessa cosa due volte, se non si ha un archivio.

Non esiste un modo “giusto” per farlo, però. Potreste usare uno strumento come GrowthHackers Projects o Effective Experiments, oppure potreste usare Excel. Dipende davvero da voi, soprattutto se dovete ancora iniziare.

Dati da archiviare:

Assicuratevi solo di archiviare:

  • le ipotesi;
  • screenshot di pagine originali e varianti;
  • risultati dei test;
  • approfondimenti ottenuti dall'analisi.

Man mano che la vostra azienda crescerà, sarete grati a voi stessi per aver tenuto questo archivio. Non solo aiuterà voi, ma anche i vostri nuovi dipendenti, soci e consulenti.

12. Procedimenti di A/B testing seguiti dai professionisti

Finora abbiamo descritto il procedimento standard per condurre un test A/B. Ma adesso approfondiremo l’argomento, dando un'occhiata ai procedimenti seguiti dai professionisti di aziende come Google e HubSpot.

Krista Seiden, Google

Il mio procedimento step by step per l’A/B testing inizia con l'analisi. A mio parere, questo è il punto centrale di ogni buon programma di A/B testing.

Analisi

Nella fase di analisi, l'obiettivo è esaminare dati analitici, sondaggi, dati sulla user experience o qualsiasi altra fonte d’informazioni sui clienti di cui potreste disporre, per capire quali parti del sito sia opportuno ottimizzare.

Individuare le “aree di ottimizzazione”

Appena raccolte alcune idee dalla fase di analisi, passate a ipotizzare cosa potrebbe non andar bene e pensate a come correggere o migliorare queste “aree di ottimizzazione”.

A/B testing

Successivamente, è il momento di configurare e condurre i test. Assicuratevi di eseguirli per un ragionevole lasso di tempo. Di regola, io conduco un test per due settimane, per assicurarmi di tenere conto delle variazioni o delle anomalie presenti di settimana in settimana.

Analisi dei risultati

Quando avete dati sufficienti, analizzate i risultati, per determinare quale variante sia risultata “vincente”.

È anche importante dedicare del tempo in questa fase ad analizzare le versioni perdenti: cosa potete imparare da queste varianti?

Personalizzazione

Infine — e potete raggiungere questo stadio solo dopo aver dedicato del tempo a gettare le basi per un solido programma di ottimizzazione —, è tempo di guardare alla personalizzazione. Questa non richiede necessariamente uno sforzo creativo; gli spunti possono emergere dai dati che avete raccolto sui vostri utenti.

La personalizzazione può essere semplice (ad esempio, basata sulla posizione geografica) o complessa (es. targeting basato su singole azioni dell'utente). Tuttavia, non concentratevi subito sulla personalizzazione; prima, assicuratevi di dedicare abbastanza tempo a risolvere i problemi di base del sito.

Alex Birkett, HubSpot

Per risultati di alto livello, seguo questo procedimento:

  • Raccolgo i dati e mi assicuro che l’analisi sia accurata.
  • Analizzo i dati e trovo delle informazioni.
  • Trasformo le informazioni in ipotesi.
  • Assegno delle priorità in base a impatto e facilità; e ottimizzo l’allocazione delle risorse (in particolare, le risorse tecniche).
  • Eseguo il test A/B (seguendo le migliori pratiche statistiche e facendo del mio meglio in base alle mie conoscenze e capacità).
  • Analizzo i risultati e implemento o meno le modifiche contenute nella variante, a seconda dell’esito del test.
  • Ripeto il procedimento sulla base dei dati raccolti.

Più semplicemente, le fasi sono queste: ricerca, test, analisi, ripetizione.

Questo procedimento può differire o cambiare in base al contesto. Ad esempio: stiamo testando un prodotto aziendale? O la call to action di un blog? Qual è il profilo di rischio? E il rapporto tra innovazione e mitigazione del rischio? In ogni caso, questo procedimento è generalmente applicabile ad aziende di ogni dimensione e tipologia.

Il punto è che questo procedimento è agile, ma raccoglie anche abbastanza dati: sia feedback qualitativi dei clienti che analisi quantitative. Per questo è in grado di fornire idee migliorative e definire più precisamente le priorità, in modo da non sprecare il traffico.

Ton Wesseling, Online Dialogue

La prima domanda a cui rispondiamo sempre quando vogliamo ottimizzare il percorso d’acquisto del cliente è: dove si colloca questo prodotto o servizio all’interno del modello “ROAR” (Rischio, Ottimizzazione, Automazione, Revisione) che abbiamo creato qui ad Online Dialogue? Siete ancora nella fase di rischio, in cui potremmo fare molte ricerche, ma non possiamo convalidare le nostre scoperte tramite esperimenti online (meno di mille conversioni al mese)? O siete nella fase di ottimizzazione? O anche oltre?

Fasi del modello ROAR:

  1. Rischio: fase dove avvengono molte ricerche; queste potranno tradursi in qualsiasi cosa, da un modello di business a un design completamente nuovo o ad una nuova value proposition.
  2. Ottimizzazione: fase di grandi esperimenti, volti a ottimizzare la value proposition e il modello di business.
  3. Ottimizzazione: fase di piccoli esperimenti, volti a convalidare le ipotesi di comportamento degli utenti; grazie ad essi, si svilupperanno le conoscenze per modifiche di design più ampie.
  4. Automazione: fase in cui avete ancora a disposizione delle risorse per la sperimentazione (visitatori); ciò significa che, per convalidare il percorso d’acquisto, non vi serve sfruttare tutto il vostro potenziale. Quello residuo dovrebbe essere usato per crescere velocemente, senza soffermarsi a rilevare dati per un futuro sviluppo aziendale. In questa fase, l’analisi potrebbe essere affidata a strumenti automatici come bandit e algoritmi.
  5. Revisione: fase in cui non si fanno più molte ricerche, salvo se non emerge qualcosa di nuovo.

ROOAR

Come è visibile nell’immagine, il test A/B è molto produttivo solo nella fase di ottimizzazione del modello ROAR e oltre, fino alla revisione.

Il nostro approccio all'esecuzione di esperimenti è il modello FACT & ACT:

FACT & ACT

Modello 5V

Eseguiamo le ricerche sulla base del nostro modello 5V:

modello 5V

  • Visualizzazione: dati analitici, grafici, registrazioni, dati di mercato.
  • Voce: servizio clienti, sondaggi, chat, feedback, ricerche utenti.
  • Dati validati: test precedenti.
  • Dati verificati: ricerca scientifica, concorrenti.
  • Valore: mission, visione, strategia, obiettivi.

Raccogliamo tutte queste informazioni per elaborare un'ipotesi principale, supportata dalla ricerca; questa porterà ad ipotesi secondarie, che saranno ordinate per priorità in base ai dati raccolti. Più alta è la probabilità che l'ipotesi sia vera, più in alto essa sarà collocata tra le priorità.

Una volta che apprendiamo se la nostra ipotesi è vera o falsa, possiamo iniziare a combinare le nozioni apprese, compiendo passi più grandi, riprogettando e ridefinendo parti più ampie del percorso d’acquisto. Tuttavia, a un certo punto, tutte le implementazioni vincenti porteranno a un “massimo locale”. Poi occorrerà fare un passo più grande, per essere in grado di raggiungere un potenziale “massimo globale”.

E, naturalmente, le principali informazioni emerse saranno diffuse in tutta l'azienda; questo porterà a un’ottimizzazione e innovazione più ampia, sulla base delle intuizioni iniziali, convalidate.

Julia Starostenko, Shopify

Lo scopo di un esperimento è convalidare l’ipotesi che apportare modifiche a una pagina web esistente avrà un impatto positivo sull'azienda.

Prima di iniziare, è importante determinare se è veramente necessario eseguire un esperimento. Consideriamo il seguente scenario: esiste un pulsante con una percentuale di clic estremamente bassa. Sarebbe quasi impossibile ridurre le prestazioni di questo pulsante. Non è quindi necessario convalidare con un test l'efficacia di una modifica proposta per il pulsante.

Allo stesso modo, se la modifica proposta per il pulsante è minima, probabilmente non vale la pena dedicare del tempo a configurare e condurre un test. In questo caso, può essere opportuno semplicemente rendere note a tutti le modifiche, monitorando le prestazioni del pulsante.

Se si determina che l'esecuzione di un esperimento sarebbe effettivamente vantaggiosa, il passaggio successivo consiste nel definire le metriche aziendali da migliorare (ad esempio, aumentare il tasso di conversione di un pulsante). A questo punto, noi ci assicuriamo che sia stata predisposta una corretta raccolta dei dati.

Una volta completato, il pubblico viene suddiviso casualmente in due gruppi; ad un gruppo viene mostrata la versione esistente del pulsante, mentre all'altro gruppo la nuova versione. Il tasso di conversione di ciascun segmento di pubblico viene monitorato e, una volta raggiunta la significatività statistica, vengono determinati i risultati dell'esperimento.

Peep Laja, CXL Institute

Il test A/B fa parte di un più ampio quadro di ottimizzazione delle conversioni. A mio parere, l'80% del lavoro riguarda la ricerca e solo il 20% riguarda i test. La ricerca sulle conversioni vi aiuterà a determinare cosa testare per iniziare.

Di solito, il procedimento che seguo è simile a questo (ecco un riassunto semplificato):

  • Conducete ricerche di conversione utilizzando un modello come ResearchXL per identificare i problemi sul vostro sito.
  • Scegliete un problema ad alta priorità (grave e che interessa una grande porzione di utenti) e fate brainstorming per trovare quante più soluzioni possibile a questo problema. Ispirate il processo di ideazione ai vostri dati di ricerca sulle conversioni. Determinate per quale dispositivo desiderate eseguire il test (è necessario eseguire test separati per desktop e mobile).
  • Determinate quante varianti potete testare (in base al vostro traffico e al livello di transazioni); quindi, scegliete la soluzione migliore, o le migliori due, da mettere a confronto.
  • Progettate in dettaglio le varianti (scrivete il testo, apportate le modifiche al design, ecc.). A seconda della portata delle modifiche, potrebbe anche essere necessario ricorrere a un designer per progettare nuovi elementi.
  • Chiedete al vostro sviluppatore front-end di implementare le varianti nel vostro strumento di A/B testing. Impostate le integrazioni necessarie (Google Analytics) e gli obiettivi appropriati.
  • Conducete verifiche sul test (il principale motivo di fallimento dei test A/B è il malfunzionamento) per assicurarvi che funzioni con ogni browser e dispositivo.
  • Avviate il test A/B!
  • Una volta terminato il test, non scordate di condurre l'analisi post-test.
  • A seconda del risultato, implementate la variante che ha vinto, soffermatevi sulle modifiche o svolgete un nuovo test.

Ora tocca a voi

Ad un buon procedimento di A/B testing corrisponde un grande potenziale!

Ora che sapete come condurre un test A/B, organizzatevi e iniziate a testare il vostro negozio ecommerce. Prima ancora di rendervene conto, vedrete le vostre intuizioni trasformarsi in profitti.


Which method is right for you?Note sull’Autore - Giulia Greco è caporedattrice e responsabile di marketing per Shopify in Italiano. Traduttrice ed esperta di localizzazione, vive a Toronto da 15 anni e da 15 anni non beve un caffè espresso degno di questo nome. Articolo originale di Shanelle Mullin, tradotto da Maria Teresa Cantafora.

Inizia la tua prova gratuita di 14-giorni