VELOCE CHECK LIST PER MIGLIORARE I TUOI TEST

Ago 29, 2016 by Staff WM EXPO in  News

Prima di fornire la lista come da titolo è bene fare uno step-back (Flavio Tranquillo docet) e schiarirsi le idee sulle due metodologie di test più diffuse: Split Vs Multivariate test.

Split test o A/B/n test

Fondamentalmente si tratta di confrontare due o più versioni di una stessa pagina somministrate agli utenti di un sito e, in base agli obiettivi che si è deciso di monitorare, decretare la pagina vincente (conversion rate più elevato).

Casi d’uso: lo split test deve essere utilizzato quando si vuole mettere a confronto il design di una pagina o di un flusso (Es. funnel di acquisto) rispetto a quello esistente. Come si evince dal suo nome, split test è “limitato” alla valutazione di due o tre elementi “fixed” alla volta.

ab-testing-1

 

Test Multivariato

Rispetto al precedente, un test multivariato è composto da un numero maggiore di variabili e ha come scopo quello di restituire la miglior conversion rate definita dalla combinazione più efficace di queste variabili tra loro. Le variabili sono ovviamente elementi della pagina, come ad esempio header, footer, blocchi di testo, immagini, video, ecc che un software combinerà – con N gradi di libertà – e sottoporrà poi agli utenti.

Casi d’uso: il test multivariato è utile sicuramente quando si vogliono testare più elementi contemporaneamente ma ha lo svantaggio di necessitare di un corretto volume di traffico, in quanto le combinazioni presentate dagli utenti aumentano esponenzialmente.

multivariate-test

 

CHECKLIST

Di seguito una veloce checklist da utilizzare prima di iniziare a generare testing.

  1. TESTARE TUTTO IN UN’UNICA SOLUZIONE?

Se si decide di generare un A/B test per testare tutti gli elementi in un’unica soluzione… fermatevi finchè siete in tempo.

Come riportato precedentemente, l’A/B test serve a verificare al massimo due – tre elementi di una pagina, non di più. Se mettiamo in test una pagina completamente diversa da quella originale andremo incontro a due errori molto comuni, ovvero l’assenza di una verifica di ipotesi chiara e l’impossibilità di analizzare correttamente l’influenza dei singoli elementi.

Rischiamo, ad un certo punto, di trovarci di fronte alla domanda: ok, il CR è aumentato, ma qual è l’elemento chiave? Anche se abbiamo tracciato tutti gli elementi (bottoni, check box, scrolling, ecc) non saremo mai sicuri al 100% che l’increemento di CR è dovuto ad un elemento specifico in assenza di altre variabili.

Se si desidera testare tutto è molto meglio ricorrere al test multivariato, ricordandosi però di:

  • Analizzare bene il comportamento degli utenti sul sito
  • Definire il segmento di utenti da sottoporre a test
  • Generare una lista di ipotesi da testare
  • Verificare e validare ogni singola ipotesi con il test

 

  1. SELEZIONARE IL TARGET DI UTENTI

Generare un test e somministrarlo al 100% degli utenti, molto spesso, significa “sparare nel mucchio, sperando vada bene”.

Prima di inizializzare un test è bene segmentare gli utenti a seconda delle principali caratteristiche, prima a livello macro (es. mezzo utilizzato per arrivare al sito) per poi passare al livello più granulare (es. hanno cliccato il bottone whishlist tra il 10 ed il 12 febbraio).  In questo modo sarà possibile conoscere la navigazione dei singoli bucket di utenti e proporre a ciascuno, secondo il loro comportamento, varianti quanto più targhettizzate possibile.

  1. NON DIMENTICARSI DEI MICRO GOALS

Il testing serve sicuramente ad aumentare le conversioni principali (lead, transazioni) ma si rivela utile in fase di studio del comportamento degli utenti all’interno delle varianti proposte.

Oltre a focalizzarsi sul main goal, quindi, è necessario ragionare anche su elementi che porteranno alla conversione, come ad esempio sign ups, whishlist, ecc. In questo modo sarà possibile capire quale variante di pagina è più efficace nel’ accrescere le sottoscrizioni alla newsletter, a ridurre l’abbandono dei carrelli e così via.

  1. TIMING

Ogni test richiede più o meno tempo, a seconda di determinate caratteristiche come: miglioramento atteso, numero di varianti, visitatori ecc.

Utilizzare strumenti come il test duration di VWO (https://vwo.com/ab-split-test-duration/) permette di farsi un’idea sulla durata del test.

Non bisogna mai stoppare un test troppo presto, magari dopo pochi giorni perché potreste incorrere in un falso positivo. I falsi positivi si generano in quanto gli utenti si comportano in modo diverso a seconda del segmento di appartenenza e dei giorni della settimana. Ad esempio, pensando al settore travel, un utente il lunedì naviga alla ricerca della vacanza, mercoledì cerca informazioni/opinioni approfondite, venerdì pomeriggio acquista.

E’ abbastanza usuale, quindi, mantenere vivo un test per almeno 7 giorni.

  1. INTERVALLO DI CONFIDENZA (STATISTICA)

Solitamente qualsiasi software di testing genera due possibili scenari di confidenza 95% e 99%. Andare a stoppare un test che presenta una confidenza inferiore al 95% significa sbagliare, in quanto il margine di errore è troppo elevato.

E’possibile analizzare un intervallo di confidenza con strumenti come R o come Excel ma si può ricorrere a strumenti online come ad esempio: https://vwo.com/ab-split-test-significance-calculator/

Non abbiate quindi paura di testare, fate semplicemente attenzione ad alcune “regole” di base e ricordate che… senza dati, siete solo persone con delle opinioni.

 

 

 

 

Intervista a Claudio Gagliardini

Mag 13, 2015

In che anno hai iniziato e perché? In linea generale mi occupo di comunicazione da quando ho iniziato a lavorare, anche se ho cambiato molte attività e ho spaziato molto, fino ad arrivare all’inizio del nuovo millennio, quando ho compreso appieno il senso e le opportunità della rete. Da allora non ho mai smesso di […]

Grazie a tutti gli Sponsor

Set 27, 2015

Ci teniamo a ringraziare tutti gli sponsor che hanno partecipato ed hanno reso possibile la realizzazione di quello che per noi, soltanto fino a ieri, era soltanto un sogno. Capta che ci farà sentire più sicuri nei luoghi di lavoro, grazie alla sua business intelligence che consente alle imprese di valorizzare e consolidare il loro […]

Intervista a Dario Ciraci’

Mag 14, 2015

In che anno hai iniziato e perchè? Ho iniziato nel 2009, dopo un paio di anni in cui mi ero avvicinato al web marketing soltanto come osservatore. Ho iniziato perché questa attività rappresentava il naturale proseguimento del mio percorso di studi universitario, che aveva a che fare con l’Internet Marketing e rappresentava la mia passione […]