VELOCE CHECK LIST PER MIGLIORARE I TUOI TEST

Prima di fornire la lista come da titolo è bene fare uno step-back (Flavio Tranquillo docet) e schiarirsi le idee sulle due metodologie di test più diffuse: Split Vs Multivariate test.

Split test o A/B/n test

Fondamentalmente si tratta di confrontare due o più versioni di una stessa pagina somministrate agli utenti di un sito e, in base agli obiettivi che si è deciso di monitorare, decretare la pagina vincente (conversion rate più elevato).

Casi d’uso: lo split test deve essere utilizzato quando si vuole mettere a confronto il design di una pagina o di un flusso (Es. funnel di acquisto) rispetto a quello esistente. Come si evince dal suo nome, split test è “limitato” alla valutazione di due o tre elementi “fixed” alla volta.

Test Multivariato

Rispetto al precedente, un test multivariato è composto da un numero maggiore di variabili e ha come scopo quello di restituire la miglior conversion rate definita dalla combinazione più efficace di queste variabili tra loro. Le variabili sono ovviamente elementi della pagina, come ad esempio header, footer, blocchi di testo, immagini, video, ecc che un software combinerà – con N gradi di libertà – e sottoporrà poi agli utenti.

Casi d’uso: il test multivariato è utile sicuramente quando si vogliono testare più elementi contemporaneamente ma ha lo svantaggio di necessitare di un corretto volume di traffico, in quanto le combinazioni presentate dagli utenti aumentano esponenzialmente.

CHECKLIST

Di seguito una veloce checklist da utilizzare prima di iniziare a generare testing.

1. TESTARE TUTTO IN UN’UNICA SOLUZIONE?

Se si decide di generare un A/B test per testare tutti gli elementi in un’unica soluzione… fermatevi finchè siete in tempo.

Come riportato precedentemente, l’A/B test serve a verificare al massimo due – tre elementi di una pagina, non di più. Se mettiamo in test una pagina completamente diversa da quella originale andremo incontro a due errori molto comuni, ovvero l’assenza di una verifica di ipotesi chiara e l’impossibilità di analizzare correttamente l’influenza dei singoli elementi.

Rischiamo, ad un certo punto, di trovarci di fronte alla domanda: ok, il CR è aumentato, ma qual è l’elemento chiave? Anche se abbiamo tracciato tutti gli elementi (bottoni, check box, scrolling, ecc) non saremo mai sicuri al 100% che l’increemento di CR è dovuto ad un elemento specifico in assenza di altre variabili.

Se si desidera testare tutto è molto meglio ricorrere al test multivariato, ricordandosi però di:

• Analizzare bene il comportamento degli utenti sul sito
• Definire il segmento di utenti da sottoporre a test
• Generare una lista di ipotesi da testare
• Verificare e validare ogni singola ipotesi con il test

2. SELEZIONARE IL TARGET DI UTENTI

Generare un test e somministrarlo al 100% degli utenti, molto spesso, significa “sparare nel mucchio, sperando vada bene”.

Prima di inizializzare un test è bene segmentare gli utenti a seconda delle principali caratteristiche, prima a livello macro (es. mezzo utilizzato per arrivare al sito) per poi passare al livello più granulare (es. hanno cliccato il bottone whishlist tra il 10 ed il 12 febbraio).  In questo modo sarà possibile conoscere la navigazione dei singoli bucket di utenti e proporre a ciascuno, secondo il loro comportamento, varianti quanto più targhettizzate possibile.

3. NON DIMENTICARSI DEI MICRO GOALS

Il testing serve sicuramente ad aumentare le conversioni principali (lead, transazioni) ma si rivela utile in fase di studio del comportamento degli utenti all’interno delle varianti proposte.

Oltre a focalizzarsi sul main goal, quindi, è necessario ragionare anche su elementi che porteranno alla conversione, come ad esempio sign ups, whishlist, ecc. In questo modo sarà possibile capire quale variante di pagina è più efficace nel’ accrescere le sottoscrizioni alla newsletter, a ridurre l’abbandono dei carrelli e così via.

4. TIMING

Ogni test richiede più o meno tempo, a seconda di determinate caratteristiche come: miglioramento atteso, numero di varianti, visitatori ecc.

Utilizzare strumenti come il test duration di VWO (https://vwo.com/ab-split-test-duration/) permette di farsi un’idea sulla durata del test.

Non bisogna mai stoppare un test troppo presto, magari dopo pochi giorni perché potreste incorrere in un falso positivo. I falsi positivi si generano in quanto gli utenti si comportano in modo diverso a seconda del segmento di appartenenza e dei giorni della settimana. Ad esempio, pensando al settore travel, un utente il lunedì naviga alla ricerca della vacanza, mercoledì cerca informazioni/opinioni approfondite, venerdì pomeriggio acquista.

E’ abbastanza usuale, quindi, mantenere vivo un test per almeno 7 giorni.

5. INTERVALLO DI CONFIDENZA (STATISTICA)

Solitamente qualsiasi software di testing genera due possibili scenari di confidenza 95% e 99%. Andare a stoppare un test che presenta una confidenza inferiore al 95% significa sbagliare, in quanto il margine di errore è troppo elevato.

E’possibile analizzare un intervallo di confidenza con strumenti come R o come Excel ma si può ricorrere a strumenti online come ad esempio: https://vwo.com/ab-split-test-significance-calculator/

Non abbiate quindi paura di testare, fate semplicemente attenzione ad alcune “regole” di base e ricordate che… senza dati, siete solo persone con delle opinioni.