Test multivariati e test A / B semplificati: come testare le tecniche di ottimizzazione delle pagine web

multivariate testing

Introduzione:

Ci sono molti siti web e applicazioni che usiamo spesso. Mentre li usiamo, probabilmente non prestiamo molta attenzione a come il sito web è diventato la sua versione attuale, d'altra parte, se qualcosa non sembra giusto, probabilmente non visiteremo mai più il sito / l'app.

La domanda è: cosa ci vuole per farlo bene?

Cosa imparerai:

• Test multivariati e test A / B
• Che cos'è il test multivariato?
• Tipi di test MVT:
• Come eseguire test multivariati
• Errori che dovrebbero essere evitati
• Cose da fare e da non fare
• Pro e contro
• Test A / B
• Pro e contro dei test A / B:
• Test A / B vs test multivariati vs test divisi
• Test multivariati
• Strumenti di test A / B / Split / Multivariate
• Lettura consigliata

Test multivariati e test A / B

Il 'vero' più spesso è la funzionalità, che abbiamo processi di QA solidi come una roccia da testare e valutare. Ma anche 'esso' consiste nel design, una combinazione di elementi, il posizionamento dei contenuti su una pagina, a volte anche il colore, l'orientamento, ecc. che giocano un ruolo di primo piano nel accettazione complessiva del prodotto dal suo utente finale.

Un ramo di test che può aiutare molto in questo settore è il Test multivariati e test A / B .

Nell'articolo di oggi, discuteremo Test multivariati (MVT) e Test A / B tipi in dettaglio.

Entrambi sono mirati all'ottimizzazione della pagina web e al miglioramento del tasso di conversione (la velocità con cui i visitatori diventano clienti o visitatori di ritorno, a loro volta, affari) per un sito web.

Che cos'è il test multivariato?

Cominciamo con un file Esempio .

Se un determinato sito Web sta lavorando alla progettazione / riprogettazione / determinazione dell'efficacia di una pagina che dovrebbe avere un'immagine e il testo corrispondente - Dopo un'attenta considerazione e deliberazione, se l'azienda seleziona le seguenti due immagini e due frasi - le possibili combinazioni di esse potrebbero essere il seguente:

1) Immagine 1

2) Immagine 2

3) Titolo / Frase 1: 'L'obiettivo deve essere ZERO incidenti'

4) Titolo / Frase 2: 'Il nostro obiettivo: nessun incidente'

Combinazioni:

modello di matrice di tracciabilità dei requisiti con esempio

Nell'esempio sopra, abbiamo testato le variazioni alle combinazioni dei campi per vedere quale è adatto. In poche parole, proprio lì c'è il test multivariato.

Più tecnicamente e specificatamente, la seguente formula viene utilizzata per determinare il n. di possibili combinazioni che sono necessarie per testare le diverse combinazioni e cioè:

(# Variazioni sull'elemento A) X (# Variazioni sull'elemento B)… .. = (Numero totale di varianti)

Nell'esempio sopra, ci sono 2 varianti per il titolo e 2 varianti per l'immagine.

Pertanto, secondo la formula, vi è un totale di 4 combinazioni delle variazioni da testare contemporaneamente per trovare la migliore combinazione di variazione.

• Lo scopo principale dell'esecuzione dei test multivariati è misurare e determinare l'efficacia di ciascuna combinazione di variazione sul sistema finale.
• Dopo aver finalizzato le combinazioni di varianti, viene avviato il test per determinare la progettazione di maggior successo quando il sito riceve abbastanza traffico.
• I risultati ottenuti con ciascuna combinazione di variazione vengono confrontati con gli altri per scoprire quale design è più adatto a raggiungere l'obiettivo finale (nella maggior parte dei casi è I saldi ).
• Queste statistiche forniscono un quadro chiaro dell'utilità o meno di un particolare cambiamento.
• Inoltre, è possibile analizzare anche un impatto positivo o negativo sull'interazione dell'utente

L'intero processo di test multivariati continui, migliorando la progettazione in base ai risultati ottenuti e raggiungendo gli obiettivi aziendali a causa di ciò ( Esempio: tempo di coinvolgimento più lungo per un utente su una determinata pagina) Ottimizzazione della pagina di destinazione - il cui obiettivo è attirare più utenti e mantenerli coinvolti su una determinata pagina.

Questo processo prevede in gran parte test con più varianti, raccolta di statistiche e modifiche in base ai valori / risultati ottenuti.

Non solo per i siti Web, ma anche per le app mobili sono necessari test multivariati. I siti Web e le app mobili sono composti da combinazioni di elementi variabili e, quindi, il test multivariato viene eseguito per capire quale combinazione di variazioni funziona meglio.

Questo gioca un ruolo cruciale nella strategia di marketing su Internet.

Tipi di test MVT:

In base alla distribuzione del traffico a più versioni di varianti, ci sono multiple tipi di test multivariati che può essere eseguito:

a) Test fattoriale completo:

È la forma più preferita di test MVT in cui ogni possibile combinazione di variazione di elementi viene testata allo stesso modo deviandovi il traffico del sito Web fino a quando non viene trovato un vincitore. Tutte le possibili combinazioni hanno la stessa probabilità. La cosa migliore di questo metodo è che non ci sono supposizioni e si basa su numeri / statistiche concreti che lo rendono molto affidabile e consigliato.

L'unico demerito è il traffico. Con l'aumento del numero di varie combinazioni, è necessario molto traffico sul sito Web per analizzare i dati e decidere il vincitore.

b) Test fattoriale frazionario o parziale:

Poiché il nome indica solo una frazione di tutte le versioni di combinazioni di varianti è esposta al traffico del sito web. Calcoli matematici statici e analisi vengono eseguiti per il resto delle combinazioni per trovare il miglior tasso di conversione.

Metodo Taguchi è il metodo più diffuso per i test fattoriali frazionari multivariati. Questo metodo fornisce un risultato meno accurato poiché viene testato solo un campione delle variazioni e non tutte. Sebbene questo metodo richieda meno tempo per analizzare il vincitore, il risultato non può mai essere considerato accurato come può essere in caso di test fattoriale completo.

c) Test multivariato adattivo:

Questo è un nuovo approccio al test multivariato. In questo caso, la risposta in tempo reale dei visitatori sulla pagina web viene analizzata per determinare la migliore versione della combinazione di variazione.

d) Scelta discreta:

Questo metodo svela gli effetti di interazione, ad esempio come le persone creano compromessi dal punto di vista di una decisione di acquisto. È una tecnica complessa che varia sistematicamente gli attributi o gli elementi di contenuto.

e) Design ottimale:

Questo metodo include iterazioni e ondate di test. Oltre a testare il numero massimo di variazioni creative nel tempo minimo, consente anche agli operatori di marketing di considerare relazioni, interazioni e limitazioni tra gli elementi di contenuto di un sito Web o di un'app. Questo aiuta a trovare la soluzione ottimale.

Passiamo a una domanda importante: Il Web marketing può essere ottimizzato mediante test multivariati?

La risposta è un sonoro 'Sì'.

Utilizzando i test multivariati possiamo determinare chiaramente cosa dovrebbe essere implementato e cosa deve essere evitato. Tutto è incentrato sull'esperienza del visitatore.

Quando si devono eseguire i test multivariati vengono considerati i seguenti aspetti:

# 1. Il prerequisito per i test multivariati è: Definisci gli obiettivi di marketing o esamina gli obiettivi per il sito web. Di seguito sono riportati alcuni esempi:

• Ottieni i massimi guadagni / profitti attraverso la pubblicità, la vendita di prodotti e il pagamento dei clic.
• Crea consapevolezza del marchio nella clientela
• Risparmia sulle spese, ad esempio: Guida gli utenti al self-service attraverso le FAQ invece che online, nel servizio personale.

#Due. Dovrebbero essere testati solo gli elementi che mirano veramente agli obiettivi di marketing dell'organizzazione.

# 3. Scegli solo quegli elementi che misureranno accuratamente gli obiettivi di marketing.

Alcuni esempi potrebbero essere:

• Per guadagnare di più, è necessario concentrarsi sulle pagine che includono opzioni come 'Acquista ora' / 'pagamento' / flussi per completare una registrazione o registrarsi.
• Per creare consapevolezza per i visitatori e la promozione, 'invia ad un amico' / 'segnala un amico' / 'condividi', ecc. Può tornare utile
• Per risparmiare, concentrarsi su elementi come domande frequenti, aiuto, contatto, chiamata, clic su 'Aggiungi al carrello' che portano a pagine di ringraziamento, ecc.

Come eseguire test multivariati

1. Identifica un problema

Il primo passo è identificare il problema. Questo ti dà la possibilità di migliorare il tuo sito web o la tua app. Ad esempio, il problema può essere qualcosa di simile al motivo per cui i visitatori del sito Web non fanno clic sul pulsante di download.

2. Formulare ipotesi

Fai un'ipotesi per migliorare la pagina web. Ad esempio, l'ipotesi può essere che i clienti non facciano clic sul pulsante di download perché la sua visibilità non è allettante. Quindi, rendendolo accattivante, ci sarebbe un aumento dei download.

3. Crea varianti

Seleziona i fattori e crea variazioni. Supponiamo che i due fattori siano l'intestazione 'Download' e il collegamento 'produttore PDF'. Ad esempio, abbiamo sotto 12 varianti:

4. Determina la dimensione del tuo campione

Scopri quanti visitatori sono richiesti su ogni pagina, quanto tempo hai bisogno per eseguire il test, quante varianti hai e la significatività statistica.

5. Prova i tuoi strumenti

Testa tutto (principalmente, la tua pagina web / app funziona bene) prima di iniziare a eseguire il test in modo che nulla venga a danneggiare i risultati del test.

6. Inizia a guidare il traffico

Inizia a indirizzare il traffico verso le tue varianti.

7. Analizza i tuoi risultati

Dopo aver eseguito il test per un periodo di tempo significativo, si ottengono i risultati da analizzare. Di seguito è riportato un esempio:

Quelli che hanno un livello di confidenza del 95% o più sono risultati statisticamente significativi.

8. Impara dai tuoi risultati

Questo è l'ultimo e importante passaggio. Dal test multivariato, impari a conoscere le tue pagine web / app e i suoi visitatori. Puoi utilizzare questo apprendimento per test futuri.

Una parola di cautela - Prestare attenzione alle seguenti cose quando si eseguono test multivariati:

Errori che dovrebbero essere evitati

1. Scelta impropria delle varianti . Ad esempio supponiamo di cambiare la dimensione del carattere, il colore e lo stile del testo del titolo contemporaneamente in una versione della combinazione di variazioni. Sarà quindi difficile analizzare dai dati ricevuti quale variazione del titolo (se dimensione del carattere, colore o stile) ha fatto sì che il visitatore rispondesse in modo diverso.
2. Un arco di tempo troppo breve di un test multivariato . Terminare il test in anticipo e scegliere una piccola serie di dati per analizzare il vincitore può portare a statistiche non valide.
3. Un intervallo troppo lungo di una corsa di prova multivariata. L'esecuzione del test troppo a lungo per analizzare i dati marginali porta anche a una notevole perdita di tempo
4. Comprensione errata degli indicatori chiave. Focalizzazione, analisi e monitoraggio della combinazione variabile di quegli indicatori che sono insignificanti o non correlati all'obiettivo finale
5. Solo pochi indicatori chiave di prestazione vengono identificati mentre molti altri non vengono tracciati
6. Decidere il tipo di traffico del visitatore verso una pagina web. Questo può essere molto rischioso e problematico poiché non tutti i visitatori sono uguali.
7. Non analizzare i risultati e apportando le giuste modifiche al sito.

Cose da fare e cosa non fare

Dall'elenco sopra, un riepilogo di cosa fare e cosa non fare potrebbe essere:

Cosa non fare:

Non cercare di includere molte variabili nel test. Maggiore è il numero di variabili da testare; maggiori saranno le combinazioni, il che a sua volta significa che è necessario più traffico per raccogliere statistiche significative.

Cose da fare:

1. Visualizza l'anteprima di tutte le versioni di combinazioni di variazioni prima di iniziare l'esecuzione del test perché alcuni di essi potrebbero essere incompatibili o illogici. Ad esempio, una delle combinazioni di variabili è il titolo che dice '50% di sconto sull'abbonamento' e il pulsante di disattivazione che dice 'Abbonamento gratuito'. Questi dovrebbero essere rimossi.

2. Decidere l'impatto delle versioni combinate sul tasso di conversione. Includere solo le combinazioni che hanno un impatto maggiore sul tasso di conversione è una buona idea.

3. Stimare il traffico della pagina web per raccogliere dati statistici significativi. Prima di iniziare il test, è meglio avere un'idea chiara del traffico della pagina web. Se una pagina web ha solo 100-200 visitatori al giorno, allora dovremmo considerare alcune variabili solo per eseguire il test multivariato.

Pro e contro

Fino ad ora, abbiamo visto cosa sono i test multivariati, come vengono eseguiti, errori, fattori, cose da fare e da non fare ecc. Ora, diamo un'occhiata ad alcuni Professionisti e Contro di esso:

Professionisti:

1. Migliore comprensione e comprensione dell'effetto di variabili o elementi sul tasso di conversione Più traffico porta a più dati statistici che a loro volta portano a una migliore analisi e processo decisionale in termini della migliore combinazione di variabili per raggiungere l'obiettivo finale.
2. In termini di modifiche alla progettazione e al layout, i test multivariati sono flessibili.

Contro:

1. Le esecuzioni di test multivariati richiedono più tempo per essere completate.
2. Per ottenere statistiche significative è necessario molto traffico sulla pagina web.
3. Più complicato impostare le esecuzioni di test.
4. Richiede un numero maggiore di versioni di combinazione di variabili per l'esecuzione di prova.

Test A / B

Essendo un breve elenco di tutto ciò che riguarda i test multivarianti, non c'è fine alla varietà di test che possono essere eseguiti per eseguire l'ottimizzazione della pagina web e un altro metodo popolare disponibile è il Test A / B .

Che cos'è il test A / B?

( Immagine fonte)

Il test A / B è talvolta noto anche come Test suddiviso . Tuttavia, il test di divisione è diverso. Vedremo la differenza tra loro nella parte successiva di questo tutorial.

Nel test A / B, vengono testate due versioni della stessa pagina Web con la stessa quantità di traffico della pagina Web. La versione che ottiene un numero massimo di conversioni è il vincitore finale. Questa nuova versione aumenta decisamente il tasso di conversione.

Esempio di test di divisione A / B:

Facci capire il funzionamento del test A / B con un piccolo esempio :

L'immagine sopra è di una pagina web per la consapevolezza della sicurezza.

Questa immagine è costituita da un pulsante grigio che dice ' Rispondi a un quiz e vinci fantastici premi '. Questa pagina web originale è considerata' una versione '. Ora la 'versione B' è progettata con una variazione di colore del pulsante da grigio a rosso.

Questo è mostrato nell'immagine qui sotto:

Il traffico della pagina web live viene deviato a entrambe le versioni. Dopo che un numero sufficiente di visitatori ha effettuato il test e con i dati statistici ricevuti, è possibile determinare facilmente quale versione ha un effetto maggiore sul tasso di conversione.

Nell'esempio sopra, un pulsante che dice ' Rispondi a un quiz e vinci fantastici premi 'In colore rosso ha attirato più visitatori a premere il pulsante e rispondere a un quiz rispetto al vecchio pulsante grigio.

In questo modo è stato raggiunto l'obiettivo finale della pagina web di aumentare le entrate.

Professionisti e Contro di test A / B:

Professionisti:

1. Metodo facile e semplice per impostare esperimenti per l'ottimizzazione della pagina web.
2. Risultati affidabili e precisi possono essere facilmente determinati anche con un piccolo traffico di pagine web.
3. I test possono essere eseguiti molto rapidamente e i dati statistici possono essere analizzati per raggiungere l'obiettivo finale.
4. Non molto dipendente da alcuna forma di tecnologia.
5. Più adatto ai cambiamenti nel layout, nel contenuto, nel design di qualsiasi pagina web.

Contro:

1. È possibile apportare solo poche o, ad esempio, un numero limitato di modifiche a una pagina Web alla volta.
2. Non è possibile determinare l'impatto reciproco delle diverse variabili presenti in una pagina web.

Tavola di comparazione:

Test A / B vs test multivariati vs test divisi

Il test A / B, il test multivariato e il test diviso sono i tre tipi principali di test delle varianti UX (esperienza utente). Vediamo come sono diversi l'uno dall'altro.

Le due immagini sottostanti offrono un ottimo confronto illustrativo tra test A / B e test multivariati.

fa la lunghezza della stringa conta gli spazi java

Test multivariati

Test suddiviso:

Abbiamo un'altra variante qui nota come test URL diviso che è molto più complicato del test A / B e coinvolge modifiche lato server , dove abbiamo due diverse pagine web che vengono testate l'una contro l'altra. Questo tipo di test funziona bene per le pagine di destinazione nei casi in cui il team di progettazione deve decidere su quale funzionerà meglio.

Strumenti di test A / B / Split / Multivariate

Ci sono molti strumenti disponibili sul mercato per questi tre tipi di test UX. Ne nominerei alcuni migliori qui che puoi esplorare. Sono Google Optimize, Optimizely, VMO, Qubit, Maxymiser e AB Tasty.

Conclusione :

Entrambi i metodi, A / B e test multivariati, aumentano il tasso di conversione, migliorano le prestazioni e ottimizzano pagine Web e app. Entrambi sono utili a modo loro e presentano anche le loro carenze e sfide uniche: sta a noi identificare e analizzare quale metodo si adatta meglio ai requisiti.

Noi tester siamo principalmente coinvolti nel testare le modifiche apportate per implementare test multivariati o A / B. Una volta apportate e testate, queste modifiche possono essere eseguite nell'ambiente di produzione dal team di marketing o aziendale per raccogliere i risultati.

Quindi, è molto importante che i tester testino queste modifiche con molta attenzione, altrimenti i risultati finali sarebbero imprecisi, con conseguenti enormi perdite di business poiché questo è il più delle volte correlato direttamente ai ricavi aziendali.

Lettura consigliata

• Migliori strumenti di test del software 2021 (Strumenti di automazione del test QA)
• Download dell'eBook Testing Primer
• Test statici e test dinamici - Differenza tra queste due importanti tecniche di test
• Test di carico con HP LoadRunner Tutorial
• Differenza tra desktop, test server client e test Web
• Cos'è il Gamma Testing? La fase finale del test
• Che cos'è il test di conformità (test di conformità)?
• Lavoro assistente QA test software