Test A/B delle pagine

Il test A/B è un esperimento che confronta una o più versioni alternative di una pagina (varianti) rispetto all’originale, valutandone l’efficacia nel raggiungimento di obiettivi specifici (conversioni dei visitatori). Le conversioni misurate si basano sulle azioni compiute dagli utenti, che possono variare da semplici – come il clic su un banner o l’invio di un modulo – a complesse, come l’aggiunta di un prodotto al carrello o il completamento di un acquisto.

Durante un test, tutte le varianti della pagina ricevono un traffico visitatori approssimativamente uguale e competono tra loro per ottenere il numero più alto di conversioni o il valore ponderato più elevato. Al termine del test, un’analisi statistica basata sui parametri configurati permette di selezionare la variante vincente. Quando una variante viene promossa come vincente, sostituisce il contenuto originale della pagina.


Xperience supporta le seguenti tipologie di test A/B:

• Test A/B dei contenuti (pagine) – consente di confrontare diverse varianti del contenuto di una pagina
• Test A/B delle email – consente di confrontare varianti differenti di email di marketing

Un flusso di lavoro standard per il test A/B delle pagine prevede generalmente:

1. Creazione di un test A/B con una o più varianti
2. Configurazione del test, definendo obiettivi di conversione e altre metriche
3. Avvio del test e raccolta dei dati comportamentali e delle statistiche in base alla configurazione
4. Valutazione dei risultati con l’ausilio delle analisi fornite
5. Selezione della variante vincente sulla base degli insight raccolti

Requisiti per il Page Builder

I marketer possono creare test A/B solo per le pagine che supportano la funzionalità di Page Builder (basate su tipi di pagina con la funzionalità Page Builder abilitata).

Inoltre, le singole varianti di un test A/B possono differire solo per il contenuto del Page Builder – questo include i widget, la loro configurazione e i template di pagina assegnati. Non è possibile impostare contenuti diversi nei campi della pagina per le singole varianti del test A/B.

Come funziona il test A/B

Quando un utente del sito accede a una pagina con un test A/B attivo, il sistema gli assegna in modo casuale una delle varianti disponibili del test. Durante l’intero periodo di esecuzione del test, ogni variante della pagina dovrebbe ricevere approssimativamente lo stesso volume di traffico.

Xperience memorizza nel browser del visitatore un cookie chiamato CMSAB, che contiene l’identificatore della variante assegnata. Questo cookie consente al sistema di mantenere coerente l’aspetto della pagina testata per le visite successive, e garantisce che tutte le conversioni effettuate dagli utenti inclusi nel test A/B vengano attribuite alla variante corretta. Il cookie scade 2 mesi dopo l’ultima visita alla pagina testata.

Per i visitatori che non accettano i cookie di marketing (e quindi non acconsentono al tracciamento), il sistema imposta invece il cookie CMSVarAB. Questo cookie memorizza comunque l’identificatore della variante selezionata, ma viene utilizzato solo per mantenere coerente il contenuto della pagina, senza alcun tracciamento o registrazione delle conversioni.

Creazione di test A/B

Crea un nuovo test A/B seguendo questi passaggi:

1. Apri l’applicazione Pages
2. Seleziona, nell’albero dei contenuti, la pagina che desideri sottoporre a test A/B
3. Passa alla scheda Page
4. Fai clic su Create A/B variant
   
   

Il sistema crea automaticamente un nuovo test A/B, assegnandogli un nome basato sulla pagina e sulla lingua selezionata, e mostra la prima variante della pagina.

Il pulsante Create A/B variant si trasforma in un selettore, che ti consente di passare da una variante all’altra e gestire il test A/B della pagina.

• Manage A/B test – apre una finestra modale da cui puoi configurare, avviare e valutare il test A/B associato alla pagina
• Add new variant – crea una nuova variante A/B copiando direttamente tutti i contenuti salvati della variante attualmente selezionata

Hai così creato un test A/B con una o più varianti. Prosegui creando ulteriori varianti e modificandone i contenuti. È possibile definire un numero illimitato di varianti A/B all’interno dello stesso test.

Definizione di varianti aggiuntive

Per creare varianti aggiuntive del test:

1. Apri una pagina già sottoposta a test A/B nell’applicazione Pages
2. Fai clic sul selettore del test A/B
3. Clicca su Add new variant
   
   

Il sistema crea una nuova variante e la rende attiva nella scheda Page, consentendone subito la modifica. La variante viene creata come copia diretta della variante selezionata in precedenza.

Modifica delle varianti di test

Dopo aver creato un test A/B e le sue varianti, puoi apportare le modifiche desiderate al contenuto di ciascuna variante.

1. Apri una pagina sottoposta a test A/B nell’applicazione Pages
2. Seleziona la variante da modificare usando il selettore in alto a destra
   • (Facoltativo) Puoi rinominare la variante facendo clic sull’icona di modifica (✏️). I nomi delle varianti sono limitati a 100 caratteri
3. Modifica il contenuto della variante (es. sostituendo o riconfigurando i widget, oppure scegliendo un diverso template di pagina)
4. Salva (Save) le modifiche

Eliminazione delle varianti di test

Se desideri eliminare in modo permanente una variante di test:

1. Apri una pagina sottoposta a test A/B nell’applicazione Pages
2. Clicca sul selettore di test A/B in alto a destra
3. Passa il cursore del mouse sulla variante che vuoi eliminare
4. Fai clic sull’icona di eliminazione (🗑️)
   
   

La variante selezionata, insieme ai relativi contenuti, verrà rimossa definitivamente dal sistema.

Configurazione e avvio dei test A/B

Prima di avviare un test A/B, è necessario configurarne il comportamento nella scheda Settings:

1. Modifica di un test A/B esistente:
   1. Apri l’applicazione Pages
   2. Seleziona una pagina che ha già un test A/B attivo
   3. Clicca sul selettore di test A/B
   4. Clicca su Manage A/B test

– OPPURE – 

1. Apri l’applicazione A/B tests
2. Modifica (✏️) un test A/B
3. Passa alla scheda Settings
4. Configura i parametri generali del test
5. Assegna al test le conversioni che desideri monitorare
6. Salva (Save) le modifiche

Il test A/B sarà così configurato e pronto per partire alla data di inizio selezionata.

Configurazione dei parametri generali del test

I parametri generali del test, accessibili nella sezione General, ti permettono di impostare le date di inizio e fine del test e di aggiungere metadati descrittivi utili a livello interno:

• Display name: il nome del test A/B così come apparirà nell’interfaccia di amministrazione
• Description: campo facoltativo dove puoi inserire informazioni sullo scopo, sugli obiettivi o sul contesto del test
• Start: imposta data e ora di avvio del test. Puoi usare il pulsante Calendar per selezionare il momento preciso. In alternativa, puoi far partire subito il test cliccando su Start test nella scheda Overview
• End: imposta data e ora di termine del test, sempre tramite il pulsante Calendar. 
  • Durata consigliata del test A/B: evita di far durare un test troppo a lungo o indefinitamente. I motori di ricerca potrebbero interpretarlo come contenuto ingannevole, con conseguenze negative sul posizionamento SEO
  • Modifiche ai test in corso: una volta avviato, non è consigliabile apportare modifiche come l’aggiunta o la rimozione di varianti. Alterare i parametri di un test in esecuzione potrebbe comprometterne l’accuratezza e falsare i risultati

Dopo aver configurato i parametri generali, puoi procedere con l’assegnazione delle conversioni da monitorare.

Assegnazione delle conversioni

Le conversioni dei visitatori sono i parametri fondamentali per valutare l’efficacia delle varianti in un test A/B, visibili nei report della scheda Overview. Quando crei un nuovo test, nessuna conversione è tracciata di default: devi definire manualmente quali azioni utente desideri monitorare nella sezione Conversions and Traffic: 

1. Clicca su Add conversion accanto al campo Conversions
2. Scegli una conversione dal menu a tendina Visitor activity
3. Inserisci il valore che desideri assegnare alla conversione nel campo Value
   1. In alcuni casi, come per Purchase of a specific product o Page visit, sarà necessario fornire ulteriori dettagli
4. Clicca su Apply
5. Fai clic su Salva (Save) dopo aver aggiunto le conversioni richieste

Puoi anche configurare facoltativamente i campi Visitor targeting e Included traffic:

• Visitor targeting – una condizione macro che filtra quali visitatori sono inclusi nel test
• Included traffic – imposta la percentuale di visitatori della pagina inclusi nel test

I visitatori esclusi visualizzano sempre la variante originale della pagina testata e le loro azioni sul sito web non attivano alcuna registrazione di conversioni. Per i visitatori che non hanno fornito alcun consenso al tracciamento dei contatti (ovvero non accettano i cookie di marketing online), il test visualizza e assegna una variante casuale della pagina, ma non registra alcuna conversione.

Conversioni dell'A/B test

Per impostazione predefinita, puoi assegnare le seguenti azioni del visitatore come conversioni. Gli sviluppatori del tuo sito potrebbero aver implementato ulteriori tipi di conversione non elencati qui: 

• Form submission: il visitatore invia un modulo. È necessario selezionare il modulo per cui le invii vengono tracciate come conversione
• Newsletter subscription: il visitatore si iscrive a una newsletter. È necessario selezionare la newsletter per cui le iscrizioni vengono tracciate come conversione. Se la newsletter ha il doppio opt-in abilitato, la conversione viene registrata solo dopo che l’iscrizione è stata confermata dal destinatario
• Page visit: il visitatore visualizza una pagina. È necessario specificare quale pagina viene tracciata inserendo un valore per l’URL o il percorso della pagina.
  Apri la pagina indicata sul sito live e copia l’URL completo dalla barra del browser (inclusi protocollo e nome del dominio, ad esempio: https://domain.com/Services/Premium). Il nome del dominio deve corrispondere all’URL di presentazione su cui è in esecuzione il tuo sito MVC.
  Puoi anche inserire un percorso alias (relativo) della pagina, ad esempio: ~/LandingPages/StorePromotion.
  Il sistema rimuove automaticamente eventuali parametri della query string e identificatori di frammenti dall’URL (come i parametri UTM) e trasforma l’URL in un percorso alias (relativo)
• Product added to shopping cart: il visitatore aggiunge un prodotto al carrello. 
  È necessario selezionare il prodotto da tracciare. Se più unità del prodotto selezionato vengono aggiunte al carrello con una singola azione, la conversione viene registrata solo una volta
• Purchase: il visitatore completa un ordine tramite il processo di checkout del sito. Le conversioni vengono registrate per tutti gli ordini (contenenti qualsiasi prodotto). Per tracciare l’acquisto di un prodotto specifico, aggiungi al test A/B la conversione Purchase of a specific product.
  Per impostazione predefinita, il sistema registra automaticamente il prezzo totale (totale generale) dell’ordine come Value della conversione. Questa opzione viene disabilitata se imposti un valore personalizzato per la conversione
• Purchase of a specific product: il visitatore completa un ordine contenente il prodotto selezionato. È necessario selezionare il prodotto da tracciare.
  Per impostazione predefinita, il sistema registra automaticamente il prezzo totale di tutte le unità del prodotto specificato all’interno dell’ordine completato come Value della conversione. Questa opzione viene disabilitata se imposti un valore personalizzato per la conversione
• User registration: il visitatore si registra e diventa un utente. Se il tuo sito richiede una conferma via email per le nuove registrazioni, la conversione viene registrata solo dopo che il nuovo utente conferma la registrazione

Limitare i test in base al consenso dei visitatori

Per impostazione predefinita, il sistema mostra le varianti dei test A/B e registra le conversioni successive per tutti i visitatori. La funzionalità di A/B testing non raccoglie né memorizza dati personali e tutte le statistiche sono anonime. NON è legalmente necessario aggiungere una condizione di consenso negli scenari tipici. Tuttavia, se la policy di protezione dei dati del tuo sito web richiede tale condizione per qualsiasi motivo, puoi utilizzare il seguente approccio:

1. Assicurati che il tracciamento dei contatti sia abilitato per il tuo sito web
2. Prepara il consenso che desideri utilizzare per l’A/B testing.
   • Per semplificare i consensi per i visitatori, puoi riutilizzare il consenso principale al tracciamento dei contatti del tuo sito per gli scopi dell’A/B testing
   • Se desideri utilizzare un consenso aggiuntivo per l’A/B testing, creane uno nuovo e fornisci un modo per consentire ai visitatori di dare il proprio accordo (ad es. utilizzando un form con un campo basato sul componente Accordo al consenso). Nota che il sistema associa i consensi ai contatti, quindi in questo scenario i visitatori devono dare sia il consenso al tracciamento dei contatti sia quello aggiuntivo per l’A/B testing
3. Modifica il test A/B in questione e seleziona la scheda Settings
4. Clicca su Edit accanto all’impostazione Visitor targetinged esegui quanto segue:
   1. Aggiungi la regola Contact has agreed with consent
   2. Clicca su seleziona consenso nel designer delle regole, scegli il consenso relativo e clicca su Set parameter
   3. Clicca su Save & Close
5. Salva (Save) le impostazioni del test

Con questa configurazione, il test A/B tiene traccia delle conversioni solo per i visitatori che hanno acconsentito al tracciamento come contatti e hanno accettato l’ulteriore consenso per l’A/B testing, se specificato.

Per i visitatori che non hanno fornito alcun consenso al tracciamento dei contatti (cioè non accettano i cookie di marketing online), il test mostra e assegna una variante casuale della pagina, ma non registra alcuna conversione. I visitatori che hanno dato il consenso al tracciamento, ma sono esclusi dalla condizione Visitor targeting, vedranno sempre la variante originale della pagina testata e le loro azioni sul sito non attiveranno il tracciamento di conversioni.

Valutare i test A/B

Ogni test contiene un riepilogo delle performance delle singole varianti, filtrabile, nella scheda Overview:

1. Apri l’applicazione Pages
2. Seleziona una pagina con un test A/B
3. Clicca sul selettore A/B testing
4. Clicca su Manage A/B test
   
   – OPPURE –
   
   
5. Apri l’applicazione A/B tests
6. Modifica (✏️) un test A/B in esecuzione

La scheda Overview è divisa orizzontalmente in due sezioni:

• Un grafico dei risultati filtrabile che consente di analizzare le performance delle singole conversioni
• Un riepilogo di tutte le varianti di pagina e delle relative performance
  
  

Obiettivi di conversione

Nel menu a discesa Conversion goals, puoi selezionare la conversione che desideri valutare. Il grafico visualizzato mostra come si comporta ciascuna variante rispetto alla conversione selezionata.

Metrica di successo

Utilizzando il menu a discesa Success metric, puoi modificare i dati di conversione visualizzati nel grafico:

• Conversion rate – indica la percentuale di visitatori totali che hanno effettuato la conversione selezionata nel menu a discesa Conversion goals
• Conversion value – mostra i valori delle conversioni per la conversione selezionata
• Average conversion value – mostra il valore medio delle conversioni registrate per la conversione selezionata
• Conversion count – mostra il numero di conversioni per la conversione selezionata

Metodo di conteggio

Nel menu a discesa Counting methodology, puoi modificare il tipo di dato visualizzato nel grafico:

• Visitor conversion – numero di visitatori che hanno effettuato almeno una conversione sulla pagina durante una qualsiasi delle loro visite. Un visitatore con più conversioni viene conteggiato una sola volta
• Visit conversion – numero di visite durante le quali i visitatori hanno effettuato almeno una conversione. Una visita con più conversioni viene conteggiata una sola volta
• Every conversion – numero totale di conversioni effettuate dai visitatori in tutte le visite

Probabilità di battere la variante originale

Chance to beat original è una percentuale che indica quanto puoi essere sicuro che una determinata variante superi le performance della versione originale. Ad esempio, una probabilità del 97% significa che la variante ha risultati migliori rispetto all’originale nel 97% dei casi. Questo valore si basa sui dati raccolti finora dal test e può cambiare con nuove osservazioni. Si consiglia vivamente di lasciare ogni test A/B attivo per almeno 14 giorni e di raccogliere almeno 100 conversioni prima di prendere una decisione. In caso contrario, rischi di scegliere come vincente una variante poco performante.

Il livello di significatività statistica per ogni variante è impostato al 95% (ovvero con un p-value uguale o inferiore al 5%). Quando il sistema determina che una variante supera l’originale nel 95% o più dei casi, la variante viene marcata come significativa e il suo sfondo diventa verde.

La seguente immagine mostra la variante originale in alto e due varianti, ciascuna con una diversa probabilità di battere l’originale.


La colonna Conversion rate visualizza i tassi di conversione medi calcolati insieme ai relativi intervalli di confidenza. I diagrammi a scatola adiacenti visualizzano gli intervalli calcolati. Gli intervalli di confidenza delle varianti testate che si sovrappongono a quello dell’originale sono rappresentati in grigio. L’intervallo di confidenza sovrapposto segnala generalmente una mancanza di significatività statistica: il test non può dimostrare in modo conclusivo che la variante testata performi meglio dell’originale (maggiore è la sovrapposizione, maggiore è l’incertezza).

La colonna Chance to beat original visualizza la percentuale di fiducia, basata sui dati raccolti durante il test, che il sistema ha nel fatto che la variante superi l’originale (come descritto sopra).

Selezione di un vincitore

Dopo che un test è terminato, è possibile selezionare una delle varianti del test come vincitrice di quell’esperimento specifico. La variante selezionata sostituisce quindi la pagina originale.

1. Apri la scheda di panoramica del test
2. Clicca su Select variant as winner
   
   

Dopo aver selezionato una variante vincente, il test si conclude automaticamente e viene archiviato. È possibile visualizzare i dati del test (tassi di conversione, prestazioni delle varianti, configurazione del test, ecc.) dei test archiviati modificando (✏️) il test nell’applicazione A/B tests. Tuttavia, tutte le varianti definite vengono eliminate in modo permanente.

Sulla pagina sottoposta a test A/B, l’ambiente di test viene azzerato, consentendo l’avvio di un nuovo esperimento.