Una pagina più curata non dimostra da sola un miglioramento. Per valutare l’investimento occorre stabilire quale risultato deve cambiare e confrontarlo in condizioni attendibili.
La landing è stata riprogettata e le richieste aumentano. È una buona notizia, ma nello stesso periodo potrebbe essere cresciuto anche il traffico, oppure essere partita una nuova campagna. Attribuire tutto alla pagina rischia di far approvare una soluzione per il motivo sbagliato.
Il problema riguarda la decisione successiva: mantenere la nuova versione, estenderla ad altri servizi o investire ancora. Per prenderla serve un confronto che distingua, per quanto possibile, l’effetto della modifica dagli altri cambiamenti. È lo scopo degli esperimenti controllati. [1]
Decidi prima che cosa significa “migliorare”
Per una pagina che propone un servizio, il primo risultato osservabile può essere la richiesta ricevuta. L’azienda vorrà però sapere anche se quella richiesta sia pertinente. Queste due informazioni vanno tenute insieme, senza cambiare il criterio di valutazione dopo aver visto quale numero è cresciuto. La scelta preventiva delle metriche e dei controlli è parte del disegno di un test. [2]
Consideriamo un esempio simulato. In un mese arrivano 40 richieste da 1.000 visitatori; nel successivo ne arrivano 50 da 2.000. Il totale aumenta, ma il rapporto fra richieste e visitatori passa dal 4% al 2,5%.
Non abbiamo ancora dimostrato che la pagina sia peggiorata: potrebbe essere cambiato il pubblico. Abbiamo invece capito che contare soltanto le richieste non basta.
Una lettura commerciale può aggiungere quante di quelle richieste risultino adatte al servizio. Serve una definizione condivisa con chi le gestisce, applicata allo stesso modo e dopo un tempo sufficiente per valutarle. Qualificazione e configurazione degli obiettivi pubblicitari meritano un approfondimento autonomo: qui il punto è decidere in anticipo quale risultato guiderà il confronto.
Confrontare due periodi non equivale a confrontare due pagine
Un test A/B ben progettato assegna casualmente i visitatori a due versioni nello stesso periodo. Annunci, offerta e condizioni del confronto devono essere organizzati in modo da non introdurre differenze sistematiche tra i gruppi. Il metodo consente di isolare meglio il contributo della soluzione testata rispetto a un semplice “prima e dopo”. [1]
Immaginiamo di voler capire se spiegare meglio le attività incluse nel servizio aiuti a ottenere richieste pertinenti. Il test dovrebbe partire da questa ipotesi, nata per esempio dai dubbi raccolti durante i colloqui, non dal desiderio generico di provare un layout diverso. La ricerca con gli utenti può aiutare a individuare modifiche che abbiano un motivo concreto. [3]
Si può confrontare anche una riprogettazione completa. In quel caso, però, l’eventuale differenza riguarda l’insieme: non autorizza ad attribuire il risultato al nuovo titolo, al colore del pulsante o alla fotografia presi singolarmente.
Prima di avviare il lavoro, chiedi quindi quale ipotesi verrà verificata e quale confronto permetterà di valutarla. Questo rende più utile sia il progetto sia il report finale.
Se i contatti sono pochi, evita verdetti troppo rapidi
La durata necessaria dipende dal traffico disponibile, dal risultato di partenza e dall’entità del cambiamento che interessa rilevare. Non esiste un numero di giorni valido per tutte le aziende. Con poche richieste, una differenza iniziale può non essere sufficiente a distinguere un miglioramento dalle normali oscillazioni. [2]
Per questo il piano di raccolta e la regola di lettura dei risultati vanno stabiliti prima, evitando di dichiarare vincitrice una pagina appena compare un numero favorevole. Anche una differenza apparentemente convincente richiede controlli sull’affidabilità dei dati e sulla loro interpretazione. [4]
Se il volume non sostiene un test utile in tempi ragionevoli, si può comunque lavorare: osservare utenti in target, raccogliere incomprensioni e correggere problemi verificabili. Queste prove aiutano a capire il percorso, ma non quantificano da sole l’aumento atteso delle vendite. [3]
Un partner competente dovrebbe chiarire anche che cosa i dati non permettono ancora di concludere. Il valore della misurazione sta nel rendere più fondate le decisioni, non nel trovare una percentuale positiva per ogni nuova pagina.
Per approfondire
Per progettare e valutare le landing in funzione delle opportunità commerciali, confrontati con HUD su campagne, contenuti e misurazione.
