Impara Visualizzazione dei risultati dei test A/B | Analisi Pratica, Interpretazione e Reportistica

Scorri per mostrare il menu

Quando si presentano i risultati di un test A/B, le visualizzazioni devono rendere immediatamente chiari i risultati chiave ed evitare interpretazioni errate. Gli approcci più efficaci includono:

Grafici a barre: consentono di confrontare rapidamente i tassi di conversione o altre metriche tra i gruppi;
Grafici a barre con barre di errore: aggiungere intervalli di confidenza alle barre aiuta gli osservatori a comprendere l'incertezza delle stime;
Grafici di distribuzione: mostrare la distribuzione completa delle metriche (come tassi di conversione o ricavo per utente) per ciascun gruppo può evidenziare differenze nella variabilità o la presenza di valori anomali;
Grafici a linee: utili per monitorare le variazioni nel tempo o su più periodi di test.

Una buona visualizzazione utilizza assi chiaramente etichettati, schemi di colori coerenti e mette in risalto le differenze più importanti. Ad esempio, un grafico a barre che mostra i tassi di conversione per il gruppo A e B, con barre di errore per gli intervalli di confidenza al 95%, permette al pubblico di vedere sia la stima centrale sia l'incertezza.

Al contrario, una visualizzazione poco efficace potrebbe utilizzare scale dell'asse y fuorvianti (ad esempio, troncando l'asse per esagerare le differenze), non etichettare assi o gruppi, oppure utilizzare colori distraenti e legende disordinate. Questi errori possono confondere il pubblico o addirittura indurlo in errore riguardo all'esito del test.


              123456789101112131415161718192021222324252627282930
            
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

# Example conversion rates and confidence intervals
groups = ['A', 'B']
conversion_rates = [0.12, 0.15]
conf_intervals = [(0.10, 0.14), (0.13, 0.17)]  # 95% confidence intervals

# Calculate error bars (distance from mean to CI bounds)
errors = [
    [conversion_rates[0] - conf_intervals[0][0], conf_intervals[0][1] - conversion_rates[0]],
    [conversion_rates[1] - conf_intervals[1][0], conf_intervals[1][1] - conversion_rates[1]]
]
errors = np.array(errors).T  # shape (2, 2) for matplotlib

fig, ax = plt.subplots(figsize=(6, 4))
bars = ax.bar(groups, conversion_rates, yerr=errors, capsize=10, color=['#4C72B0', '#55A868'])

ax.set_ylabel('Conversion Rate')
ax.set_title('A/B Test Conversion Rates with 95% Confidence Intervals')
ax.set_ylim(0, 0.2)
ax.yaxis.set_major_formatter(plt.FuncFormatter(lambda y, _: '{:.0%}'.format(y)))

# Add value labels on top of bars
for bar, rate in zip(bars, conversion_rates):
    ax.text(bar.get_x() + bar.get_width() / 2, rate + 0.005, f"{rate:.2%}", ha='center', va='bottom', fontsize=11)

plt.tight_layout()
plt.show()

Quando si sceglie una visualizzazione, è importante considerare il pubblico e il messaggio che si vuole trasmettere:

Per dirigenti o stakeholder non tecnici: utilizzare grafici a barre chiari con intervalli di confidenza, minimo disordine e etichette dirette per evidenziare il messaggio principale;
Per analisti o data scientist: integrare i grafici a barre con grafici di distribuzione (come violin plot o box plot) per mostrare l'intera gamma di risultati e la variabilità;
Per presentazioni o report: evitare elementi fuorvianti come assi troncati, etichette di gruppo ambigue o effetti 3D non necessari. Fornire sempre il contesto e spiegare cosa rappresentano le barre di errore o le distribuzioni.

Adattare lo stile della visualizzazione al pubblico garantisce che i risultati vengano compresi e considerati affidabili.

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 4. Capitolo 3

Chieda ad AI

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione

Sezione 4. Capitolo 3