Impara Controllo vs. Variante | Sperimentazione e test A/B

Scorri per mostrare il menu

Il test A/B è una tecnica fondamentale nell'analisi dei prodotti, che consente di confrontare l'impatto di una nuova funzionalità o modifica rispetto all'esperienza attuale. In un test A/B, gli utenti vengono suddivisi in due gruppi: il gruppo di controllo e il gruppo variante. Il gruppo di controllo utilizza il prodotto come di consueto, mentre il gruppo variante riceve la nuova funzionalità o modifica che si desidera testare.

Immagina di testare un nuovo colore del pulsante di checkout in un'app di e-commerce. Il gruppo di controllo vede il colore originale del pulsante, mentre il gruppo variante vede il nuovo colore. Misurando i risultati - come gli acquisti completati - è possibile determinare se il nuovo colore del pulsante ha un effetto positivo, negativo o nullo sul comportamento degli utenti.

Nota

L'assegnazione casuale ai gruppi di controllo e variante aiuta a garantire risultati imparziali. Questo significa che eventuali differenze osservate sono più probabilmente dovute alla modifica testata, e non a differenze preesistenti tra gli utenti.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

Dopo aver eseguito il test A/B e raccolto i dati, si confrontano i risultati tra i gruppi controllo e variante. Le metriche principali da analizzare includono il tasso di conversione e il valore medio di acquisto. L'obiettivo è individuare differenze significative che suggeriscano che la nuova funzionalità abbia un impatto reale. Se il gruppo variante mostra un tasso di conversione o un ricavo superiore, e l'assegnazione è stata casuale, si può essere più sicuri che il cambiamento sia responsabile del miglioramento.

1. Perché l'assegnazione casuale è importante nei test A/B?

2. Completa lo spazio vuoto:

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 4. Capitolo 2

Chieda ad AI

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione

Sezione 4. Capitolo 2