Apprendre Groupe Témoin vs. Variante | Expérimentation et tests A/B

Glissez pour afficher le menu

Les tests A/B sont une technique fondamentale en analytique produit, permettant de comparer l'impact d'une nouvelle fonctionnalité ou d'un changement par rapport à l'expérience actuelle. Dans un test A/B, les utilisateurs sont répartis en deux groupes : le groupe témoin et le groupe variante. Le groupe témoin utilise le produit normalement, tandis que le groupe variante reçoit la nouvelle fonctionnalité ou le changement que vous souhaitez tester.

Imaginez que vous testiez une nouvelle couleur de bouton de paiement dans une application e-commerce. Le groupe témoin voit la couleur originale du bouton, tandis que le groupe variante voit la nouvelle couleur. En mesurant les résultats – tels que les achats finalisés – vous pouvez déterminer si la nouvelle couleur du bouton a un effet positif, négatif ou nul sur le comportement des utilisateurs.

Note

L'attribution aléatoire aux groupes témoin et variante permet de garantir des résultats non biaisés. Cela signifie que toute différence observée est plus probablement due au changement testé, et non à des différences préexistantes entre les utilisateurs.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

Après avoir mené votre test A/B et collecté les données, vous comparerez les résultats entre les groupes contrôle et variante. Les indicateurs clés à examiner incluent le taux de conversion et la valeur moyenne d'achat. Il s'agit d'identifier des différences significatives qui suggèrent que la nouvelle fonctionnalité a un impact réel. Si le groupe variante présente un taux de conversion ou un revenu supérieur, et que l'affectation était aléatoire, vous pouvez être plus confiant que le changement est responsable de l'amélioration.

1. Pourquoi l'affectation aléatoire est-elle importante dans les tests A/B ?

2. Complétez l'espace vide :

Tout était clair ?

Merci pour vos commentaires !

Section 4. Chapitre 2

Demandez à l'IA

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

Section 4. Chapitre 2