Apprendre Signification statistique | Expérimentation et tests A/B

Glissez pour afficher le menu

Lorsque vous réalisez un test A/B, vous souhaitez savoir si la différence observée entre les groupes témoin et variante est réelle ou simplement due au hasard. Pensez à lancer une pièce : si vous la lancez dix fois et obtenez sept fois face, cela signifie-t-il que la pièce est truquée ? Ou était-ce simplement de la chance ? En analytique produit, c'est ici que la signification statistique intervient. Elle vous aide à déterminer si la différence de résultats – comme un plus grand nombre d'utilisateurs cliquant sur un nouveau bouton – est probablement significative, ou si elle aurait pu se produire simplement par hasard, comme une série de faces lors de lancers de pièce.


              1234567891011121314151617
            
import numpy as np
from scipy import stats

# Simulated data: daily conversions for control and variant groups
control = np.array([30, 28, 35, 33, 29, 31, 32])
variant = np.array([36, 34, 39, 37, 35, 38, 40])

# Performing independent t-test
t_stat, p_value = stats.ttest_ind(variant, control)

print("t-statistic:", t_stat)
print("p-value:", p_value)

if p_value < 0.05:
    print("Result is statistically significant: the variant performed differently from control.")
else:
    print("Result is not statistically significant: no strong evidence of a difference.")

Définition

La signification statistique indique que les différences observées sont peu susceptibles d'être dues au hasard.

Lorsque vous obtenez une valeur p à partir de votre test statistique, elle indique la probabilité d'observer une différence aussi grande – ou plus grande – que celle constatée, simplement par hasard. Une valeur p faible (par exemple, inférieure à 0.05) signifie qu'il est peu probable que les résultats soient dus au hasard, ce qui permet d'avoir davantage confiance dans l'impact réel de votre modification. Si la valeur p est élevée, il n'est pas possible d'exclure que la différence soit simplement due à la chance. Cela permet de prendre des décisions produit en toute confiance : lancer de nouvelles fonctionnalités lorsque les preuves sont solides, et éviter d'agir sur des résultats qui pourraient ne pas se confirmer.

Le niveau de signification, souvent noté α (alpha), est un seuil défini avant d'effectuer votre test pour déterminer le niveau de risque d'un faux positif (erreur de type I) que vous êtes prêt à accepter. En A/B testing, il représente la probabilité de conclure à tort qu'une différence réelle existe alors qu'en réalité, la différence est simplement due au hasard.

Le niveau de signification le plus courant est 0.05, soit 5 %;
Cela signifie que vous acceptez un risque de 5 % de déclarer à tort une différence lorsqu'il n'y en a pas ;
Abaisser le niveau de signification (par exemple à 0.01) rend le test plus strict, réduisant le risque de faux positif mais nécessitant des preuves plus solides pour déclarer une signification ;
Le niveau de signification est fixé avant la collecte ou l'analyse des données.

En pratique, si votre valeur p est inférieure au niveau de signification choisi, le résultat est considéré comme statistiquement significatif et plus susceptible de refléter un effet réel. Si la valeur p est supérieure, il n'y a pas suffisamment de preuves pour affirmer avec confiance qu'il existe une différence réelle. Définir le bon niveau de signification permet d'équilibrer les risques de prendre de mauvaises décisions lors de vos expérimentations produit.

1. Que signifie une faible valeur p dans un test d'hypothèse ?

2. Complétez la phrase :

Tout était clair ?

Merci pour vos commentaires !

Section 4. Chapitre 3

Demandez à l'IA

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

Section 4. Chapitre 3