Intervalles de confiance
Glissez pour afficher le menu
Les intervalles de confiance sont un concept fondamental en statistique et jouent un rôle crucial dans les tests A/B. Alors que les valeurs p indiquent si une différence observée pourrait être due au hasard, les intervalles de confiance fournissent une plage de valeurs qui contiennent probablement la véritable taille de l'effet. Cette plage permet de comprendre non seulement s'il existe une différence statistiquement significative, mais aussi l'ampleur possible de cette différence et le degré de certitude associé.
Un intervalle de confiance est calculé à partir de vos données d'échantillon et s'exprime généralement en pourcentage, comme 95 %. Cela signifie que si vous répétiez votre expérience de nombreuses fois, 95 % des intervalles calculés contiendraient le véritable paramètre de la population. Dans les tests A/B, les intervalles de confiance sont souvent utilisés pour estimer la différence de taux de conversion entre les groupes témoin et variante.
Le calcul d'un intervalle de confiance pour une proportion (comme un taux de conversion) implique de déterminer l'erreur standard du taux observé, puis d'utiliser un score z pour définir la plage autour du taux observé. Les intervalles de confiance sont plus informatifs que les seules valeurs p car ils montrent à la fois l'ampleur et la précision de l'effet estimé, permettant ainsi de prendre de meilleures décisions concernant les résultats du test.
123456789101112131415161718192021222324252627282930313233343536import numpy as np from scipy.stats import norm # Sample data: number of conversions and total users in each group conversions_A = 200 users_A = 2000 conversions_B = 240 users_B = 2000 # Calculating conversion rates rate_A = conversions_A / users_A rate_B = conversions_B / users_B # Calculatig the standard error for each group se_A = np.sqrt(rate_A * (1 - rate_A) / users_A) se_B = np.sqrt(rate_B * (1 - rate_B) / users_B) # 95% confidence interval uses a z-score of approximately 1.96 z = norm.ppf(0.975) # Calculating confidence intervals ci_A = (rate_A - z * se_A, rate_A + z * se_A) ci_B = (rate_B - z * se_B, rate_B + z * se_B) print(f"Group A conversion rate: {rate_A:.3f}") print(f"95% CI for Group A: ({ci_A[0]:.3f}, {ci_A[1]:.3f})") print(f"Group B conversion rate: {rate_B:.3f}") print(f"95% CI for Group B: ({ci_B[0]:.3f}, {ci_B[1]:.3f})") # Confidence interval for the difference in conversion rates diff = rate_B - rate_A se_diff = np.sqrt(se_A**2 + se_B**2) ci_diff = (diff - z * se_diff, diff + z * se_diff) print(f"Difference in conversion rates (B - A): {diff:.3f}") print(f"95% CI for difference: ({ci_diff[0]:.3f}, {ci_diff[1]:.3f})")
Lorsque vous interprétez un intervalle de confiance dans un test A/B, vous examinez la plage dans laquelle la véritable différence de taux de conversion est susceptible de se situer. Si l'intervalle de confiance pour la différence n'inclut pas zéro, vous pouvez être raisonnablement certain qu'il existe un effet réel. S'il inclut zéro, la différence observée pourrait être due au hasard.
Pour la prise de décision, les intervalles de confiance permettent de comprendre à la fois la taille possible de l'effet et l'incertitude qui l'entoure. Cela facilite la communication des résultats aux parties prenantes : au lieu de simplement indiquer qu'un résultat est statistiquement significatif, vous pouvez expliquer la plage probable d'amélioration (ou de diminution) et le niveau de confiance associé à cette estimation. Cela aide à orienter les décisions commerciales avec une compréhension plus claire des risques et des opportunités potentiels.
Merci pour vos commentaires !
Demandez à l'IA
Demandez à l'IA
Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion
