学ぶ信頼区間 | A/Bテストの統計的基礎

メニューを表示するにはスワイプしてください

信頼区間は統計学の基本的な概念であり、A/Bテストにおいて重要な役割を果たします。p値が観測された差が偶然によるものかどうかを示すのに対し、信頼区間は真の効果量が含まれている可能性が高い値の範囲を示します。この範囲によって、統計的に有意な差があるかどうかだけでなく、その差の大きさや確実性についても理解できます。

信頼区間はサンプルデータから計算され、通常は95%のようなパーセンテージで表されます。これは、実験を何度も繰り返した場合、計算された区間の95%が真の母集団パラメータを含むことを意味します。A/Bテストでは、コントロールグループとバリアントグループ間のコンバージョン率の差を推定するために信頼区間がよく使われます。

割合（コンバージョン率など）の信頼区間を計算するには、観測された率の標準誤差を求め、zスコアを用いて観測値の周囲の範囲を定義します。信頼区間はp値だけよりも多くの情報を提供し、推定効果の大きさと精度の両方を示すため、テスト結果についてより良い意思決定が可能になります。


              123456789101112131415161718192021222324252627282930313233343536
            
import numpy as np
from scipy.stats import norm

# Sample data: number of conversions and total users in each group
conversions_A = 200
users_A = 2000
conversions_B = 240
users_B = 2000

# Calculating conversion rates
rate_A = conversions_A / users_A
rate_B = conversions_B / users_B

# Calculatig the standard error for each group
se_A = np.sqrt(rate_A * (1 - rate_A) / users_A)
se_B = np.sqrt(rate_B * (1 - rate_B) / users_B)

# 95% confidence interval uses a z-score of approximately 1.96
z = norm.ppf(0.975)

# Calculating confidence intervals
ci_A = (rate_A - z * se_A, rate_A + z * se_A)
ci_B = (rate_B - z * se_B, rate_B + z * se_B)

print(f"Group A conversion rate: {rate_A:.3f}")
print(f"95% CI for Group A: ({ci_A[0]:.3f}, {ci_A[1]:.3f})")
print(f"Group B conversion rate: {rate_B:.3f}")
print(f"95% CI for Group B: ({ci_B[0]:.3f}, {ci_B[1]:.3f})")

# Confidence interval for the difference in conversion rates
diff = rate_B - rate_A
se_diff = np.sqrt(se_A**2 + se_B**2)
ci_diff = (diff - z * se_diff, diff + z * se_diff)

print(f"Difference in conversion rates (B - A): {diff:.3f}")
print(f"95% CI for difference: ({ci_diff[0]:.3f}, {ci_diff[1]:.3f})")

A/Bテストにおける信頼区間の解釈では、真のコンバージョン率の差が存在する可能性が高い範囲を確認します。差の信頼区間にゼロが含まれていなければ、実際に効果があると合理的に考えられます。ゼロが含まれている場合、観測された差は偶然による可能性があります。

意思決定において、信頼区間は効果の大きさとその不確実性の両方を把握するのに役立ちます。これにより、関係者に結果を伝える際、単に統計的に有意であると述べるだけでなく、改善（または低下）の可能な範囲やその推定値に対する信頼度も説明できます。これにより、潜在的なリスクとリターンを明確に理解した上でビジネス判断を導くことができます。

すべて明確でしたか？

フィードバックありがとうございます！

セクション 3. 章 3

AIに質問する

何でも質問するか、提案された質問の1つを試してチャットを始めてください

セクション 3. 章 3