カイ二乗A/B
メニューを表示するにはスワイプしてください
カテゴリカルな結果（例えば、ユーザーがコンバージョンしたかどうか）を用いたA/Bテストを実施する場合、カイ二乗検定はグループ間の観測された差が統計的に有意かどうかを判断する方法を提供します。t-testsやz-testsが連続値や比率データに用いられるのに対し、カイ二乗検定はカテゴリごとのカウントデータに特化しています。A/Bテストの文脈では、controlグループとtreatmentグループ間でコンバージョンしたユーザーの割合が異なるかどうかを、コンバージョンの分布について仮定せずに知りたい場合によく利用されます。
12345678910111213141516171819202122import pandas as pd from scipy.stats import chi2_contingency # Example conversion data for A/B groups data = { "Group": ["Control", "Control", "Treatment", "Treatment"], "Outcome": ["Converted", "Not Converted", "Converted", "Not Converted"], "Count": [120, 880, 150, 850] } df = pd.DataFrame(data) # Create a contingency table contingency_table = df.pivot(index="Group", columns="Outcome", values="Count") # Run the chi-square test chi2, p, dof, expected = chi2_contingency(contingency_table) print(f"Chi-square statistic: {chi2:.2f}") print(f"p-value: {p:.4f}") print("Expected frequencies:") print(pd.DataFrame(expected, index=contingency_table.index, columns=contingency_table.columns))
カイ二乗検定結果の解釈
カイ二乗検定を実行した際は、以下の主要な出力に注目します。
- カイ二乗統計量：グループ間に差がない場合に期待されるカウントから、観測されたカウントがどれだけずれているかを測定；
- p値：真の差が存在しないと仮定した場合に、データで観測されたほど大きな差が生じる確率を示します。
判断基準：
- p値が有意水準（一般的に
0.05）未満の場合、controlグループとtreatmentグループ間でコンバージョン率に統計的に有意な差があると結論付けられます； - p値が有意水準以上の場合、差があると主張する十分な証拠はありません。
重要事項：
- 有意な結果は差が存在することを示しますが、どちらのグループが優れているかやその差の大きさまでは示しません；
- 検定の前提条件が満たされているかを確認するため、観測値と期待値の頻度を必ず確認してください；
- カイ二乗検定は他の分析と併用し、A/Bテスト結果を総合的に理解することが重要です。
すべて明確でしたか？
フィードバックありがとうございます！
セクション 1. 章 25
AIに質問する
AIに質問する
何でも質問するか、提案された質問の1つを試してチャットを始めてください
セクション 1. 章 25
