学ぶ A/Bテスト結果の可視化 | 実践的な分析・解釈・報告

メニューを表示するにはスワイプしてください

A/Bテストの結果を提示する際、可視化は主要な発見を即座に明確にし、誤解を防ぐ必要があります。最も効果的な手法には以下が含まれます：

棒グラフ：グループ間のコンバージョン率や他の指標を迅速に比較；
誤差棒付き棒グラフ：棒に信頼区間を追加することで、推定値の不確実性を視聴者が理解しやすくなる；
分布プロット：各グループの指標（コンバージョン率やユーザーあたりの収益など）の全体分布を表示することで、ばらつきや外れ値の違いを明らかにできる；
折れ線グラフ：時間の経過や複数のテスト期間にわたる変化を追跡する際に有用。

良い可視化は、明確にラベル付けされた軸、一貫したカラースキーム、最も重要な違いの強調を特徴とします。例えば、グループAとBのコンバージョン率を示す棒グラフに95%信頼区間の誤差棒を加えることで、中心推定値と不確実性の両方を聴衆に示すことができます。

一方、悪い可視化は、誤解を招くy軸スケール（差異を誇張するために軸を切り詰めるなど）を使用したり、軸やグループのラベルがなかったり、注意をそらす色や煩雑な凡例を使ったりします。これらのミスは聴衆を混乱させたり、テスト結果について誤解を与える可能性があります。


              123456789101112131415161718192021222324252627282930
            
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

# Example conversion rates and confidence intervals
groups = ['A', 'B']
conversion_rates = [0.12, 0.15]
conf_intervals = [(0.10, 0.14), (0.13, 0.17)]  # 95% confidence intervals

# Calculate error bars (distance from mean to CI bounds)
errors = [
    [conversion_rates[0] - conf_intervals[0][0], conf_intervals[0][1] - conversion_rates[0]],
    [conversion_rates[1] - conf_intervals[1][0], conf_intervals[1][1] - conversion_rates[1]]
]
errors = np.array(errors).T  # shape (2, 2) for matplotlib

fig, ax = plt.subplots(figsize=(6, 4))
bars = ax.bar(groups, conversion_rates, yerr=errors, capsize=10, color=['#4C72B0', '#55A868'])

ax.set_ylabel('Conversion Rate')
ax.set_title('A/B Test Conversion Rates with 95% Confidence Intervals')
ax.set_ylim(0, 0.2)
ax.yaxis.set_major_formatter(plt.FuncFormatter(lambda y, _: '{:.0%}'.format(y)))

# Add value labels on top of bars
for bar, rate in zip(bars, conversion_rates):
    ax.text(bar.get_x() + bar.get_width() / 2, rate + 0.005, f"{rate:.2%}", ha='center', va='bottom', fontsize=11)

plt.tight_layout()
plt.show()

可視化を選択する際は、対象となるオーディエンスと伝えたいストーリーを考慮します：

経営層や非技術系の関係者向け：信頼区間付きの明確な棒グラフ、最小限の装飾、直接的なラベルで主要なポイントを強調；
アナリストやデータサイエンティスト向け：棒グラフに加えて分布プロット（バイオリンプロットや箱ひげ図など）を用いて、結果の全体的な範囲やばらつきを示す；
プレゼンテーションやレポート用：切り詰めた軸、不明瞭なグループラベル、不必要な3D効果などの誤解を招く要素は避ける。常に文脈を提供し、誤差棒や分布が何を示しているかを説明する。

可視化スタイルをオーディエンスに合わせることで、結果が正しく理解され、信頼されます。

すべて明確でしたか？

フィードバックありがとうございます！

セクション 4. 章 3

AIに質問する

何でも質問するか、提案された質問の1つを試してチャットを始めてください

セクション 4. 章 3