学ぶメトリック構築

メニューを表示するにはスワイプしてください

生の実験データから適切な指標を構築することは、有意義なA/Bテスト分析に不可欠です。指標とは、コンバージョン率（所定のアクションを完了したユーザーの割合）や平均注文額（取引ごとの平均収益）など、実験の結果を要約する定量的な測定値です。まず、実験の目的にとって最も重要な行動や成果を特定することから始まります。たとえば、新しいチェックアウトページをテストする場合、主要な指標はvisitからpurchaseへのコンバージョン率となります。副次的な指標としては、平均カートサイズやサイト滞在時間などが考えられます。

指標を定義したら、生データをこれらの要約統計量に変換する必要があります。これには、pandasなどのPythonライブラリを用いて集計、フィルタリング、比率や平均の計算を行うことが一般的です。実験分析でよく使われる指標には、次のようなものがあります：

コンバージョン率：ターゲットアクションを実行したユーザー数 ÷ 総ユーザー数
平均注文額：総収益 ÷ 注文数
リテンション率：再訪ユーザー数 ÷ 総ユーザー数
クリック率：クリック数 ÷ インプレッション数

明確で実用的な指標を選定することで、実験結果の解釈が容易になり、ビジネス目標と整合した分析が可能となります。


              1234567891011121314151617181920
            
import pandas as pd

# Example experiment dataset
data = {
    "user_id": [1, 2, 3, 4, 5, 6],
    "group": ["control", "control", "treatment", "treatment", "control", "treatment"],
    "converted": [1, 0, 1, 1, 0, 0],
    "order_value": [100, 0, 150, 200, 0, 0]
}
df = pd.DataFrame(data)

# Calculate conversion rate for each group
conversion_rates = df.groupby("group")["converted"].mean()
print("Conversion rate by group:")
print(conversion_rates)

# Calculate average order value for each group (only for users who converted)
average_order_value = df[df["converted"] == 1].groupby("group")["order_value"].mean()
print("\nAverage order value by group (converted users):")
print(average_order_value)

すべて明確でしたか？

フィードバックありがとうございます！

セクション 1. 章 22

AIに質問する

何でも質問するか、提案された質問の1つを試してチャットを始めてください

セクション 1. 章 22