Primary/Secondary メトリクス

A/Bテストを設計し解釈する際には、監視および分析する指標を慎重に選択する必要があります。実験で使用される指標は、一般的に**主要指標（プライマリメトリクス）と副次指標（セカンダリメトリクス）**に分類されます。この違いを理解することは、妥当な結論を導き出し、適切なビジネス判断を下すために重要です。

主要指標（プライマリメトリクス）

主要指標は、実験によって影響を与えたい主な成果です。これらの指標は、実験の目的やビジネス目標に直接結びついています。

• テストの主な成功基準を表す；
• テストしている変更（トリートメント）が成功したかどうかを判断するために使用される；
• 改善したい内容に直接関連している。

例： 新しいチェックアウトプロセスをテストしている場合、主要指標はコンバージョン率（購入を完了したユーザーの割合）となります。

副次指標（セカンダリメトリクス）

副次指標は、追加の情報を提供したり、意図しない副作用を発見するのに役立つ測定項目です。

• ユーザー行動やシステムパフォーマンスに関する補足情報を提供する；
• 結果をより包括的に解釈するのに役立つ；
• 主要指標だけでは見逃しがちな悪影響やトレードオフを明らかにする。

例：

• 平均注文額；
• 直帰率；
• ページの読み込み時間。

新しいチェックアウトプロセスでコンバージョン率が上がったとしても、失敗した決済が増加した場合は、その情報を把握して意思決定する必要があります。

指標選定の重要性

適切な主要指標と副次指標を選ぶことは不可欠です：

• 主要指標がビジネス目標と一致していない場合、組織に利益をもたらさない変更を行ってしまう可能性がある；
• 副次指標を無視すると、悪影響や改善の機会を見逃すことになる。

指標の選択は、結果の伝え方にも影響します：

• ステークホルダーは、実験が主要指標を改善したかどうかを知る必要がある；
• また、副次指標によって明らかになったトレードオフや予期しない結果も理解する必要がある。

両方の指標を選定し報告することで、A/Bテストの結果が信頼でき、実用的で、ビジネス目標に合致したものとなります。