停止ルール

実験をいつ終了するかを判断することは、信頼性の高いA/Bテストにおいて重要な要素です。停止ルールとは、実験を開始する前に設定するガイドラインであり、いつ結果を分析し、テストを終了するかを決定します。これらのルールは、データの偶然的な変動による誤った結論を避けるのに役立ちます。

停止ルールには主に2つのタイプがあります：

• 固定サンプル停止ルール：事前に、どれだけのサンプル数またはどれだけの期間データを収集するかを決めてから、結果を確認します。例えば、10,000人のユーザーが参加した時点、または4週間経過した時点のいずれか早い方でデータ収集を終了する計画を立てることができます。この方法はシンプルで、結果を繰り返し確認することによるバイアスを防ぐのに役立ちます。

• 逐次的アプローチ：実験中に複数回データを監視することを許可します。逐次的ルールでは、毎日または毎週結果を確認し、十分な証拠が得られた場合に早期終了するための事前定義された基準を設けることができます。ただし、逐次的な監視では、頻繁に結果を確認することで偽陽性のリスクが高まるため、結論の妥当性を維持するために慎重な統計的調整が必要です。