A/Bテストを実施する際の目的は、収集したデータに基づいて新しいバリアント（B）がコントロール（A）と本当に異なるかどうかを判断することです。しかし、結論が誤ってしまう主な理由は2つあります。すなわち、実際には差がないのに差があると判断してしまう場合（**第I種の誤り**、または「偽陽性」）、あるいは実際に差があるのにそれを見逃してしまう場合（**第II種の誤り**、または「偽陰性」）です。どちらの誤りが発生したか（あるいは発生していないか）を特定するには、現実世界の真実（実際に効果が存在するかどうか）と統計的検定の結果（有意な効果があると判断したかどうか）を比較する必要があります。

実際に効果が存在しないのに検定で有意な結果が出た場合、**第I種の誤り**となります。実際に効果が存在するのに検定で有意な結果が出なかった場合、**第II種の誤り**となります。結論が現実と一致している場合（実際の効果を正しく検出した、または効果がないことを正しく判断した場合）、**正しい判断**をしたことになります。これらのシナリオを理解することは、テスト結果の実務的な意味を解釈し、得られた知見に基づいて適切なビジネス判断を下すために非常に重要です。


import unittest
import user_code
import ast
import re   
import importlib
import csv
import unittest
import importlib

class TestTask(unittest.TestCase):
    def test_correct_decision_true_effect_significant(self):
        import user_code
        importlib.reload(user_code)
        result = user_code.classify_ab_test_outcome(True, True)
        _dynamic_test(
            self,
            result == "Correct Decision",
            'Returns "Correct Decision" for (True, True)',
            f'Expected "Correct Decision" for (True, True), got {result}'
        )

    def test_correct_decision_no_effect_not_significant(self):
        import user_code
        importlib.reload(user_code)
        result = user_code.classify_ab_test_outcome(False, False)
        _dynamic_test(
            self,
            result == "Correct Decision",
            'Returns "Correct Decision" for (False, False)',
            f'Expected "Correct Decision" for (False, False), got {result}'
        )

    def test_type_i_error(self):
        import user_code
        importlib.reload(user_code)
        result = user_code.classify_ab_test_outcome(False, True)
        _dynamic_test(
            self,
            result == "Type I Error",
            'Returns "Type I Error" for (False, True)',
            f'Expected "Type I Error" for (False, True), got {result}'
        )

    def test_type_ii_error(self):
        import user_code
        importlib.reload(user_code)
        result = user_code.classify_ab_test_outcome(True, False)
        _dynamic_test(
            self,
            result == "Type II Error",
            'Returns "Type II Error" for (True, False)',
            f'Expected "Type II Error" for (True, False), got {result}'
        )

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

def normalize_text(text):
    text = text.lower()
    text = re.sub(r"\\s{2,}", " ", text)
    text = re.sub(r"\\s*([,:?])\\s*", r"\\1 ", text)
    return text.strip()

def change_var(code: str, var_name: str, value: str) -> str:
    tree = ast.parse(code)
    lines = code.splitlines()
    changed = False
    # Collect all assignment nodes to modify
    assign_nodes = [
        (i, node)
        for i, node in enumerate(tree.body)
        if isinstance(node, ast.Assign)
        and any(isinstance(target, ast.Name) and target.id == var_name for target in node.targets)
    ]

    # If nothing to change, return unmodified code
    if not assign_nodes:
        return code

    # Perform replacements for all matching assignments (from last to first to not break line offsets)
    for i, node in reversed(assign_nodes):
        start_line = node.lineno - 1
        line = lines[start_line]
        indent = ' ' * (len(line) - len(line.lstrip()))
        lines[start_line] = f"{indent}{var_name} = {value}"
        next_line = len(lines)
        for next_node in tree.body[i+1:]:
            if hasattr(next_node, 'lineno'):
                next_line = next_node.lineno - 1
                break
        if next_line > start_line + 1:
            lines[start_line+1:next_line] = []
        changed = True

    return '\\n'.join(lines) if changed else code

if __name__ == "__main__":
    unittest.main()


test_main.py

Pythonを使用したA/Bテストの技術と理論を習得します。本コースでは、統計的基礎、実験設計、A/Bテストの実践的な実装について学びます。実践的な演習と実際のシナリオに重点を置いています。結果の分析、一般的な落とし穴の回避、効果的な結果の伝達方法を学びます。

A/Bテストの基本を探求します。主要な用語や科学的方法から、テクノロジーやマーケティングで使用される実践的なワークフローまでを網羅します。このセクションでは、歴史的背景、実験の根拠、データ駆動型環境で効果的にコミュニケーションを行うために必要な重要な語彙を含む、包括的な基礎を提供します。

堅牢なA/Bテストを設計するために必要なスキルを習得します。仮説の立案やランダム化からサンプルサイズの計算、指標の選択までを網羅します。本セクションでは、仮説の作成、ランダム化、サンプルサイズの決定、指標の選択について、実践的な例やハンズオン演習を交えて詳しく解説します。

A/Bテストの基礎となる統計的概念（有意性、p値、誤差の種類、信頼区間など）を深く学びます。このセクションでは、詳細な解説、実用的なコード例、実践的な演習を通じて理解を確実なものにします。

実践的なA/Bテスト分析の基本を深く学びます。データのシミュレーション、結果の解釈、魅力的な可視化の作成、ステークホルダーへの調査結果の伝達を行います。調査結果を効果的に伝える方法、説得力のある可視化の作成、解釈における一般的な落とし穴の回避について学びます。

チャレンジ：エラータイプ識別

解答