A/Bテストにおいて、ユーザーをコントロールグループとバリアントグループにバランスよく偏りなく割り当てることは、信頼性の高い結果を得るために不可欠です。グループ間で年齢、地域、行動などのユーザー特性に体系的な違いがある場合、観察される効果はテストしている変更ではなく、これらの違いによる可能性があります。**ランダム化**は、各ユーザーがどのグループにも均等に割り当てられる機会を持つことを保証し、バイアスを最小限に抑え、比較可能なグループを作成するのに役立ちます。

バランスを確認するには、割り当て後にグループ間のユーザー特性の分布を比較します。理想的には、両グループで重要な変数の平均値や割合が類似している必要があります。バランスが取れていない場合、ランダム化プロセスに問題があるか、交絡変数が存在する可能性があります。慎重な割り当てとバランスの確認は、A/Bテストの結論の妥当性を確保するのに役立ちます。


import unittest
import user_code
import ast
import re   
import importlib
import csv
import unittest
import pandas as pd
import numpy as np
import importlib
import sys

class TestTask(unittest.TestCase):
    def setUp(self):
        self.users = pd.DataFrame({
            'user_id': [101, 102, 103, 104, 105, 106, 107, 108],
            'age': [23, 45, 31, 29, 40, 22, 30, 27],
            'location': ['NY', 'CA', 'TX', 'NY', 'CA', 'TX', 'NY', 'CA']
        })

    def test_group_column_exists_and_valid(self):
        import user_code
        importlib.reload(user_code)
        df = user_code.assign_groups(self.users)
        _dynamic_test(
            self,
            'group' in df.columns,
            "Returned DataFrame includes a 'group' column.",
            "Returned DataFrame does not have a 'group' column."
        )
        valid = set(df['group'].unique()) <= {'control', 'variant'}
        _dynamic_test(
            self,
            valid,
            "All group assignments are either 'control' or 'variant'.",
            f"Group assignments must be only 'control' or 'variant', got: {set(df['group'].unique())}"
        )

    def test_each_user_one_group(self):
        import user_code
        importlib.reload(user_code)
        df = user_code.assign_groups(self.users)
        counts = df.groupby('user_id')['group'].nunique().values
        _dynamic_test(
            self,
            all(c == 1 for c in counts),
            "Each user is assigned to exactly one group.",
            f"Some users assigned to multiple groups: group counts: {counts}"
        )

    def test_assignment_is_random_and_balanced(self):
        import user_code
        # Run multiple times to check for randomness
        group_counts = []
        for _ in range(20):
            importlib.reload(user_code)
            df = user_code.assign_groups(self.users)
            counts = df['group'].value_counts()
            group_counts.append(counts)
        # Check that both groups appear in all runs
        for counts in group_counts:
            _dynamic_test(
                self,
                'control' in counts and 'variant' in counts,
                "Both groups are assigned in each run.",
                f"One of the groups is missing in assignment: {counts.to_dict()}"
            )
        # Check that distribution is approximately even
        diffs = [abs(counts.get('control',0) - counts.get('variant',0)) for counts in group_counts]
        _dynamic_test(
            self,
            all(d <= 4 for d in diffs),
            "Assignment is approximately balanced for 8 users.",
            f"Assignment is not balanced enough: diffs={diffs}"
        )

    def test_original_dataframe_not_modified(self):
        import user_code
        importlib.reload(user_code)
        orig = self.users.copy()
        _ = user_code.assign_groups(self.users)
        _dynamic_test(
            self,
            self.users.equals(orig),
            "Original DataFrame is not modified.",
            "Original DataFrame was changed after function call."
        )

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

def normalize_text(text):
    text = text.lower()
    text = re.sub(r"\\s{2,}", " ", text)
    text = re.sub(r"\\s*([,:?])\\s*", r"\\1 ", text)
    return text.strip()

def change_var(code: str, var_name: str, value: str) -> str:
    tree = ast.parse(code)
    lines = code.splitlines()
    changed = False
    # Collect all assignment nodes to modify
    assign_nodes = [
        (i, node)
        for i, node in enumerate(tree.body)
        if isinstance(node, ast.Assign)
        and any(isinstance(target, ast.Name) and target.id == var_name for target in node.targets)
    ]

    # If nothing to change, return unmodified code
    if not assign_nodes:
        return code

    # Perform replacements for all matching assignments (from last to first to not break line offsets)
    for i, node in reversed(assign_nodes):
        start_line = node.lineno - 1
        line = lines[start_line]
        indent = ' ' * (len(line) - len(line.lstrip()))
        lines[start_line] = f"{indent}{var_name} = {value}"
        next_line = len(lines)
        for next_node in tree.body[i+1:]:
            if hasattr(next_node, 'lineno'):
                next_line = next_node.lineno - 1
                break
        if next_line > start_line + 1:
            lines[start_line+1:next_line] = []
        changed = True

    return '\\n'.join(lines) if changed else code

if __name__ == "__main__":
    unittest.main()


test_main.py

Pythonを使用したA/Bテストの技術と理論を習得します。本コースでは、統計的基礎、実験設計、A/Bテストの実践的な実装について学びます。実践的な演習と実際のシナリオに重点を置いています。結果の分析、一般的な落とし穴の回避、効果的な結果の伝達方法を学びます。

A/Bテストの基本を探求します。主要な用語や科学的方法から、テクノロジーやマーケティングで使用される実践的なワークフローまでを網羅します。このセクションでは、歴史的背景、実験の根拠、データ駆動型環境で効果的にコミュニケーションを行うために必要な重要な語彙を含む、包括的な基礎を提供します。

堅牢なA/Bテストを設計するために必要なスキルを習得します。仮説の立案やランダム化からサンプルサイズの計算、指標の選択までを網羅します。本セクションでは、仮説の作成、ランダム化、サンプルサイズの決定、指標の選択について、実践的な例やハンズオン演習を交えて詳しく解説します。

A/Bテストの基礎となる統計的概念（有意性、p値、誤差の種類、信頼区間など）を深く学びます。このセクションでは、詳細な解説、実用的なコード例、実践的な演習を通じて理解を確実なものにします。

実践的なA/Bテスト分析の基本を深く学びます。データのシミュレーション、結果の解釈、魅力的な可視化の作成、ステークホルダーへの調査結果の伝達を行います。調査結果を効果的に伝える方法、説得力のある可視化の作成、解釈における一般的な落とし穴の回避について学びます。

チャレンジ：ユーザーをグループに割り当てる

解答