統計情報と視覚的情報の統合は、A/Bテスト結果を解釈し、実用的な提案を行うために重要なスキルです。A/Bテストの結果グリッドを確認する際は、**p値**、**信頼区間**、および**棒グラフ**や**エラーバー**などの視覚的表現に関する理解を組み合わせる必要があります。まずは`p-value`を確認します。事前に設定した閾値（一般的には`0.05`）未満であれば統計的有意性が示唆されますが、これだけでは十分ではありません。次に、推定効果の**信頼区間**を確認します。ゼロをまたがない場合、統計的に有意な差があることを支持し、その範囲は効果の大きさの可能性を示します。**可視化**は、グループ間のパターン、外れ値、重なりなどを素早く把握でき、数値が示す内容を補強または疑問視するのに役立ちます。これらの要素を統合することで、観察された差が意味のあるものかどうか、そして新機能の展開、追加テストの実施、現状維持など、どのような実務的対応が適切かを自信を持って判断できます。


import unittest
import user_code
import ast
import re   
import importlib
import csv
import unittest
import pandas as pd
import importlib

class TestTask(unittest.TestCase):
    def setUp(self):
        self.user_code = importlib.import_module("user_code")

    def test_recommendation_column_added(self):
        results_data = {
            "test_scenario": ["A", "B"],
            "p_value": [0.01, 0.2],
            "confidence_interval": [(0.05, 0.10), (-0.01, 0.03)],
            "mean_difference": [0.08, 0.01]
        }
        df = pd.DataFrame(results_data)
        df_out = self.user_code.interpret_ab_results(df)
        has_column = "recommendation" in df_out.columns
        correct_length = len(df_out["recommendation"]) == len(df_out)
        _dynamic_test(self,
            has_column and correct_length,
            "Adds 'recommendation' column with one entry per scenario.",
            f"Recommendation column missing or wrong length. Columns: {df_out.columns}, length: {len(df_out['recommendation']) if has_column else 'N/A'}"
        )

    def test_recommend_rollout(self):
        results_data = {
            "test_scenario": ["C"],
            "p_value": [0.01],
            "confidence_interval": [(0.01, 0.05)],
            "mean_difference": [0.03]
        }
        df = pd.DataFrame(results_data)
        df_out = self.user_code.interpret_ab_results(df)
        rec = df_out["recommendation"][0]
        _dynamic_test(self,
            "rollout" in rec.lower() and "improvement" in rec.lower(),
            "Recommends rollout when p < 0.05 and CI above zero.",
            f"Expected rollout recommendation, got: {rec}"
        )

    def test_recommend_do_not_rollout(self):
        results_data = {
            "test_scenario": ["D"],
            "p_value": [0.01],
            "confidence_interval": [(-0.08, -0.01)],
            "mean_difference": [-0.05]
        }
        df = pd.DataFrame(results_data)
        df_out = self.user_code.interpret_ab_results(df)
        rec = df_out["recommendation"][0]
        _dynamic_test(self,
            "do not rollout" in rec.lower() or ("not rollout" in rec.lower()),
            "Recommends not rolling out when p < 0.05 and CI below zero.",
            f"Expected do not rollout recommendation, got: {rec}"
        )

    def test_recommend_investigate_further(self):
        results_data = {
            "test_scenario": ["E"],
            "p_value": [0.01],
            "confidence_interval": [(-0.02, 0.03)],
            "mean_difference": [0.00]
        }
        df = pd.DataFrame(results_data)
        df_out = self.user_code.interpret_ab_results(df)
        rec = df_out["recommendation"][0]
        _dynamic_test(self,
            "investigate" in rec.lower(),
            "Recommends to investigate further when p < 0.05 and CI crosses zero.",
            f"Expected investigate further recommendation, got: {rec}"
        )

    def test_recommend_maintain(self):
        results_data = {
            "test_scenario": ["F"],
            "p_value": [0.2],
            "confidence_interval": [(-0.01, 0.03)],
            "mean_difference": [0.01]
        }
        df = pd.DataFrame(results_data)
        df_out = self.user_code.interpret_ab_results(df)
        rec = df_out["recommendation"][0]
        _dynamic_test(self,
            "maintain" in rec.lower() or "no statistically significant difference" in rec.lower(),
            "Recommends maintaining current version when p >= 0.05.",
            f"Expected maintain recommendation, got: {rec}"
        )

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

def normalize_text(text):
    text = text.lower()
    text = re.sub(r"\\s{2,}", " ", text)
    text = re.sub(r"\\s*([,:?])\\s*", r"\\1 ", text)
    return text.strip()

def change_var(code: str, var_name: str, value: str) -> str:
    tree = ast.parse(code)
    lines = code.splitlines()
    changed = False
    # Collect all assignment nodes to modify
    assign_nodes = [
        (i, node)
        for i, node in enumerate(tree.body)
        if isinstance(node, ast.Assign)
        and any(isinstance(target, ast.Name) and target.id == var_name for target in node.targets)
    ]

    # If nothing to change, return unmodified code
    if not assign_nodes:
        return code

    # Perform replacements for all matching assignments (from last to first to not break line offsets)
    for i, node in reversed(assign_nodes):
        start_line = node.lineno - 1
        line = lines[start_line]
        indent = ' ' * (len(line) - len(line.lstrip()))
        lines[start_line] = f"{indent}{var_name} = {value}"
        next_line = len(lines)
        for next_node in tree.body[i+1:]:
            if hasattr(next_node, 'lineno'):
                next_line = next_node.lineno - 1
                break
        if next_line > start_line + 1:
            lines[start_line+1:next_line] = []
        changed = True

    return '\\n'.join(lines) if changed else code

if __name__ == "__main__":
    unittest.main()


test_main.py

Pythonを使用したA/Bテストの技術と理論を習得します。本コースでは、統計的基礎、実験設計、A/Bテストの実践的な実装について学びます。実践的な演習と実際のシナリオに重点を置いています。結果の分析、一般的な落とし穴の回避、効果的な結果の伝達方法を学びます。

A/Bテストの基本を探求します。主要な用語や科学的方法から、テクノロジーやマーケティングで使用される実践的なワークフローまでを網羅します。このセクションでは、歴史的背景、実験の根拠、データ駆動型環境で効果的にコミュニケーションを行うために必要な重要な語彙を含む、包括的な基礎を提供します。

堅牢なA/Bテストを設計するために必要なスキルを習得します。仮説の立案やランダム化からサンプルサイズの計算、指標の選択までを網羅します。本セクションでは、仮説の作成、ランダム化、サンプルサイズの決定、指標の選択について、実践的な例やハンズオン演習を交えて詳しく解説します。

A/Bテストの基礎となる統計的概念（有意性、p値、誤差の種類、信頼区間など）を深く学びます。このセクションでは、詳細な解説、実用的なコード例、実践的な演習を通じて理解を確実なものにします。

実践的なA/Bテスト分析の基本を深く学びます。データのシミュレーション、結果の解釈、魅力的な可視化の作成、ステークホルダーへの調査結果の伝達を行います。調査結果を効果的に伝える方法、説得力のある可視化の作成、解釈における一般的な落とし穴の回避について学びます。

チャレンジ：A/Bテスト結果の解釈

解答