Summary  
This chapter demonstrates how to implement code that performs an independent two-sample t-test to compare the means of two datasets and calculates the t-statistic and p-value to assess statistical significance.

General domain of usage  
A/B testing

A/Bテストでは、**コントロールグループ**と**処置グループ**の平均値に**統計的に有意な差**があるかどうかを判断することが目的。

**t検定**は、この目的のためによく使われる統計手法であり、以下の場合に適用される：

- サンプルサイズが中程度の場合；
- 母集団の標準偏差が不明な場合。

基本的な考え方：

- 2つのグループ間で**平均的な結果**（例：`conversion rate`、`revenue per user`、`time on site`など）を比較；
- 平均値の差がデータのばらつきに対して十分に大きい場合、処置が実際に効果をもたらしたと結論付けることができる。

import pandas as pd
from scipy import stats

# Example experiment data
data = {
    "group": ["control"] * 100 + ["treatment"] * 100,
    "metric": (
        [1.2, 1.4, 1.5, 1.1, 1.3] * 20 +   # Control group metrics
        [1.6, 1.7, 1.8, 1.5, 1.9] * 20     # Treatment group metrics
    )
}
df = pd.DataFrame(data)

# Split into control and treatment
control = df[df["group"] == "control"]["metric"]
treatment = df[df["group"] == "treatment"]["metric"]

# Perform independent two-sample t-test
t_stat, p_value = stats.ttest_ind(control, treatment, equal_var=False)

print("t-statistic:", t_stat)
print("p-value:", p_value)

A/B実験データでt検定を実行すると、2つの主要な出力が得られる：

- **t値（t-statistic）**：グループ間の平均値の差が、データのばらつきに対してどれだけ大きいかを示す指標；
- **p値（p-value）**：グループ間に実際の効果がない場合に、これほどの差（またはそれ以上の差）が観測される確率を示す。

A/Bテストにおいて：

- **p値**が選択した有意水準（一般的に`0.05`）より小さい場合、帰無仮説を棄却できる；
- これは、処置が指標に実際の変化をもたらした可能性が高いことを示唆する。

これらの結果は、ビジネス目標、効果の大きさ、t検定の前提条件といった文脈の中で常に解釈することが重要。

t検定を用いたA/Bテストの文脈で、p値が0.05未満であることは何を示していますか？

データアナリスト向けの仮説検定の基礎に特化した簡潔な初心者向けコース。仮説の立案、t検定（1標本、2標本、対応あり）、z検定、カイ二乗検定、検定の前提条件、適切な統計検定の選択方法を扱います。

t検定 A/B