Вивчайте Контроль проти варіанту | Експериментування та A/B тестування

Свайпніть щоб показати меню

A/B тестування — це фундаментальна техніка в продуктовій аналітиці, яка дозволяє порівнювати вплив нової функції або зміни з поточним досвідом. У A/B тесті користувачі розподіляються на дві групи: контрольна група та група варіанту. Контрольна група взаємодіє з продуктом у звичному вигляді, тоді як група варіанту отримує нову функцію або зміну, яку потрібно протестувати.

Уявіть, що ви тестуєте новий колір кнопки оформлення замовлення в додатку електронної комерції. Контрольна група бачить оригінальний колір кнопки, а група варіанту — новий колір. Вимірюючи результати — наприклад, кількість завершених покупок — можна визначити, чи має новий колір кнопки позитивний, негативний або жодного впливу на поведінку користувачів.

Примітка

Випадковий розподіл у контрольну та варіантну групи допомагає забезпечити неупереджені результати. Це означає, що будь-які спостережувані відмінності, ймовірніше, зумовлені саме тестованою зміною, а не попередніми відмінностями між користувачами.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

Після проведення A/B-тесту та збору даних необхідно порівняти результати між групами контроль та варіант. Основні метрики для аналізу — це конверсія та середня вартість покупки. Важливо звертати увагу на суттєві відмінності, які можуть свідчити про реальний вплив нової функції. Якщо у групи варіант спостерігається вищий рівень конверсії або доходу, а розподіл був випадковим, можна з більшою впевненістю стверджувати, що саме зміна призвела до покращення.

1. Чому випадковий розподіл важливий у A/B-тестуванні?

2. Заповніть пропуск:

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 4. Розділ 2

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Секція 4. Розділ 2