Oppiskele Kontrolli vs. Variantti | Kokeilu ja A/B-testaus

Pyyhkäise näyttääksesi valikon

A/B-testaus on keskeinen menetelmä tuoteanalytiikassa, jonka avulla voidaan vertailla uuden ominaisuuden tai muutoksen vaikutusta nykyiseen kokemukseen. A/B-testissä käyttäjät jaetaan kahteen ryhmään: kontrolliryhmään ja varianttiryhmään. Kontrolliryhmä käyttää tuotetta normaalisti, kun taas varianttiryhmä saa uuden ominaisuuden tai muutoksen, jota halutaan testata.

Kuvittele, että testaat uuden kassapainikkeen väriä verkkokauppasovelluksessa. Kontrolliryhmä näkee alkuperäisen painikkeen värin, kun taas varianttiryhmä näkee uuden värin. Mittaamalla tuloksia – kuten suoritettuja ostoksia – voidaan selvittää, onko uudella painikkeen värillä positiivinen, negatiivinen vai ei lainkaan vaikutusta käyttäjien toimintaan.

Huomio

Satunnainen jako kontrolli- ja varianttiryhmiin auttaa varmistamaan puolueettomat tulokset. Tämä tarkoittaa, että havaitut erot johtuvat todennäköisemmin testattavasta muutoksesta, eivätkä käyttäjien aiemmista eroista.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

A/B-testin suorittamisen ja datan keräämisen jälkeen vertaillaan kontrolli- ja variaatio-ryhmien tuloksia. Keskeisiä mittareita ovat konversioprosentti ja keskimääräinen ostosumma. Tarkoituksena on löytää merkittäviä eroja, jotka viittaavat siihen, että uusi ominaisuus vaikuttaa todellisuudessa. Jos variaatio-ryhmässä konversio tai liikevaihto on korkeampi ja ryhmäjako on tehty satunnaisesti, voidaan olla varmempi siitä, että muutos on parannuksen syy.

1. Miksi satunnainen jako on tärkeää A/B-testauksessa?

2. Täydennä lause:

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 4. Luku 2

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Osio 4. Luku 2