Lära Kontroll vs. Variant | Experimentering och A/B-testning

Svep för att visa menyn

A/B-testning är en grundläggande teknik inom produktanalys som gör det möjligt att jämföra effekten av en ny funktion eller förändring mot den nuvarande upplevelsen. I ett A/B-test delas användarna upp i två grupper: kontrollgruppen och variantgruppen. Kontrollgruppen upplever produkten som vanligt, medan variantgruppen får den nya funktionen eller förändringen som du vill testa.

Föreställ dig att du testar en ny färg på kassaknappen i en e-handelsapp. Kontrollgruppen ser den ursprungliga knappfärgen, medan variantgruppen ser den nya färgen. Genom att mäta utfall – såsom genomförda köp – kan du avgöra om den nya knappfärgen har en positiv, negativ eller ingen effekt på användarbeteendet.

Notering

Slumpmässig fördelning till kontroll- och variantgrupper bidrar till att säkerställa opartiska resultat. Detta innebär att eventuella observerade skillnader troligen beror på den testade förändringen och inte på redan existerande skillnader mellan användarna.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

Efter att du har genomfört ditt A/B-test och samlat in data jämför du resultaten mellan kontrollgruppen och variantgruppen. Viktiga nyckeltal att undersöka är konverteringsgrad och genomsnittligt ordervärde. Du letar efter meningsfulla skillnader som tyder på att den nya funktionen har en verklig effekt. Om variantgruppen visar högre konvertering eller intäkter, och fördelningen var slumpmässig, kan du vara mer säker på att förändringen är orsaken till förbättringen.

1. Varför är slumpmässig fördelning viktig i A/B-testning?

2. Fyll i det tomma fältet:

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 4. Kapitel 2

Fråga AI

Fråga vad du vill eller prova någon av de föreslagna frågorna för att starta vårt samtal

Avsnitt 4. Kapitel 2