Lære Kontrol vs. Variant | Eksperimentering og A/B-testning

Stryg for at vise menuen

A/B-testning er en grundlæggende teknik inden for produktanalyse, der gør det muligt at sammenligne effekten af en ny funktion eller ændring med den nuværende oplevelse. I en A/B-test opdeles brugerne i to grupper: kontrolgruppen og variantgruppen. Kontrolgruppen oplever produktet som sædvanligt, mens variantgruppen får den nye funktion eller ændring, du ønsker at teste.

Forestil dig, at du tester en ny farve på betalingsknappen i en e-handelsapp. Kontrolgruppen ser den oprindelige knapfarve, mens variantgruppen ser den nye farve. Ved at måle resultater – såsom gennemførte køb – kan du afgøre, om den nye knapfarve har en positiv, negativ eller ingen effekt på brugeradfærden.

Bemærk

Tilfældig tildeling til kontrol- og variantgrupper hjælper med at sikre upartiske resultater. Dette betyder, at eventuelle observerede forskelle sandsynligvis skyldes den ændring, der testes, og ikke eksisterende forskelle mellem brugerne.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

Efter at have kørt dit A/B-test og indsamlet data, sammenlignes resultaterne mellem kontrol- og variant-grupperne. Centrale målepunkter omfatter konverteringsrate og gennemsnitlig købsbeløb. Der søges efter meningsfulde forskelle, der indikerer, at den nye funktion har en reel effekt. Hvis variantgruppen viser højere konvertering eller omsætning, og tildelingen var tilfældig, kan du være mere sikker på, at ændringen er årsagen til forbedringen.

1. Hvorfor er tilfældig tildeling vigtig i A/B-test?

2. Udfyld det tomme felt:

Var alt klart?

Tak for dine kommentarer!

Sektion 4. Kapitel 2

Spørg AI

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat

Sektion 4. Kapitel 2