Lære Kontroll vs. Variant | Eksperimentering og A/B-testing

Sveip for å vise menyen

A/B-testing er en grunnleggende teknikk innen produktanalyse, som gjør det mulig å sammenligne effekten av en ny funksjon eller endring mot den nåværende opplevelsen. I en A/B-test deles brukerne inn i to grupper: kontrollgruppen og variantgruppen. Kontrollgruppen opplever produktet som vanlig, mens variantgruppen får den nye funksjonen eller endringen du ønsker å teste.

Tenk deg at du tester en ny farge på kjøpsknappen i en e-handelsapp. Kontrollgruppen ser den opprinnelige knappfargen, mens variantgruppen ser den nye fargen. Ved å måle resultater – som fullførte kjøp – kan du avgjøre om den nye knappfargen har en positiv, negativ eller ingen effekt på brukeradferden.

Merk

Tilfeldig fordeling til kontroll- og variantgrupper bidrar til upartiske resultater. Dette betyr at eventuelle observerte forskjeller sannsynligvis skyldes endringen som testes, og ikke eksisterende forskjeller mellom brukerne.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

Etter å ha gjennomført A/B-testen og samlet inn data, sammenlignes resultatene mellom kontrollgruppen og variantgruppen. Viktige måleparametere inkluderer konverteringsrate og gjennomsnittlig kjøpsverdi. Målet er å finne meningsfulle forskjeller som tyder på at den nye funksjonen har en reell effekt. Hvis variantgruppen viser høyere konvertering eller inntekt, og tildelingen var tilfeldig, kan du være mer sikker på at endringen er årsaken til forbedringen.

1. Hvorfor er tilfeldig tildeling viktig i A/B-testing?

2. Fyll inn det som mangler:

Alt var klart?

Takk for tilbakemeldingene dine!

Seksjon 4. Kapittel 2

Spør AI

Spør om hva du vil, eller prøv ett av de foreslåtte spørsmålene for å starte chatten vår

Seksjon 4. Kapittel 2