Leer Controle versus variant | Experimentatie en A/B-testen

Veeg om het menu te tonen

A/B-test is een fundamentele techniek in productanalyse, waarmee de impact van een nieuwe functie of wijziging kan worden vergeleken met de huidige ervaring. In een A/B-test worden gebruikers verdeeld in twee groepen: de controlegroep en de variantgroep. De controlegroep ervaart het product zoals gewoonlijk, terwijl de variantgroep de nieuwe functie of wijziging ontvangt die getest wordt.

Stel je voor dat je een nieuwe kleur voor de afrekenknop test in een e-commerce-app. De controlegroep ziet de oorspronkelijke knopkleur, terwijl de variantgroep de nieuwe kleur ziet. Door uitkomsten te meten – zoals afgeronde aankopen – kan worden bepaald of de nieuwe knopkleur een positief, negatief of geen effect heeft op het gebruikersgedrag.

Opmerking

Willekeurige toewijzing aan controle- en variantgroepen helpt om onpartijdige resultaten te waarborgen. Dit betekent dat waargenomen verschillen waarschijnlijker het gevolg zijn van de geteste wijziging, en niet van bestaande verschillen tussen gebruikers.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

Na het uitvoeren van je A/B-test en het verzamelen van gegevens, vergelijk je de resultaten tussen de controle- en variantgroepen. Belangrijke statistieken om te bekijken zijn de conversieratio en de gemiddelde aankoopwaarde. Je zoekt naar betekenisvolle verschillen die aangeven dat de nieuwe functie daadwerkelijk effect heeft. Als de variantgroep een hogere conversie of omzet laat zien en de toewijzing willekeurig was, kun je er met meer vertrouwen van uitgaan dat de verandering verantwoordelijk is voor de verbetering.

1. Waarom is willekeurige toewijzing belangrijk bij A/B-testen?

2. Vul het ontbrekende woord in:

Was alles duidelijk?

Bedankt voor je feedback!

Sectie 4. Hoofdstuk 2

Vraag AI

Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.

Sectie 4. Hoofdstuk 2