Lernen Kontrollgruppe vs. Variante | Experimentation and A/B Testing

Swipe um das Menü anzuzeigen

A/B-Tests sind eine grundlegende Methode in der Produktanalyse, mit der die Auswirkungen einer neuen Funktion oder Änderung im Vergleich zur aktuellen Erfahrung bewertet werden. Bei einem A/B-Test werden die Nutzer in zwei Gruppen aufgeteilt: die Kontrollgruppe und die Variante. Die Kontrollgruppe nutzt das Produkt wie gewohnt, während die Variante die neue Funktion oder Änderung erhält, die getestet werden soll.

Stellen Sie sich vor, Sie testen eine neue Farbe für den Checkout-Button in einer E-Commerce-App. Die Kontrollgruppe sieht die ursprüngliche Button-Farbe, während die Variante die neue Farbe sieht. Durch die Messung von Ergebnissen – wie abgeschlossene Käufe – kann festgestellt werden, ob die neue Button-Farbe einen positiven, negativen oder keinen Einfluss auf das Nutzerverhalten hat.

Hinweis

Die zufällige Zuweisung zu Kontroll- und Variantengruppen trägt dazu bei, unverzerrte Ergebnisse zu gewährleisten. Das bedeutet, dass beobachtete Unterschiede mit größerer Wahrscheinlichkeit auf die getestete Änderung zurückzuführen sind und nicht auf bereits bestehende Unterschiede zwischen den Nutzern.


              12345678910111213141516171819202122232425262728293031323334
            
import numpy as np
import pandas as pd

# Simulate 2000 users
np.random.seed(42)
user_ids = np.arange(1, 2001)

# Randomly assign users to control or variant
groups = np.random.choice(["control", "variant"], size=2000)

# Simulate conversion: higher for variant group
conversion_prob = np.where(groups == "control", 0.12, 0.15)
converted = np.random.binomial(1, conversion_prob)

# Simulate purchase value for those who converted
purchase_value = np.where(converted == 1,
                         np.random.normal(loc=np.where(groups == "control", 45, 47), scale=5),
                         0)

# Create DataFrame
ab_test_results = pd.DataFrame({
    "user_id": user_ids,
    "group": groups,
    "converted": converted,
    "purchase_value": purchase_value
})

# Show summary statistics
summary = ab_test_results.groupby("group").agg(
    users=("user_id", "count"),
    conversion_rate=("converted", "mean"),
    avg_purchase_value=("purchase_value", lambda x: x[x > 0].mean())
)
print(summary)

Nach der Durchführung des A/B-Tests und der Datenerhebung erfolgt der Vergleich der Ergebnisse zwischen den Kontroll- und Varianten-Gruppen. Wichtige Kennzahlen sind dabei die Konversionsrate und der durchschnittliche Einkaufswert. Es werden signifikante Unterschiede gesucht, die darauf hindeuten, dass die neue Funktion tatsächlich einen Einfluss hat. Zeigt die Varianten-Gruppe eine höhere Konversion oder mehr Umsatz und erfolgte die Zuweisung zufällig, kann mit größerer Sicherheit angenommen werden, dass die Änderung für die Verbesserung verantwortlich ist.

1. Warum ist die zufällige Zuweisung beim A/B-Testing wichtig?

2. Ergänzen Sie die Lücke:

War alles klar?

Danke für Ihr Feedback!

Abschnitt 4. Kapitel 2

Fragen Sie AI

Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen

Abschnitt 4. Kapitel 2