Lära Mätvärden och framgångskriterier | Utforma Effektiva A/B-Tester

Svep för att visa menyn

När du utformar ett A/B-test är valet av rätt mätvärden avgörande för att avgöra om ditt experiment är framgångsrikt. Mätvärden är mätbara värden som speglar användarbeteende eller affärsresultat. Några av de vanligaste mätvärdena för A/B-test inkluderar:

Definition

Konverteringsgrad – andelen användare som genomför en önskad handling, såsom att genomföra ett köp eller registrera sig för ett nyhetsbrev.

Definition

Klickfrekvens (CTR) – andelen användare som klickar på en specifik länk eller knapp av de som ser den.

Definition

Intäkt per användare – det genomsnittliga beloppet av intäkter som genereras per användare under testperioden.

Valet av vilken mätpunkt som ska användas beror på dina affärsmål. Om målet till exempel är att öka försäljningen är konverteringsgrad eller intäkt per användare starka alternativ. Om du vill öka engagemanget kan klickfrekvens eller tid på webbplatsen vara mer relevanta.

Bra val av mätpunkter är de som är nära kopplade till dina affärsmål och tillräckligt känsliga för att upptäcka meningsfulla förändringar. Om du driver en e-handelssajt och lanserar ett nytt kassaflöde är mätning av konverteringsgraden från varukorg till köp en direkt indikator på framgång.

Dåliga val av mätpunkter uppstår när du väljer mätpunkter som inte är anpassade till dina mål, är för breda eller lätt kan manipuleras. Att mäta sidvisningar när målet är att öka köp kan vara missvisande – användare kan visa fler sidor utan att faktiskt köpa något.


              12345678910111213141516
            
import pandas as pd

# Sample data: user actions from an A/B test
data = {
    "user_id": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    "group": ["A", "A", "B", "B", "A", "B", "A", "B", "A", "B"],
    "converted": [0, 1, 1, 0, 0, 1, 1, 0, 1, 1]  # 1 = purchase, 0 = no purchase
}
df = pd.DataFrame(data)

# Calculating conversion rate for each group
conversion_rates = df.groupby("group")["converted"].mean()

# Printing results with business context
print("Conversion Rate for Group A:", round(conversion_rates["A"] * 100, 2), "%")
print("Conversion Rate for Group B:", round(conversion_rates["B"] * 100, 2), "%")

Att definiera framgångskriterier innebär att sätta tydliga tröskelvärden som avgör om testresultatet är meningsfullt för verksamheten. Istället för att bara fråga "Ökade mätvärdet?", ange med hur mycket det ska öka för att räknas som en framgång. Du kan till exempel bestämma att en ny funktion är framgångsrik endast om den ökar konverteringsgraden med minst 2%.

Notering

Du bör även ta hänsyn till den bredare affärspåverkan. Ibland kan en liten förbättring av din primära mätvärde ha stor effekt på intäkter eller användarnöjdhet, medan förändringen i andra fall kanske inte är värd kostnaden för implementering.

Var försiktig med att använda fåfängamått – siffror som ser bra ut på papper men inte speglar verkligt affärsvärde. En ökning av appnedladdningar är bara värdefull om dessa användare faktiskt engagerar sig i produkten eller genomför köp.

Primära mätvärden är de viktigaste indikatorerna på framgång och ska vara direkt kopplade till din hypotes;
Sekundära mätvärden kan ge stödjande bevis eller hjälpa till att upptäcka oavsiktliga bieffekter, men de ska inte ta fokus från huvudmålet.

Säkerställ alltid att dina mätvärden är åtgärdsinriktade, i linje med dina mål och motståndskraftiga mot manipulation.

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 2. Kapitel 3

Fråga AI

Fråga vad du vill eller prova någon av de föreslagna frågorna för att starta vårt samtal

Avsnitt 2. Kapitel 3