Lære Metrikker og suksesskriterier | Designe Effektive A/B-Tester

Sveip for å vise menyen

Når du utformer en A/B-test, er valg av riktige måleparametere avgjørende for å fastslå om eksperimentet er vellykket. Måleparametere er målbare verdier som reflekterer brukeradferd eller forretningsresultater. Noen av de vanligste måleparametrene for A/B-testing inkluderer:

Definisjon

Konverteringsrate – andelen brukere som fullfører en ønsket handling, for eksempel å gjennomføre et kjøp eller registrere seg for et nyhetsbrev.

Definisjon

Klikkfrekvens (CTR) – andelen brukere som klikker på en bestemt lenke eller knapp av de som ser den.

Definisjon

Inntekt per bruker – gjennomsnittlig inntekt generert per bruker i testperioden.

Valg av metrikk avhenger av forretningsmålene dine. For eksempel, hvis målet er å øke salget, er konverteringsrate eller inntekt per bruker gode valg. Hvis du ønsker å øke engasjementet, kan klikkrate eller tid på siden være mer relevant.

Gode metrikker er de som er tett knyttet til forretningsmålene og er følsomme nok til å oppdage meningsfulle endringer. Hvis du driver en nettbutikk og lanserer en ny utsjekksprosess, er måling av konverteringsrate fra handlekurv til kjøp en direkte indikator på suksess.

Dårlige metrikker oppstår når du velger metrikker som ikke er i tråd med målene, er for brede eller lett kan manipuleres. Å måle sidevisninger når målet er å øke kjøp kan være misvisende – brukere kan se flere sider uten å faktisk kjøpe noe.


              12345678910111213141516
            
import pandas as pd

# Sample data: user actions from an A/B test
data = {
    "user_id": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    "group": ["A", "A", "B", "B", "A", "B", "A", "B", "A", "B"],
    "converted": [0, 1, 1, 0, 0, 1, 1, 0, 1, 1]  # 1 = purchase, 0 = no purchase
}
df = pd.DataFrame(data)

# Calculating conversion rate for each group
conversion_rates = df.groupby("group")["converted"].mean()

# Printing results with business context
print("Conversion Rate for Group A:", round(conversion_rates["A"] * 100, 2), "%")
print("Conversion Rate for Group B:", round(conversion_rates["B"] * 100, 2), "%")

Å definere suksesskriterier innebærer å sette klare terskler som avgjør om testresultatet er meningsfullt for virksomheten din. I stedet for bare å spørre «Økte målet?», bør du spesifisere hvor mye det må øke for å regnes som en seier. Du kan for eksempel bestemme at en ny funksjon kun er vellykket hvis den øker konverteringsraten med minst 2 %.

Merk

Du bør også vurdere den bredere forretningsmessige effekten. Noen ganger kan en liten forbedring i din primærmåling ha stor innvirkning på inntekter eller brukertilfredshet, mens endringen i andre tilfeller kanskje ikke er verdt implementeringskostnaden.

Vær forsiktig med å bruke forfengelighetsmålinger – tall som ser bra ut på papiret, men som ikke reflekterer reell forretningsverdi. En økning i app-nedlastinger er kun verdifull hvis disse brukerne faktisk engasjerer seg med produktet ditt eller foretar kjøp.

Primærmålinger er de viktigste indikatorene på suksess og bør være direkte knyttet til hypotesen din;
Sekundærmålinger kan gi støttende bevis eller hjelpe med å fange opp utilsiktede bivirkninger, men de bør ikke ta fokus fra hovedmålet ditt.

Sørg alltid for at målingene dine er handlingsrettede, tilpasset dine mål og motstandsdyktige mot manipulasjon.

Alt var klart?

Takk for tilbakemeldingene dine!

Seksjon 2. Kapittel 3

Spør AI

Spør om hva du vil, eller prøv ett av de foreslåtte spørsmålene for å starte chatten vår

Seksjon 2. Kapittel 3