Lære Visualisering av A/B-testresultater | Praktisk analyse, tolkning og rapportering

Sveip for å vise menyen

Når du presenterer resultater fra A/B-tester, må visualiseringene dine gjøre hovedfunnene umiddelbart tydelige og forhindre feiltolkning. De mest effektive metodene inkluderer:

Stolpediagrammer: gir rask sammenligning av konverteringsrater eller andre måleverdier mellom grupper;
Stolpediagrammer med feilmarginer: ved å legge til konfidensintervaller på stolpene kan seerne forstå usikkerheten i estimatene dine;
Distribusjonsdiagrammer: viser hele fordelingen av måleverdier (som konverteringsrate eller inntekt per bruker) for hver gruppe og kan avdekke forskjeller i variasjon eller uteliggere;
Linjediagrammer: nyttig for å følge endringer over tid eller gjennom flere testperioder.

En god visualisering har tydelig merkede akser, konsistente fargevalg og fremhever de viktigste forskjellene. For eksempel gir et stolpediagram som viser konverteringsrater for gruppe A og B, med feilmarginer for 95 % konfidensintervall, publikum mulighet til å se både sentralestimatet og usikkerheten.

En dårlig visualisering kan derimot bruke misvisende y-akse (for eksempel ved å kutte aksen for å overdrive forskjeller), unnlate å merke akser eller grupper, eller bruke forstyrrende farger og rotete forklaringer. Slike feil kan forvirre publikum eller til og med villede dem om testresultatet.


              123456789101112131415161718192021222324252627282930
            
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

# Example conversion rates and confidence intervals
groups = ['A', 'B']
conversion_rates = [0.12, 0.15]
conf_intervals = [(0.10, 0.14), (0.13, 0.17)]  # 95% confidence intervals

# Calculate error bars (distance from mean to CI bounds)
errors = [
    [conversion_rates[0] - conf_intervals[0][0], conf_intervals[0][1] - conversion_rates[0]],
    [conversion_rates[1] - conf_intervals[1][0], conf_intervals[1][1] - conversion_rates[1]]
]
errors = np.array(errors).T  # shape (2, 2) for matplotlib

fig, ax = plt.subplots(figsize=(6, 4))
bars = ax.bar(groups, conversion_rates, yerr=errors, capsize=10, color=['#4C72B0', '#55A868'])

ax.set_ylabel('Conversion Rate')
ax.set_title('A/B Test Conversion Rates with 95% Confidence Intervals')
ax.set_ylim(0, 0.2)
ax.yaxis.set_major_formatter(plt.FuncFormatter(lambda y, _: '{:.0%}'.format(y)))

# Add value labels on top of bars
for bar, rate in zip(bars, conversion_rates):
    ax.text(bar.get_x() + bar.get_width() / 2, rate + 0.005, f"{rate:.2%}", ha='center', va='bottom', fontsize=11)

plt.tight_layout()
plt.show()

Når du velger visualisering, bør du vurdere publikum og historien du ønsker å formidle:

For ledere eller ikke-tekniske interessenter: bruk tydelige stolpediagrammer med konfidensintervaller, minimalt med forstyrrelser og direkte merking for å fremheve hovedbudskapet;
For analytikere eller dataforskere: supplér stolpediagrammer med distribusjonsdiagrammer (som fiolin- eller boksdiagrammer) for å vise hele utfallsrommet og variasjonen;
For presentasjoner eller rapporter: unngå misvisende elementer som avkuttede akser, uklare gruppenavn eller unødvendige 3D-effekter. Gi alltid kontekst og forklar hva feilmarginene eller distribusjonene representerer.

Å tilpasse visualiseringsstilen til publikum sikrer at resultatene dine blir forstått og stoler på.

Alt var klart?

Takk for tilbakemeldingene dine!

Seksjon 4. Kapittel 3

Spør AI

Spør om hva du vil, eller prøv ett av de foreslåtte spørsmålene for å starte chatten vår

Seksjon 4. Kapittel 3