Lære Visualisering af A/B-testresultater | Praktisk Analyse, Fortolkning og Rapportering

Stryg for at vise menuen

Ved præsentation af A/B-testresultater skal visualiseringerne gøre de vigtigste fund tydelige med det samme og forhindre misfortolkning. De mest effektive metoder omfatter:

Søjlediagrammer: hurtig sammenligning af konverteringsrater eller andre målinger mellem grupper;
Søjlediagrammer med fejlbjælker: tilføjelse af konfidensintervaller til søjler hjælper seeren med at forstå usikkerheden i estimaterne;
Fordelingsdiagrammer: visning af hele fordelingen af målinger (såsom konverteringsrater eller omsætning pr. bruger) for hver gruppe kan afsløre forskelle i variation eller outliers;
Liniendiagrammer: nyttige til at følge ændringer over tid eller på tværs af flere testperioder.

En god visualisering bruger tydeligt mærkede akser, konsistente farveskemaer og fremhæver de vigtigste forskelle. For eksempel giver et søjlediagram, der viser konverteringsrater for gruppe A og B med fejlbjælker for 95% konfidensintervaller, publikum mulighed for at se både det centrale estimat og usikkerheden.

Omvendt kan en dårlig visualisering bruge vildledende y-akseskalaer (såsom at afkorte aksen for at overdrive forskelle), undlade at mærke akser eller grupper eller bruge distraherende farver og rodede signaturforklaringer. Disse fejl kan forvirre publikum eller endda vildlede dem om testens resultat.


              123456789101112131415161718192021222324252627282930
            
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

# Example conversion rates and confidence intervals
groups = ['A', 'B']
conversion_rates = [0.12, 0.15]
conf_intervals = [(0.10, 0.14), (0.13, 0.17)]  # 95% confidence intervals

# Calculate error bars (distance from mean to CI bounds)
errors = [
    [conversion_rates[0] - conf_intervals[0][0], conf_intervals[0][1] - conversion_rates[0]],
    [conversion_rates[1] - conf_intervals[1][0], conf_intervals[1][1] - conversion_rates[1]]
]
errors = np.array(errors).T  # shape (2, 2) for matplotlib

fig, ax = plt.subplots(figsize=(6, 4))
bars = ax.bar(groups, conversion_rates, yerr=errors, capsize=10, color=['#4C72B0', '#55A868'])

ax.set_ylabel('Conversion Rate')
ax.set_title('A/B Test Conversion Rates with 95% Confidence Intervals')
ax.set_ylim(0, 0.2)
ax.yaxis.set_major_formatter(plt.FuncFormatter(lambda y, _: '{:.0%}'.format(y)))

# Add value labels on top of bars
for bar, rate in zip(bars, conversion_rates):
    ax.text(bar.get_x() + bar.get_width() / 2, rate + 0.005, f"{rate:.2%}", ha='center', va='bottom', fontsize=11)

plt.tight_layout()
plt.show()

Ved valg af visualisering bør du overveje dit publikum og den historie, du ønsker at formidle:

For ledere eller ikke-tekniske interessenter: brug tydelige søjlediagrammer med konfidensintervaller, minimalt rod og direkte mærkater for at fremhæve hovedbudskabet;
For analytikere eller data scientists: suppler søjlediagrammer med fordelingsdiagrammer (såsom violin- eller boksplot) for at vise hele spændet af resultater og variation;
Til præsentationer eller rapporter: undgå vildledende elementer som afkortede akser, uklare gruppemærkater eller unødvendige 3D-effekter. Giv altid kontekst og forklar, hvad fejlbjælker eller fordelinger repræsenterer.

Tilpasning af visualiseringsstil til publikum sikrer, at resultaterne bliver forstået og har troværdighed.

Var alt klart?

Tak for dine kommentarer!

Sektion 4. Kapitel 3

Spørg AI

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat

Sektion 4. Kapitel 3