Oppiskele Tilastollinen Merkitsevyys | Kokeilu ja A/B-testaus

Pyyhkäise näyttääksesi valikon

Kun suoritat A/B-testin, haluat tietää, onko havaittu ero kontrolli- ja varianttiryhmien välillä todellinen vai johtuuko se sattumasta. Ajattele kolikon heittämistä: jos heität kolikkoa kymmenen kertaa ja saat seitsemän kruunaa, tarkoittaako se, että kolikko on epäreilu? Vai oliko kyse vain onnesta? Tuoteanalytiikassa tähän liittyy tilastollinen merkitsevyys. Sen avulla arvioidaan, onko tulosten ero – esimerkiksi useampi käyttäjä klikkaa uutta painiketta – todennäköisesti merkityksellinen vai voiko se johtua sattumasta, kuten kolikonheiton sarjasta.


              1234567891011121314151617
            
import numpy as np
from scipy import stats

# Simulated data: daily conversions for control and variant groups
control = np.array([30, 28, 35, 33, 29, 31, 32])
variant = np.array([36, 34, 39, 37, 35, 38, 40])

# Performing independent t-test
t_stat, p_value = stats.ttest_ind(variant, control)

print("t-statistic:", t_stat)
print("p-value:", p_value)

if p_value < 0.05:
    print("Result is statistically significant: the variant performed differently from control.")
else:
    print("Result is not statistically significant: no strong evidence of a difference.")

Määritelmä

Tilastollinen merkitsevyys osoittaa, että havaitut erot ovat epätodennäköisesti sattuman aiheuttamia.

Kun saat p-arvon tilastollisesta testistäsi, se kertoo kuinka todennäköistä on havaita yhtä suuri tai suurempi ero kuin havaitsit, pelkästään sattumalta. Matala p-arvo (esimerkiksi alle 0.05) tarkoittaa, että tulokset eivät todennäköisesti johtuneet sattumasta, joten voit olla varmempi siitä, että muutoksellasi oli todellinen vaikutus. Jos p-arvo on korkea, et voi sulkea pois, että ero johtui vain onnesta. Tämä auttaa tekemään tuotevalintoja luottavaisemmin: julkaise uusia ominaisuuksia, kun näyttö on vahvaa, ja vältä toimimasta tulosten perusteella, jotka eivät välttämättä kestä tarkempaa tarkastelua.

Merkitsevyystaso, joka usein merkitään α (alfa), on kynnysarvo, jonka asetat ennen testin suorittamista päättääksesi, kuinka suuren riskin väärästä positiivisesta (tyypin I virhe) olet valmis hyväksymään. A/B-testauksessa se kuvaa todennäköisyyttä, että päädyt virheellisesti siihen johtopäätökseen, että todellinen ero on olemassa, vaikka ero johtuisi vain sattumasta.

Yleisin merkitsevyystaso on 0.05 eli 5%;
Tämä tarkoittaa, että hyväksyt 5 %:n riskin siitä, että julistat eron olemassa olevaksi, vaikka sitä ei oikeasti ole;
Merkitsevyystason alentaminen (esimerkiksi 0.01:een) tekee testistä tiukemman, vähentäen väärän positiivisen riskiä, mutta vaatii vahvempaa näyttöä merkitsevyyden toteamiseksi;
Merkitsevyystaso asetetaan ennen kuin keräät tai analysoit dataa.

Käytännössä, jos p-arvo on pienempi kuin valitsemasi merkitsevyystaso, tulos katsotaan tilastollisesti merkitseväksi ja todennäköisemmin todellista vaikutusta kuvaavaksi. Jos p-arvo on suurempi, ei ole riittävästi näyttöä todellisen eron olemassaolosta. Oikean merkitsevyystason asettaminen auttaa tasapainottamaan virheellisten päätösten riskejä tuotekokeiluissa.

1. Mitä matala p-arvo tarkoittaa hypoteesin testauksessa?

2. Täydennä lause:

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 4. Luku 3

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Osio 4. Luku 3