Mikä on A/B-testaus?
Pyyhkäise näyttääksesi valikon
A/B-testaus tarkoittaa väestön jakamista eri ryhmiin, joista kukin altistetaan tuotteen, ominaisuuden tai prosessin eri versiolle, ja sen jälkeen mitataan, mikä versio saavuttaa halutun lopputuloksen tehokkaammin.
A/B-testaus on jäsennelty kokeilumenetelmä, jossa verrataan kahta tai useampaa vaihtoehtoa sen selvittämiseksi, mikä suoriutuu paremmin tietyn mittarin perusteella.
A/B-testauksen käsite pohjautuu tieteelliseen menetelmään, jossa kontrolloiduilla kokeilla pyritään eristämään yhden muuttujan vaikutus. Varhaisimmat kontrolloidut kokeet tehtiin maataloudessa 1700- ja 1800-luvuilla sekä lääketieteessä kliinisissä tutkimuksissa. Liiketoiminnan ja teknologian kontekstissa A/B-testaus yleistyi, kun yritykset pyrkivät optimoimaan verkkosivuja, mainoksia ja tuotteita tekemällä päätöksiä todistusaineiston perusteella.
Tieteellisessä menetelmässä aloitetaan hypoteesilla, suunnitellaan koe sen testaamiseksi, kerätään ja analysoidaan dataa sekä tehdään johtopäätökset. A/B-testaus soveltaa tätä prosessia käytännön ongelmiin. Teknologiayritys saattaa haluta lisätä palveluun rekisteröityvien käyttäjien määrää. He voivat luoda kaksi versiota rekisteröitymissivusta: yhden nykyisellä ulkoasulla (kontrolli) ja toisen uudella asettelulla (variaatio). Jakamalla käyttäjät satunnaisesti kumpaankin versioon ja mittaamalla rekisteröitymisprosenttia yritys voi selvittää, kumpi ulkoasu on tehokkaampi.
- Kontrolliryhmä: ryhmä, joka käyttää vakiintunutta tai olemassa olevaa versiota. Jos testaat uutta kassaprosessia verkkokaupassa, kontrolliryhmä jatkaa alkuperäisen kassavirran käyttöä;
- Variaatio (tai käsittelyryhmä): ryhmä, joka käyttää uutta tai muokattua versiota. Samassa verkkokauppaesimerkissä variaatioryhmä käyttäisi uudistettua kassaprosessia;
- Konversioprosentti: niiden käyttäjien osuus, jotka suorittavat halutun toiminnon, kuten ostoksen tekeminen tai uutiskirjeen tilaaminen. Jos 100 käyttäjää vierailee rekisteröitymissivulla ja 10 rekisteröityy, konversioprosentti on 10 %;
- Uplift: konversioprosentin (tai muun mittarin) ero variaation ja kontrollin välillä. Jos kontrollin konversioprosentti on 10 % ja variaation 12 %, uplift on 2 %;
- Tilastollinen merkitsevyys: mittari, joka kertoo, ovatko ryhmien väliset erot todennäköisesti testattavan muutoksen aiheuttamia eivätkä satunnaista vaihtelua. Jos esimerkiksi A/B-testissä havaitaan 2 % uplift, tilastollinen merkitsevyys kertoo, onko kyseessä todennäköisesti todellinen vaikutus;
- Kokeen kesto: aika, jonka testi on käynnissä. Testin tulee kestää riittävän kauan, jotta voidaan kerätä tarpeeksi dataa luotettavien johtopäätösten tekemiseksi. Muutaman tunnin testi ei välttämättä kuvaa normaalia käyttäjäkäyttäytymistä, kun taas usean viikon testi tuottaa todennäköisemmin luotettavia tuloksia.
Kuvittele työskenteleväsi verkkokaupassa. Haluat testata, lisääkö uusi "Osta nyt" -painike ostosten määrää. Puolille sivuston kävijöistä näytetään vanha painike (kontrolliryhmä) ja toiselle puolelle uusi painike (variaatio). Seuraat ostosten (konversiotapahtumien) määrää kummassakin ryhmässä, lasket konversioprosentin ja mittaat noston. Kahden viikon testijakson (kokeen kesto) jälkeen analysoit tulokset nähdäksesi, onko ero tilastollisesti merkitsevä. Tämä prosessi ja terminologia muodostavat A/B-testauksen perustan käytännössä.
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
