ChatGPT, kuten muutkin GPT-perheen mallit, toimii sarjassa vaiheita tuottaakseen tekstipohjaisia vastauksia. Tässä on yksinkertaistettu kuvaus siitä, miten ChatGPT toimii:

Huom

ChatGPT:n yhteydessä ulostulotoken viittaa tekstiyksikköön, jonka malli tuottaa osana vastaustaan.

Miten ChatGPT määrittää todennäköisyysjakauman seuraavan ulostulotokenin tuottamiseksi?

ChatGPT määrittää todennäköisyysjakauman seuraavan ulostulotokenin tuottamiseksi käyttämällä sen neuroverkkoarkkitehtuuria ja esikoulutettuja parametreja.
Kuten jokainen neuroverkko, se on koulutettu jollakin harjoitusaineistolla antamaan merkityksellisiä vastauksia. ChatGPT:n koulutusprosessi koostui kahdesta päävaiheesta:

1. Ensinnäkin se kävi läpi esikoulutusvaiheen, jossa se altistettiin valtavalle internetistä peräisin olevalle tekstikorpukselle. Malli oppi kielen rakenteita, kielioppia ja yleistä tietoa tämän vaiheen aikana. Tämä esikoulutusprosessi varusti ChatGPT:n laajalla kielen ymmärryksellä;

2. Toiseksi oli hienosäätövaihe. Tässä vaiheessa mallia hienosäädettiin OpenAI:n luomilla erityisillä tietoaineistoilla. Nämä tietoaineistot sisälsivät esimerkkejä oikeasta käyttäytymisestä ja vertailuja eri vastausten sijoittamiseksi. Hienosäätö auttoi mukauttamaan mallin käyttäytymistä, tehden siitä sopivamman tuottamaan turvallisia ja johdonmukaisia vastauksia keskustelukontekstissa. Esikoulutuksen ja hienosäädön yhdistelmä vaikutti ChatGPT:n kykyihin ja käyttäytymiseen.