Kuinka LLM:t Toimivat Käytännössä
Pyyhkäise näyttääksesi valikon
Olet keskustellut Clauden kanssa. Nyt kurkistetaan konepellin alle — ilman matematiikkaa.
Vaihe 1: Teksti muuttuu numeroiksi
Tietokoneet eivät ymmärrä sanoja — ne osaavat vain laskea. Ennen kuin mitään tapahtuu, viestisi jaetaan osiin, joita kutsutaan tokeneiksi, ja jokainen token muutetaan numeroksi.
Token on noin 4 merkkiä englantilaista tekstiä. Se voi olla kokonainen sana, sanan osa tai välimerkki. Välilyönneillä ja isoilla kirjaimilla on merkitystä — ne muuttavat tokenin.
Mitä Claude oikeasti näkee
Kun kirjoitat:
Hello, marketing manager!
Claude vastaanottaa:
["Hello", ",", " marketing", " manager", "!"]
Joka muuttuu muotoon:
[9906, 11, 8661, 6783, 0]
Viisi tokenia. Viisi numeroa. Tämä on syöte.
Nyrkkisääntö: 750 sanaa on noin 1 000 tokenia. Enemmän tokeneita tarkoittaa korkeampia kustannuksia ja hitaampaa vastausta.
Vaihe 2: Ennusta seuraava token
Kun kaikki on muutettu numeroiksi, malli tekee yhtä asiaa: ennustaa, mikä tulee seuraavaksi. Kerta toisensa jälkeen.
Kirjoitat:
The capital of France is
Malli arvioi, mikä token todennäköisimmin seuraa:
- "Paris" — 92 %;
- " Paris" — 5 %;
- "Lyon" — 1 %;
- "the" — 0,5 %.
Se valitsee todennäköisimmän. Sitten toistaa. Kunnes päättää lopettaa.
Tärkeää: malli ei valinnut Paris, koska se tietää vastauksen. Se valitsi sen, koska harjoitusaineistossa tätä lausetta seurasi lähes aina "Paris".
AI = kaavojen ennustamista, ei tietoa.
Vaihe 3: Mistä kaavat tulevat
Malli koulutettiin julkisilla internet-teksteillä, kirjoilla ja koodilla — tiettyyn katkaisupäivään asti.
Koulutus tarkoittaa todennäköisyyksien säätämistä: mitkä tokenit seuraavat toisiaan ja missä yhteydessä.
Kaksi seurausta:
- Mallilla ei ole tietoa viimeaikaisista tapahtumista, yrityksesi tiedoista tai mistään katkaisupäivän jälkeen;
- Se oppi internetistä — myös sen virheistä. Jos osa harjoitusaineistosta oli väärin, malli voi toistaa nämä virheet itsevarmasti.
Miksi AI hallusinoi
Hallusinaatio tarkoittaa, että malli tuottaa jotain, joka kuulostaa itsevarmalta ja näyttää uskottavalta — mutta on todellisuudessa väärin.
Yleisiä esimerkkejä: tekaistut viittaukset, keksityt URL-osoitteet, virheelliset tilastotiedot.
Tämä tapahtuu, koska mallin tavoite on tuottaa todennäköisin token-jono — ei totuudenmukaisin. Jos jokin kuulostaa oikealta, se voi tuottaa sen, vaikka se olisi väärin.
Ratkaisu
Ratkaisu ei ole pelkästään mallin älykkäämmäksi tekeminen. Sille annetaan työkaluja — verkkohaku, ajantasaiset tiedot, dokumentit — jotta se voi tukeutua faktoihin pelkkien mallien sijaan.
Juuri tämän näit edellisessä luvussa, ja tulet käyttämään tätä jatkossakin.
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
