Kuinka Kielimallit "Ajattelevat"

Auton moottorin toimintaa ei tarvitse ymmärtää ajaakseen — mutta tieto siitä, että se toimii polttoaineella, auttaa välttämään bensan loppumisen. Sama logiikka pätee tekoälyyn. Et tarvitse tietojenkäsittelytieteen tutkintoa, mutta yhden keskeisen ajatuksen ymmärtäminen auttaa hahmottamaan kaiken muun tässä kurssissa.

Ennustaminen, ydinkonsepti

Suuret kielimallit (LLM:t) — teknologia ChatGPT:n, Clauden, Geminin ja muiden taustalla — toimivat ennustamalla, mikä tulee seuraavaksi.

Saatuaan sanajonon malli laskee, mikä sana (tai lause) todennäköisimmin seuraa, perustuen valtavista tekstimääristä oppimiinsa kaavoihin: kirjoista, artikkeleista, verkkosivuista, koodista ja muusta.

Tämä muistuttaa puhelimen automaattista täydennystä — mutta koulutettuna käytännössä koko internetin aineistolla ja huomattavasti kehittyneempänä.

Mitä ovat tokenit?

Tekoäly ei lue sanoja samalla tavalla kuin ihminen. Se pilkkoo tekstin pieniin osiin, joita kutsutaan tokeneiksi — nämä vastaavat suunnilleen sanoja tai sanan osia.

Esimerkiksi:

• "running" voi olla yksi token;
• "unbelievable" voidaan jakaa osiin "un" + "believ" + "able";
• Myös välilyönnit ja välimerkit ovat tokeneita.

Tämän vuoksi tekoäly joskus käsittelee epätavallisia sanoja kömpelösti tai pitkät syötteet hidastavat toimintaa — jokainen token vaatii laskentatehoa.

Käytännössä tärkeintä on tietää tämä: mitä enemmän tokeneita keskustelussa on, sitä enemmän kontekstia mallilla on — ja sitä enemmän käyttö maksaa (siksi ilmaisversioissa on rajoituksia).

Miksi tekoäly joskus keksii asioita

Malli ennustaa, mikä kuulostaa oikealta, eikä aina tuota sitä, mikä on tosiasiallisesti oikein. Kun se kohtaa aiheen, jota ei ole koulutettu käsittelemään, tai kysymyksen, johon se ei osaa vastata varmasti, se ei sano "en tiedä" — vaan tuottaa silti uskottavalta kuulostavan vastauksen.

Tätä kutsutaan hallusinaatioksi.

Se ei ole virhe, eikä tekoäly valehtele. Se on ennustamisen perusominaisuus. Tämän ymmärtäminen on ensimmäinen askel tekoälyn turvalliseen käyttöön. Käsittelemme aihetta tarkemmin osiossa 3.

Tekoäly ennustaa — se ei oikeasti tiedä. Tämä yksi oivallus selittää, miksi hyvät kehotteet ovat tärkeitä, miksi tärkeät faktat pitää tarkistaa ja miksi ihmisen arviointi on aina välttämätöntä tekoälyn kanssa työskennellessä.