Aktivointifunktiot

Neuronin "pomo"

Kuvittele toimistotyöosasto. Työntekijät käsittelevät saapuvaa tietoa — nämä työntekijät edustavat neuronin painoja, ja heidän vastaanottamansa tieto on syöte. Kun työntekijät ovat saaneet työnsä valmiiksi, osaston johtaja päättää, mitä seuraavaksi tehdään. Tässä vertauksessa johtaja on aktivointifunktio.

Jokainen paino (työntekijä) käsittelee tietoa eri tavalla, mutta lopullisen päätöksen tekee aktivointifunktio — neuronin sisäinen “pomo.” Se arvioi käsitellyn arvon ja päättää, lähetetäänkö signaali eteenpäin vai tukahdutetaanko se. Tämä auttaa verkkoa välittämään vain olennaisimmat tiedot.

Matemaattisesti aktivointifunktio tuo mukanaan epälineaarisuuden, jonka ansiosta neuronit voivat havaita monimutkaisia kuvioita, joita lineaariset funktiot eivät pysty tunnistamaan. Ilman epälineaarisia aktivointifunktioita neuroverkko käyttäytyisi kuin yksinkertainen lineaarinen malli, riippumatta kerrosten määrästä.

Aktivointifunktiovaihtoehdot

Neuroverkot käyttävät yleisesti seuraavia aktivointifunktioita:

• Sigmoid: muuntaa minkä tahansa reaaliluvun välille 0–1. Hyödyllinen, kun ulostulo edustaa todennäköisyyttä tai varmuusastetta;

• ReLU (Rectified Linear Unit): palauttaa 0 negatiivisille arvoille ja säilyttää positiiviset arvot muuttumattomina. ReLU on yksinkertainen, tehokas ja auttaa verkkoja oppimaan monimutkaisia kuvioita ilman sigmoidin/tanhin yleistä katoavan gradientin ongelmaa;

• Tanh (Hyperbolic Tangent): samanlainen kuin sigmoid, mutta tuottaa arvot välillä –1 ja 1, mikä antaa sille vahvemman gradientin negatiivisille syötteille ja tekee siitä usein tehokkaamman kuin sigmoid piilokerroksissa;

Aktivointifunktioiden erot

Eri aktivointifunktioita käytetään eri tilanteissa riippuen siitä, minkä tehtävän neuroverkko pyrkii ratkaisemaan.

Jos käytetään ReLU-aktivointifunktiota, neuroni toimii yksinkertaisen säännön mukaan — se säilyttää kaikki tärkeät (positiiviset) arvot ja hylkää kaikki epäolennaiset (negatiiviset) arvot.

Kun neuroni käyttää sigmoidista aktivointia, sen lähtöarvo on välillä 0 ja 1, mikä voidaan tulkita todennäköisyydeksi tai tärkeyspisteeksi. Tämä auttaa verkkoa määrittämään, kuinka vahvasti neuroni vaikuttaa seuraavaan kerrokseen.

Aktivointifunktio on sääntö, joka määrittää, miten neuroni reagoi saapuviin tietoihin. Se lisää joustavuutta, muokkaa signaalien kulkua verkossa ja mahdollistaa mallin oppia monipuolisia, kerroksittaisia rakenteita — tehden hermoverkoista lopulta tarkkoja ja sopeutuvia ennustajia.