Aktivointifunktiot

Neuronin "pomo"

Kuvittele toimisto-osasto. Työntekijät käsittelevät saapuvaa tietoa — nämä työntekijät edustavat neuronin painoja, ja heidän vastaanottamansa tieto on syöte. Kun työntekijät ovat saaneet työnsä valmiiksi, osaston johtaja päättää, mitä seuraavaksi tehdään. Tässä vertauksessa johtaja on aktivointifunktio.

Jokainen paino (työntekijä) käsittelee tietoa eri tavoin, mutta lopullisen päätöksen tekee aktivointifunktio — neuronin sisäinen “pomo.” Se arvioi käsitellyn arvon ja päättää, lähetetäänkö signaali eteenpäin vai tukahdutetaanko se. Tämä auttaa verkkoa välittämään vain olennaisimman tiedon.

Matemaattisesti aktivointifunktio tuo mukanaan epälineaarisuutta, mikä mahdollistaa neuronien havaita monimutkaisia kuvioita, joita lineaariset funktiot eivät pysty tunnistamaan. Ilman epälineaarisia aktivointifunktioita neuroverkko toimisi kuin yksinkertainen lineaarinen malli, riippumatta kerrosten määrästä.

Aktivointifunktioiden vaihtoehdot

Neuroverkoissa käytetään yleisesti seuraavia aktivointifunktioita:

• Sigmoid: muuntaa minkä tahansa reaaliluvun välille 0–1. Hyödyllinen, kun ulostulo edustaa todennäköisyyttä tai varmuusastetta;

• ReLU (Rectified Linear Unit): palauttaa 0 negatiivisille arvoille ja säilyttää positiiviset arvot muuttumattomina. ReLU on yksinkertainen, tehokas ja auttaa verkkoja oppimaan monimutkaisia kuvioita ilman sigmoidin/tanhin yleistä katoavan gradientin ongelmaa;

• Tanh (hyperbolinen tangentti): samanlainen kuin sigmoid, mutta tuottaa arvot välillä –1 ja 1, mikä antaa vahvemman gradientin negatiivisille syötteille ja tekee siitä usein tehokkaamman kuin sigmoid piilotetuissa kerroksissa;

Aktivointifunktioiden erot

Eri aktivointifunktioita käytetään eri tilanteissa riippuen siitä, minkä tehtävän neuroverkko ratkaisee.

Kun käytetään ReLU-aktivointifunktiota, neuroni toimii yksinkertaisella säännöllä — se säilyttää kaikki tärkeät (positiiviset) arvot ja hylkää kaikki epäolennaiset (negatiiviset) arvot.

Kun neuroni käyttää sigmoidista aktivointifunktiota, sen lähtöarvo on välillä 0 ja 1, mikä voidaan tulkita todennäköisyydeksi tai tärkeyspisteeksi. Tämä auttaa verkkoa päättämään, kuinka vahvasti neuroni vaikuttaa seuraavaan kerrokseen.

Aktivointifunktio on sääntö, joka määrittää, miten neuroni reagoi saapuviin tietoihin. Se tuo mukanaan joustavuutta, muokkaa signaalien kulkua verkossa ja mahdollistaa mallin oppia monipuolisia, kerroksellisia rakenteita — tehden neuroverkoista tarkkoja ja sopeutuvia ennustajia.