Yksittäisen Neuronin Toteutus

Tässä esimerkissä rakennetaan neuroverkko, jossa on yksi neuroni binääriluokittelutehtävää varten (esim. roskapostin tunnistus). Neuroni vastaanottaa numeerisia piirteitä ja tuottaa arvon välillä 0 ja 1, mikä kuvaa todennäköisyyttä, että sähköposti on roskapostia (1) tai ei (0).

Vaiheittain:

1. Kerro jokainen syöte omalla painollaan;
2. Laske kaikkien painotettujen syötteiden summa;
3. Lisää bias siirtämään ulostuloa;
4. Syötä tulos sigmoid-aktivointifunktion läpi, joka muuntaa sen (0,1)-välille todennäköisyysulostuloa varten.

Neuroni-luokka

Neuronin täytyy tallentaa painot ja bias, joten luokka on luonteva tapa ryhmitellä nämä ominaisuudet yhteen.

class Neuron:
    def __init__(self, n_inputs):
        self.weights = ...
        self.bias = ...

• weights: satunnaisesti alustetut arvot (yksi kutakin syötettä kohden);
• bias: yksi satunnainen arvo. Molemmat arvot arvotaan tasaisesta jakaumasta välillä ([-1, 1]) käyttäen np.random.uniform()-funktiota symmetrian rikkomiseksi.

Eteenpäinlevitys

Neuronin activate()-metodi laskee painotetun summan ja käyttää sigmoidia. Painotettu summa lasketaan pistetulolla painojen ja syötteiden välillä:

input_sum_with_bias = np.dot(self.weights, inputs) + self.bias

Tämän jälkeen aktivaatiota sovelletaan neuronin lopullisen ulostulon saamiseksi.

np.dot()-funktion käyttö välttää silmukat ja laskee koko painotetun summan yhdellä rivillä. Sigmoidifunktio muuntaa tämän raaka-arvon todennäköisyydeksi:

def activate(self, inputs):
    input_sum_with_bias = ...
    output = ...
    return output

Sigmoid-aktivointi

Annetulla raaka-arvolla (z) sigmoid on:

Se muuntaa minkä tahansa luvun välille ((0,1)), mikä tekee siitä ihanteellisen binääriluokitteluun, jossa neuronin ulostulon tulee edustaa todennäköisyyttä.

Tämän kaavan avulla sigmoid voidaan toteuttaa yksinkertaisena funktiona Pythonissa:

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

ReLU-funktion kaava on seuraava, joka käytännössä asettaa ulostulon yhtä suureksi kuin $z$, jos se on positiivinen, ja 0 muuten:

def relu(z):
    return np.maximum(0, z)