Oppiskele Hyperparametrien Viritys

Pyyhkäise näyttääksesi valikon

Hyperparametrit neuroverkoissa

Neuroverkoilla, mukaan lukien perceptronit, on useita hyperparametreja, jotka vaikuttavat niiden suorituskykyyn. Toisin kuin mallin parametrit (esim. painot ja biasit), hyperparametrit asetetaan ennen koulutuksen aloittamista. Joitakin keskeisiä hyperparametreja perceptroneissa ovat:

Piilokerrosten ja neuronien määrä per kerros: määrittää mallin kyvyn oppia monimutkaisia kuvioita. Liian vähän neuroneja voi johtaa alioppimiseen, kun taas liian moni voi aiheuttaa ylioppimista;
Oppimisnopeus: säätelee, kuinka paljon malli säätää painoja koulutuksen aikana. Korkea oppimisnopeus voi tehdä koulutuksesta epävakaata, kun taas matala voi johtaa hitaaseen konvergenssiin:

Koulutusepookkien määrä: määrittää, kuinka monta kertaa malli käy läpi koulutusdatan. Useammat epookit mahdollistavat paremman oppimisen, mutta liiallinen määrä voi johtaa ylioppimiseen.

Huomio

Yhteenvetona, ylisovittaminen tapahtuu, kun malli oppii harjoitusaineiston liian hyvin, jolloin se tallentaa kohinaa yleisten mallien sijaan. Tämä johtaa korkeaan tarkkuuteen harjoitusaineistossa, mutta heikkoon yleistettävyyteen uuteen dataan.

Alisovittaminen puolestaan tapahtuu, kun malli on liian yksinkertainen havaitakseen datan taustalla olevat rakenteet. Tämä johtaa sekä heikkoon suorituskykyyn harjoitus- että testiaineistossa, mikä osoittaa, että mallilla ei ole riittävää kapasiteettia oppia tehokkaasti.

Hyperparametrien viritys

Hyperparametrien viritys on keskeistä neuroverkkojen optimoinnissa. Huonosti viritetty malli voi johtaa ali- tai ylisovittamiseen.

Voit säätää epookkien määrää, piilotettujen kerrosten lukumäärää, niiden kokoa ja oppimisnopeutta tarkkaillaksesi, miten tarkkuus harjoitus- ja testiaineistoissa muuttuu:


              1234567891011121314151617181920212223
            
from sklearn.neural_network import MLPClassifier
from sklearn.metrics import accuracy_score
import numpy as np
import warnings
# Ignore warnings
warnings.filterwarnings("ignore")
import os
os.system('wget https://codefinity-content-media.s3.eu-west-1.amazonaws.com/f9fc718f-c98b-470d-ba78-d84ef16ba45f/section_2/data.py 2>/dev/null')
from data import X_train, y_train, X_test, y_test

np.random.seed(10)
# Tweak hyperparameters here
model = MLPClassifier(max_iter=100, hidden_layer_sizes=(6, 6), learning_rate_init=0.01, random_state=10)

model.fit(X_train, y_train)

y_pred_train = model.predict(X_train)
y_pred_test = model.predict(X_test)
# Comparing train set accuracy and test set accuracy
train_accuracy = accuracy_score(y_train, y_pred_train)
test_accuracy = accuracy_score(y_test, y_pred_test)
print(f'Train accuracy: {train_accuracy:.3f}')
print(f'Test accuracy: {test_accuracy:.3f}')

Oikean hyperparametriyhdistelmän löytäminen vaatii järjestelmällistä kokeilua ja säätöä. Tämä tehdään usein tekniikoilla kuten grid search (kaikkien mahdollisten hyperparametriyhdistelmien kokeilu) ja random search (satunnaisen hyperparametriarvojen joukon testaaminen).

Neuroverkon koulutus etenee käytännössä iteratiivisessa syklissä:

Määrittele malli alkuperäisillä hyperparametreilla;
Kouluta malli opetusaineistolla;
Arvioi suorituskyky testiaineistolla;
Säädä hyperparametreja (esim. kerrosten määrä, oppimisnopeus);
Toista prosessi, kunnes haluttu suorituskyky saavutetaan.

Tämä iteratiivinen hienosäätö varmistaa, että malli yleistyy hyvin uusiin, näkemättömiin datoihin.

1. Mikä seuraavista on hyperparametri, ei mallin parametri?

2. Liian suuri oppimisnopeus aiheuttaa todennäköisimmin:

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 3. Luku 2

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Osio 3. Luku 2