Oppiskele Hyperparametrien Viritys

Hyperparametrit neuroverkoissa

Neuroverkoilla, mukaan lukien perceptronit, on useita hyperparametreja, jotka vaikuttavat niiden suorituskykyyn. Toisin kuin mallin parametrit (esim. painot ja biasit), hyperparametrit asetetaan ennen koulutuksen aloittamista. Joitakin keskeisiä hyperparametreja perceptroneissa ovat:

Piilokerrosten ja neuronien määrä per kerros: määrittää mallin kyvyn oppia monimutkaisia kuvioita. Liian vähän neuroneja voi johtaa alioppimiseen, kun taas liian moni voi aiheuttaa ylioppimista;
Oppimisnopeus: säätelee, kuinka paljon malli säätää painoja koulutuksen aikana. Korkea oppimisnopeus voi tehdä koulutuksesta epävakaata, kun taas matala voi johtaa hitaaseen konvergenssiin:

Koulutusepookkien määrä: määrittää, kuinka monta kertaa malli käy läpi koulutusdatan. Useammat epookit mahdollistavat paremman oppimisen, mutta liiallinen määrä voi johtaa ylioppimiseen.

Huomio

Yhteenvetona, ylioppiminen tapahtuu, kun malli oppii koulutusdatan liian hyvin, jolloin se tallentaa kohinaa yleisten mallien sijaan. Tämä johtaa korkeaan tarkkuuteen koulutusdatalla, mutta heikkoon yleistykseen uuteen dataan.

Alioppiminen puolestaan tapahtuu, kun malli on liian yksinkertainen havaitakseen datan taustalla olevia kuvioita. Tämä johtaa sekä heikkoon koulutus- että testisuoritukseen, mikä osoittaa, että mallilla ei ole riittävää kapasiteettia oppia tehokkaasti.

Hyperparametrien viritys

Hyperparametrien viritys on keskeistä neuroverkkojen optimoinnissa. Huonosti viritetty malli voi johtaa alioppimiseen tai ylioppimiseen.

Voit säätää epookkien määrää, piilokerrosten määrää, niiden kokoa ja oppimisnopeutta tarkkaillaksesi, miten tarkkuus opetus- ja testijoukoissa muuttuu:


              1234567891011121314151617181920212223
            
from sklearn.neural_network import MLPClassifier
from sklearn.metrics import accuracy_score
import numpy as np
import warnings
# Ignore warnings
warnings.filterwarnings("ignore")
import os
os.system('wget https://codefinity-content-media.s3.eu-west-1.amazonaws.com/f9fc718f-c98b-470d-ba78-d84ef16ba45f/section_2/data.py 2>/dev/null')
from data import X_train, y_train, X_test, y_test

np.random.seed(10)
# Tweak hyperparameters here
model = MLPClassifier(max_iter=100, hidden_layer_sizes=(6, 6), learning_rate_init=0.01, random_state=10)

model.fit(X_train, y_train)

y_pred_train = model.predict(X_train)
y_pred_test = model.predict(X_test)
# Comparing train set accuracy and test set accuracy
train_accuracy = accuracy_score(y_train, y_pred_train)
test_accuracy = accuracy_score(y_test, y_pred_test)
print(f'Train accuracy: {train_accuracy:.3f}')
print(f'Test accuracy: {test_accuracy:.3f}')

Oikean hyperparametriyhdistelmän löytäminen vaatii systemaattista kokeilua ja säätöä. Tämä tehdään usein menetelmillä kuten ruutuhaku (kaikkien mahdollisten hyperparametriyhdistelmien kokeilu) ja satunnaishaku (satunnaisen hyperparametrijoukon testaaminen).

Neuroverkon koulutus etenee käytännössä iteratiivisena syklinä:

Määrittele malli alkuperäisillä hyperparametreilla;
Kouluta malli opetusdatalla;
Arvioi suorituskyky testidatalla;
Säädä hyperparametreja (esim. kerrosten määrä, oppimisnopeus);
Toista prosessi, kunnes haluttu suorituskyky saavutetaan.

Tämä iteratiivinen hienosäätö varmistaa, että malli yleistyy hyvin tuntemattomaan dataan.

1. Mikä seuraavista on hyperparametri, ei mallin parametri?

2. Liian suuri oppimisnopeus aiheuttaa todennäköisimmin:

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 3. Luku 2

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Suggested prompts:

What are some best practices for hyperparameter tuning in neural networks?

Can you explain the difference between grid search and random search?

How do I know if my model is overfitting or underfitting?

Awesome!

Completion rate improved to 4

Pyyhkäise näyttääksesi valikon