Hyperparametrien Säätäminen
Hyperparametrit neuroverkoissa
Neuroverkoilla, mukaan lukien perceptronit, on useita hyperparametreja, jotka vaikuttavat niiden suorituskykyyn. Toisin kuin mallin parametrit (esim. painot ja biasit), hyperparametrit asetetaan ennen koulutuksen aloittamista. Joitakin keskeisiä hyperparametreja perceptroneissa ovat:
-
Piilokerrosten ja neuronien määrä per kerros: määrittää mallin kyvyn oppia monimutkaisia kuvioita. Liian vähän neuroneita voi johtaa alioppimiseen, kun taas liian suuri määrä voi aiheuttaa ylioppimista;
-
Oppimisnopeus: säätelee, kuinka paljon malli säätää painoja koulutuksen aikana. Korkea oppimisnopeus voi tehdä koulutuksesta epävakaata, kun taas matala arvo voi johtaa hitaaseen konvergenssiin:
- Koulutusepookkien määrä: määrittää, kuinka monta kertaa malli käy läpi koulutusdatan. Useammat epookit mahdollistavat paremman oppimisen, mutta liiallinen määrä voi johtaa ylioppimiseen.
Yhteenvetona, ylioppiminen tapahtuu, kun malli oppii koulutusdatan liian tarkasti, mukaan lukien satunnaisen kohinan, eikä yleistä opittuja kuvioita. Tämä johtaa korkeaan tarkkuuteen koulutusdatalla, mutta heikkoon yleistykseen uuteen dataan.
Alioppiminen puolestaan tapahtuu, kun malli on liian yksinkertainen havaitakseen datan taustalla olevat kuviot. Tämä johtaa sekä heikkoon koulutus- että testisuoritukseen, mikä osoittaa, että mallin kapasiteetti ei riitä tehokkaaseen oppimiseen.
Hyperparametrien viritys
Hyperparametrien viritys on keskeistä neuroverkkojen optimoinnissa. Huonosti viritetty malli voi johtaa alioppimiseen tai ylioppimiseen.
Voit säätää epookkien määrää, piilokerrosten määrää, niiden kokoa sekä oppimisnopeutta ja tarkastella, miten tarkkuus opetus- ja testijoukoissa muuttuu:
1234567891011121314151617181920212223from sklearn.neural_network import MLPClassifier from sklearn.metrics import accuracy_score import numpy as np import warnings # Ignore warnings warnings.filterwarnings("ignore") import os os.system('wget https://codefinity-content-media.s3.eu-west-1.amazonaws.com/f9fc718f-c98b-470d-ba78-d84ef16ba45f/section_2/data.py 2>/dev/null') from data import X_train, y_train, X_test, y_test np.random.seed(10) # Tweak hyperparameters here model = MLPClassifier(max_iter=100, hidden_layer_sizes=(6, 6), learning_rate_init=0.01, random_state=10) model.fit(X_train, y_train) y_pred_train = model.predict(X_train) y_pred_test = model.predict(X_test) # Comparing train set accuracy and test set accuracy train_accuracy = accuracy_score(y_train, y_pred_train) test_accuracy = accuracy_score(y_test, y_pred_test) print(f'Train accuracy: {train_accuracy:.3f}') print(f'Test accuracy: {test_accuracy:.3f}')
Oikean hyperparametriyhdistelmän löytäminen vaatii systemaattista kokeilua ja säätöä. Tämä tehdään usein menetelmillä kuten ruudukkohaku (kaikkien mahdollisten hyperparametriyhdistelmien kokeilu) ja satunnaishaku (satunnaisen hyperparametrijoukon testaaminen).
Neuroverkon koulutus etenee käytännössä iteratiivisena syklinä:
- Määrittele malli alkuperäisillä hyperparametreilla;
- Kouluta malli opetusdatalla;
- Arvioi suorituskyky testidatalla;
- Säädä hyperparametreja (esim. kerrosten määrä, oppimisnopeus);
- Toista prosessi, kunnes haluttu suorituskyky saavutetaan.
Tämä iteratiivinen hienosäätö varmistaa, että malli yleistyy hyvin tuntemattomaan dataan.
1. Mikä seuraavista on hyperparametri, ei mallin parametri?
2. Liian suuri oppimisnopeus aiheuttaa todennäköisimmin:
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
Awesome!
Completion rate improved to 4Hyperparametrien Säätäminen
Pyyhkäise näyttääksesi valikon
Hyperparametrit neuroverkoissa
Neuroverkoilla, mukaan lukien perceptronit, on useita hyperparametreja, jotka vaikuttavat niiden suorituskykyyn. Toisin kuin mallin parametrit (esim. painot ja biasit), hyperparametrit asetetaan ennen koulutuksen aloittamista. Joitakin keskeisiä hyperparametreja perceptroneissa ovat:
-
Piilokerrosten ja neuronien määrä per kerros: määrittää mallin kyvyn oppia monimutkaisia kuvioita. Liian vähän neuroneita voi johtaa alioppimiseen, kun taas liian suuri määrä voi aiheuttaa ylioppimista;
-
Oppimisnopeus: säätelee, kuinka paljon malli säätää painoja koulutuksen aikana. Korkea oppimisnopeus voi tehdä koulutuksesta epävakaata, kun taas matala arvo voi johtaa hitaaseen konvergenssiin:
- Koulutusepookkien määrä: määrittää, kuinka monta kertaa malli käy läpi koulutusdatan. Useammat epookit mahdollistavat paremman oppimisen, mutta liiallinen määrä voi johtaa ylioppimiseen.
Yhteenvetona, ylioppiminen tapahtuu, kun malli oppii koulutusdatan liian tarkasti, mukaan lukien satunnaisen kohinan, eikä yleistä opittuja kuvioita. Tämä johtaa korkeaan tarkkuuteen koulutusdatalla, mutta heikkoon yleistykseen uuteen dataan.
Alioppiminen puolestaan tapahtuu, kun malli on liian yksinkertainen havaitakseen datan taustalla olevat kuviot. Tämä johtaa sekä heikkoon koulutus- että testisuoritukseen, mikä osoittaa, että mallin kapasiteetti ei riitä tehokkaaseen oppimiseen.
Hyperparametrien viritys
Hyperparametrien viritys on keskeistä neuroverkkojen optimoinnissa. Huonosti viritetty malli voi johtaa alioppimiseen tai ylioppimiseen.
Voit säätää epookkien määrää, piilokerrosten määrää, niiden kokoa sekä oppimisnopeutta ja tarkastella, miten tarkkuus opetus- ja testijoukoissa muuttuu:
1234567891011121314151617181920212223from sklearn.neural_network import MLPClassifier from sklearn.metrics import accuracy_score import numpy as np import warnings # Ignore warnings warnings.filterwarnings("ignore") import os os.system('wget https://codefinity-content-media.s3.eu-west-1.amazonaws.com/f9fc718f-c98b-470d-ba78-d84ef16ba45f/section_2/data.py 2>/dev/null') from data import X_train, y_train, X_test, y_test np.random.seed(10) # Tweak hyperparameters here model = MLPClassifier(max_iter=100, hidden_layer_sizes=(6, 6), learning_rate_init=0.01, random_state=10) model.fit(X_train, y_train) y_pred_train = model.predict(X_train) y_pred_test = model.predict(X_test) # Comparing train set accuracy and test set accuracy train_accuracy = accuracy_score(y_train, y_pred_train) test_accuracy = accuracy_score(y_test, y_pred_test) print(f'Train accuracy: {train_accuracy:.3f}') print(f'Test accuracy: {test_accuracy:.3f}')
Oikean hyperparametriyhdistelmän löytäminen vaatii systemaattista kokeilua ja säätöä. Tämä tehdään usein menetelmillä kuten ruudukkohaku (kaikkien mahdollisten hyperparametriyhdistelmien kokeilu) ja satunnaishaku (satunnaisen hyperparametrijoukon testaaminen).
Neuroverkon koulutus etenee käytännössä iteratiivisena syklinä:
- Määrittele malli alkuperäisillä hyperparametreilla;
- Kouluta malli opetusdatalla;
- Arvioi suorituskyky testidatalla;
- Säädä hyperparametreja (esim. kerrosten määrä, oppimisnopeus);
- Toista prosessi, kunnes haluttu suorituskyky saavutetaan.
Tämä iteratiivinen hienosäätö varmistaa, että malli yleistyy hyvin tuntemattomaan dataan.
1. Mikä seuraavista on hyperparametri, ei mallin parametri?
2. Liian suuri oppimisnopeus aiheuttaa todennäköisimmin:
Kiitos palautteestasi!
