Nevrale nettverk har revolusjonert feltet maskinlæring og kunstig intelligens, og gir løsninger på problemer som tidligere ble ansett som utfordrende eller til og med uløselige. Det finnes mange nevrale nettverksarkitekturer, hver tilpasset spesifikke typer oppgaver.

Fremovermatede nevrale nettverk (FNN) eller flerlagede perseptroner (MLP)

Dette er en klassisk NN-arkitektur, en direkte utvidelse av enkeltlagsperseptronet til flere lag. Disse er grunnleggende arkitekturer som de fleste andre typer nevrale nettverk bygger på. Det er denne arkitekturen vi har behandlet i dette kurset.

Konvolusjonsnevrale nettverk (CNN)

CNN-er er spesielt kraftige for oppgaver som bildebehandling (problemer som bildeklassifisering, bildesegmentering, osv.) fordi de er utformet for automatisk og adaptivt å lære romlige hierarkier av egenskaper.

De bruker konvolusjonslag for å filtrere input for nyttig informasjon. Disse konvolusjonslagene kan fange opp romlige egenskaper i et bilde som kanter, hjørner, teksturer, osv. Selv om deres største suksess har vært innen bildeklassifisering, har de også andre bruksområder.

Rekurrente nevrale nettverk (RNN)

RNN-er har sløyfer som muliggjør informasjonspersistens. I motsetning til fremovermatede nevrale nettverk kan RNN-er bruke sin interne tilstand (minne) til å behandle sekvenser av input, noe som gjør dem svært nyttige for tidsserier eller sekvensielle data. De brukes mye til sekvensforutsigelsesproblemer, som naturlig språkbehandling eller talegjenkjenning.

Varianter av RNN-er

1. Long short-term memory (LSTM): løser problemet med forsvinnende gradienter i RNN-er, noe som gjør det lettere å lære fra langsiktige avhengigheter;
2. Gated recurrent units (GRU): en enklere og mer effektiv variant av LSTM. Den lærer imidlertid komplekse mønstre i dataene dårligere enn LSTM.

Biblioteker for dyp læring

Trening av dype nevrale nettverk krever mer enn det det klassiske maskinlæringsbiblioteket scikit-learn tilbyr. De mest brukte bibliotekene for arbeid med dype nevrale nettverk er TensorFlow og PyTorch. Her er hovedgrunnene til at de foretrekkes for denne oppgaven:

1. Ytelse og skalerbarhet: TensorFlow og PyTorch er spesielt utviklet for å trene modeller på store datamengder og kan kjøres effektivt på grafikkprosessorer (GPU-er), noe som øker treningshastigheten;

2. Fleksibilitet: i motsetning til scikit-learn tillater TensorFlow og PyTorch å lage vilkårlige nevrale nettverksarkitekturer, inkludert rekurrente, konvolusjonelle og transformerstrukturer;

3. Automatisk differensiering: en av de viktigste egenskapene til disse bibliotekene er evnen til å automatisk beregne gradienter, noe som er avgjørende for å optimalisere vekter i nevrale nettverk.