Nevrale nettverk har revolusjonert feltet maskinlæring og kunstig intelligens, og tilbyr løsninger på problemer som tidligere ble ansett som utfordrende eller til og med uløselige. Det finnes mange nevrale nettverksarkitekturer, hver tilpasset spesifikke typer oppgaver.

Fremovermatede nevrale nettverk (FNN) eller flerlagede perseptroner (MLP)

Dette er en klassisk NN-arkitektur, en direkte utvidelse av enkeltlagsperseptronet til flere lag. Dette er grunnleggende arkitekturer som de fleste andre typer nevrale nettverk bygger på. Det er denne arkitekturen vi har behandlet i dette kurset.

Konvolusjonsnevrale nettverk (CNN)

CNN-er er spesielt kraftige for oppgaver som bildebehandling (problemer som bildeklassifisering, bildesegmentering osv.) fordi de er utformet for automatisk og adaptivt å lære romlige hierarkier av egenskaper.

De bruker konvolusjonslag for å filtrere input for nyttig informasjon. Disse konvolusjonslagene kan fange opp romlige egenskaper i et bilde som kanter, hjørner, teksturer osv. Selv om deres største suksess har vært innen bildeklassifisering, har de også andre bruksområder.

Rekursive nevrale nettverk (RNN)

RNN-er har sløyfer som tillater informasjonspersistens. I motsetning til fremovermatede nevrale nettverk kan RNN-er bruke sin interne tilstand (minne) til å behandle sekvenser av input, noe som gjør dem svært nyttige for tidsserier eller sekvensielle data. De brukes mye til sekvensforutsigelsesproblemer, som naturlig språkbehandling eller talegjenkjenning.

Varianter av RNN-er

1. Long short-term memory (LSTM): løser problemet med forsvinnende gradient i RNN-er, noe som gjør det lettere å lære fra langsiktige avhengigheter;
2. Gated recurrent units (GRU): en enklere og mer effektiv variant av LSTM. Lærer imidlertid komplekse mønstre i data dårligere enn LSTM.

Biblioteker for dyp læring

Trening av dype nevrale nettverk krever mer enn det det klassiske maskinlæringsbiblioteket scikit-learn tilbyr. De mest brukte bibliotekene for arbeid med dype nevrale nettverk er TensorFlow og PyTorch. Her er hovedgrunnene til at de foretrekkes for denne oppgaven:

1. Ytelse og skalerbarhet: TensorFlow og PyTorch er spesielt utviklet for å trene modeller på store datamengder og kan kjøres effektivt på grafikkprosessorer (GPU-er), noe som øker treningshastigheten;

2. Fleksibilitet: i motsetning til scikit-learn tillater TensorFlow og PyTorch at du lager vilkårlige nevrale nettverksarkitekturer, inkludert rekursive, konvolusjons- og transformerstrukturer;

3. Automatisk differensiering: en av nøkkelfunksjonene i disse bibliotekene er muligheten til å automatisk beregne gradienter, noe som er essensielt for å optimalisere vekter i nevrale nettverk.