Neurale netværk har revolutioneret området for maskinlæring og AI ved at levere løsninger på problemer, der tidligere blev betragtet som udfordrende eller endda uløselige. Der findes mange arkitekturer for neurale netværk, hver især tilpasset specifikke typer opgaver.

Feedforward Neural Networks (FNN) eller Multi-layer Perceptrons (MLP)

Dette er en klassisk NN-arkitektur, en direkte udvidelse af single-layer perceptron til flere lag. Disse er de grundlæggende arkitekturer, som de fleste andre typer neurale netværk er bygget på. Det er den arkitektur, vi har behandlet i dette kursus.

Convolutional Neural Networks (CNN)

CNN'er er særligt effektive til opgaver som billedbehandling (problemer såsom billedklassificering, billedsegmentering osv.), fordi de er designet til automatisk og adaptivt at lære rumlige hierarkier af egenskaber.

De anvender konvolutionslag til at filtrere input for nyttig information. Disse konvolutionslag kan opfange rumlige egenskaber i et billede såsom kanter, hjørner, teksturer osv. Selvom deres største succes har været inden for billedklassificering, har de også andre anvendelser.

Rekursive neurale netværk (RNN)

RNN'er har sløjfer, der muliggør informationspersistens. I modsætning til feedforward-neurale netværk kan RNN'er bruge deres interne tilstand (hukommelse) til at behandle sekvenser af input, hvilket gør dem yderst nyttige til tidsserier eller sekventielle data. De anvendes bredt til sekvensforudsigelsesproblemer, såsom naturlig sprogbehandling eller talegenkendelse.

Varianter af RNN'er

1. Long short-term memory (LSTM): overvinder problemet med forsvindende gradient i RNN'er, hvilket gør det lettere at lære fra langtidshukommelse;
2. Gated recurrent units (GRU): en enklere og mere effektiv variant af LSTM. Dog lærer den komplekse mønstre i data dårligere end LSTM.

Biblioteker til dyb læring

Træning af dybe neurale netværk kræver mere end det, det klassiske maskinlæringsbibliotek scikit-learn tilbyder. De mest anvendte biblioteker til arbejde med dybe neurale netværk er TensorFlow og PyTorch. Her er hovedårsagerne til, at de foretrækkes til denne opgave:

1. Ydeevne og skalerbarhed: TensorFlow og PyTorch er designet specifikt til at træne modeller på store datamængder og kan køre effektivt på grafikprocessorer (GPU'er), hvilket fremskynder træningen;

2. Fleksibilitet: i modsætning til scikit-learn tillader TensorFlow og PyTorch dig at oprette vilkårlige neurale netværksarkitekturer, herunder rekursive, konvolutionelle og transformerstrukturer;

3. Automatisk differentiering: en af de vigtigste funktioner i disse biblioteker er evnen til automatisk at beregne gradienter, hvilket er essentielt for at optimere vægte i neurale netværk.