Neurale netwerken hebben het vakgebied van machine learning en AI getransformeerd en bieden oplossingen voor problemen die eerder als uitdagend of zelfs onoplosbaar werden beschouwd. Er bestaan veel neurale netwerkarchitecturen, elk afgestemd op specifieke soorten taken.

Feedforward Neural Networks (FNN) of Multi-layer Perceptrons (MLP)

Dit is een klassieke NN-architectuur, een directe uitbreiding van de single-layer perceptron naar meerdere lagen. Dit zijn de fundamentele architecturen waarop de meeste andere typen neurale netwerken zijn gebaseerd. Het is de architectuur die in deze cursus is behandeld.

Convolutional Neural Networks (CNN)

CNN's zijn bijzonder krachtig voor taken zoals beeldverwerking (problemen zoals beeldclassificatie, beeldsegmentatie, enzovoort) omdat ze ontworpen zijn om automatisch en adaptief ruimtelijke hiërarchieën van kenmerken te leren.

Ze gebruiken convolutionele lagen om invoer te filteren op bruikbare informatie. Deze convolutionele lagen kunnen de ruimtelijke kenmerken van een afbeelding vastleggen, zoals randen, hoeken, texturen, enzovoort. Hoewel hun grootste succes ligt op het gebied van beeldclassificatie, hebben ze ook andere toepassingen.

Recurrent Neural Networks (RNN)

RNN's bevatten lussen om informatie persistentie mogelijk te maken. In tegenstelling tot feedforward neurale netwerken kunnen RNN's hun interne toestand (geheugen) gebruiken om reeksen invoer te verwerken, waardoor ze uiterst geschikt zijn voor tijdreeksen of sequentiële data. Ze worden veel gebruikt voor sequentievoorspellingsproblemen, zoals natuurlijke taalverwerking of spraakherkenning.

Varianten van RNN's

1. Long short-term memory (LSTM): lost het verdwijnende gradiëntprobleem van RNN's op, waardoor het eenvoudiger wordt om te leren van langetermijnafhankelijkheden;
2. Gated recurrent units (GRU): een eenvoudigere en efficiëntere variant van LSTM. Echter, het leert complexe patronen in de data minder goed dan LSTM.

Bibliotheken voor Deep Learning

Het trainen van diepe neurale netwerken vereist meer dan de klassieke machine learning-bibliotheek scikit-learn biedt. De meest gebruikte bibliotheken voor het werken met diepe neurale netwerken zijn TensorFlow en PyTorch. Dit zijn de belangrijkste redenen waarom deze bibliotheken hiervoor worden geprefereerd:

1. Prestaties en schaalbaarheid: TensorFlow en PyTorch zijn specifiek ontworpen voor het trainen van modellen op grote hoeveelheden data en kunnen efficiënt draaien op graphics processing units (GPU's), wat de training versnelt;

2. Flexibiliteit: in tegenstelling tot scikit-learn stellen TensorFlow en PyTorch je in staat om willekeurige neurale netwerkarchitecturen te creëren, waaronder recurrente, convolutionele en transformerstructuren;

3. Automatische differentiatie: een van de belangrijkste kenmerken van deze bibliotheken is het vermogen om automatisch gradiënten te berekenen, wat essentieel is voor het optimaliseren van gewichten in neurale netwerken.