Neuronale Netze haben das Gebiet des maschinellen Lernens und der KI revolutioniert und bieten Lösungen für Probleme, die zuvor als herausfordernd oder sogar unlösbar galten. Es existieren zahlreiche Architekturen neuronaler Netze, die jeweils auf bestimmte Aufgabenarten zugeschnitten sind.

Feedforward Neural Networks (FNN) oder Multi-layer Perceptrons (MLP)

Dies ist eine klassische NN-Architektur, eine direkte Erweiterung des Ein-Schicht-Perzeptrons auf mehrere Schichten. Diese stellen die grundlegenden Architekturen dar, auf denen die meisten anderen Typen neuronaler Netze aufbauen. Es handelt sich um die Architektur, die in diesem Kurs behandelt wurde.

Convolutional Neural Networks (CNN)

CNNs sind besonders leistungsfähig für Aufgaben wie die Bildverarbeitung (Probleme wie Bildklassifikation, Bildsegmentierung usw.), da sie darauf ausgelegt sind, räumliche Hierarchien von Merkmalen automatisch und adaptiv zu erlernen.

Sie verwenden Faltungsschichten, um Eingaben nach nützlichen Informationen zu filtern. Diese Faltungsschichten können die räumlichen Merkmale eines Bildes wie Kanten, Ecken, Texturen usw. erfassen. Während ihr Hauptanwendungsgebiet die Bildklassifikation ist, existieren auch weitere Einsatzmöglichkeiten.

Rekurrente Neuronale Netze (RNN)

RNNs besitzen Schleifen, die eine Informationspersistenz ermöglichen. Im Gegensatz zu Feedforward-Neuronalen Netzen können RNNs ihren internen Zustand (Speicher) nutzen, um Sequenzen von Eingaben zu verarbeiten. Dadurch sind sie äußerst nützlich für Zeitreihen oder sequenzielle Daten. Sie werden häufig für Vorhersageprobleme mit Sequenzen eingesetzt, wie zum Beispiel in der natürlichen Sprachverarbeitung oder Spracherkennung.

Varianten von RNNs

1. Long Short-Term Memory (LSTM): Überwindet das Problem des verschwindenden Gradienten bei RNNs und erleichtert das Lernen von langfristigen Abhängigkeiten;
2. Gated Recurrent Units (GRU): Eine einfachere und effizientere Variante von LSTM. Allerdings lernt sie komplexe Muster in den Daten schlechter als LSTM.

Bibliotheken für Deep Learning

Das Trainieren tiefer neuronaler Netze erfordert mehr, als die klassische Machine-Learning-Bibliothek scikit-learn bietet. Die am häufigsten verwendeten Bibliotheken für die Arbeit mit tiefen neuronalen Netzen sind TensorFlow und PyTorch. Hier sind die Hauptgründe, warum sie für diese Aufgabe bevorzugt werden:

1. Leistung und Skalierbarkeit: TensorFlow und PyTorch sind speziell für das Training von Modellen mit großen Datenmengen konzipiert und können effizient auf Grafikprozessoren (GPUs) ausgeführt werden, was das Training beschleunigt;

2. Flexibilität: Im Gegensatz zu scikit-learn ermöglichen TensorFlow und PyTorch die Erstellung beliebiger neuronaler Netzwerkarchitekturen, einschließlich rekurrenter, konvolutionaler und Transformer-Strukturen;

3. Automatische Differenzierung: Eine der wichtigsten Eigenschaften dieser Bibliotheken ist die Fähigkeit, Gradienten automatisch zu berechnen, was für die Optimierung der Gewichte in neuronalen Netzen unerlässlich ist.