Überblick Über Künstliche Neuronale Netze

Künstliche Neuronale Netze (ANNs) bilden das Rückgrat moderner Generative AI. Sie sind darauf ausgelegt, Muster zu erkennen, Repräsentationen zu erlernen und Daten zu generieren, die reale Verteilungen nachahmen. Hier erhalten Sie einen prägnanten und umfassenden Überblick über ANNs mit Schwerpunkt auf deren Bedeutung für Generative AI.

Struktur von Neuronalen Netzen

Neuronen und Schichten

Ein neuronales Netz besteht aus miteinander verbundenen Einheiten, den Neuronen, die in Schichten organisiert sind:

Eingabeschicht: erhält Rohdaten (z. B. Bilder, Text, numerische Eingaben);
Verborgene Schichten: verarbeiten und transformieren Daten mittels gewichteter Verbindungen;
Ausgabeschicht: liefert Vorhersagen oder Klassifikationen.

Jedes Neuron berechnet eine gewichtete Summe seiner Eingaben und gibt das Ergebnis durch eine Aktivierungsfunktion weiter:

z=\sum^n_{i=1}\omega_ix_i+b

wobei gilt:

$x_i$ sind Eingabewerte;
$\omega_i$ sind Gewichte;
$b$ ist der Bias-Term;
$z$ ist die gewichtete Summe, die an die Aktivierungsfunktion weitergegeben wird.

Aktivierungsfunktionen

Aktivierungsfunktionen führen Nichtlinearität ein und ermöglichen es Netzwerken, komplexe Muster zu erlernen. Zu den gängigen Aktivierungsfunktionen gehören:

Sigmoid, verwendet für Wahrscheinlichkeiten: $\sigma(z)=\dfrac{1}{1+e^{-z}}$

ReLU (Rectified Linear Unit), häufig in tiefen Netzwerken verwendet: $f(z)=\max(0,z)$

Tanh, nützlich für nullzentrierte Ausgaben: $\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$

Vorwärts- und Rückwärtspropagation

Vorwärtspropagation

Vorwärtspropagation bezeichnet das Durchleiten von Eingaben durch das Netzwerk zur Berechnung der Ausgabe. Jeder Neuron berechnet:

a=f(z)=f\left( \sum^n_{i=1}\omega_i x_i + b \right)

wobei $f(z)$ die Aktivierungsfunktion ist.

Rückpropagation und Gradientenabstieg

Zur Verbesserung der Vorhersagen passen künstliche neuronale Netze die Gewichte mithilfe der Rückpropagation an, die den Fehler durch Gradientenabstieg minimiert. Die Regel zur Gewichtsaktualisierung beim Gradientenabstieg lautet:

\omega^{(t+1)}_i=\omega^{(t)}_i - \eta *\frac{\partial L}{\partial \omega_i}

wobei:

$\eta$ die Lernrate ist;
$L$ die Verlustfunktion ist;
$\frac{\partial L}{\partial \omega_i}$ der Gradient des Verlusts bezüglich $\omega_i$ ist.

Verlustfunktionen und Trainingsprozess

Verlustfunktionen

Verlustfunktionen messen die Differenz zwischen vorhergesagten und tatsächlichen Werten. Gängige Verlustfunktionen sind:

Mittlere quadratische Abweichung (MSE) (für Regression):

\text{MSE}=\frac{1}{n}\sum^n_{i=1}(y_i-\hat{y}_i^2)

Kreuzentropie-Verlust (für Klassifikation):

\text{L}=-\sum^n_{i=1}y_i\log(\hat{y}_i)

wobei:

$y_i$ das wahre Label ist;
$\hat{y}_i$ die vorhergesagte Wahrscheinlichkeit ist.

Trainingsprozess

Zufällige Initialisierung der Gewichte;
Durchführung der Vorwärtsausbreitung zur Berechnung der Vorhersagen;
Berechnung des Verlusts mit der gewählten Verlustfunktion;
Verwendung der Rückpropagation zur Berechnung der Gewichtsaktualisierungen;
Aktualisierung der Gewichte mittels Gradientenabstieg;
Wiederholung über mehrere Epochen bis zur Konvergenz des Netzwerks.

Der Satz der universellen Approximation und Deep Learning

Satz der universellen Approximation

Der Satz der universellen Approximation besagt, dass ein neuronales Netzwerk mit mindestens einer versteckten Schicht jede stetige Funktion approximieren kann, sofern genügend Neuronen und geeignete Gewichtungen vorhanden sind. Dies begründet, warum künstliche neuronale Netze hochkomplexe Zusammenhänge modellieren können.

Deep Learning und seine Bedeutung

Deep Learning erweitert künstliche neuronale Netze durch das Hinzufügen vieler versteckter Schichten und ermöglicht dadurch:

Extraktion hierarchischer Merkmale (relevant bei Bildverarbeitung und NLP);
Modellierung komplexer Wahrscheinlichkeitsverteilungen (entscheidend für Generative KI);
Lernen ohne manuelles Feature Engineering (wie bei selbstüberwachtem Lernen).

Fazit

Dieses Kapitel führte in die grundlegenden Prinzipien künstlicher neuronaler Netze ein, mit Schwerpunkt auf deren Struktur, Lernprozess und Bedeutung im Deep Learning. Diese Konzepte bilden die Grundlage für fortgeschrittene Generative-KI-Techniken wie GANs und VAEs, die neuronale Netzwerke zur Generierung realistischer Daten nutzen.

1. Welches der folgenden Elemente ist KEIN Bestandteil eines künstlichen neuronalen Netzes?

2. Was ist der Hauptzweck der Backpropagation in neuronalen Netzen?

3. Der Universal Approximation Theorem besagt, dass ein ausreichend großes neuronales Netz welche der folgenden Funktionen annähern kann?

Welches der folgenden Elemente ist KEIN Bestandteil eines künstlichen neuronalen Netzes?

Select the correct answer

Neuronen

Schichten

Aktivierungsfunktionen

Datenkompression

Was ist der Hauptzweck der Backpropagation in neuronalen Netzen?

Select the correct answer

Initialisierung des neuronalen Netzes

Aktualisierung der Gewichte durch Minimierung des Verlusts

Vergrößerung des Netzwerks

Durchführung der Vorwärtspropagation

Der Universal Approximation Theorem besagt, dass ein ausreichend großes neuronales Netz welche der folgenden Funktionen annähern kann?

Select the correct answer

Jede stetige Funktion

Jede diskrete Funktion

Nur lineare Funktionen

Nur polynomielle Funktionen

War alles klar?

Wie können wir es verbessern?

Danke für Ihr Feedback!

Abschnitt 2. Kapitel 4

Fragen Sie AI

Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen

Suggested prompts:

What are some real-world applications of ANNs in Generative AI?

Can you explain how backpropagation works in more detail?

How do activation functions affect the performance of a neural network?

Awesome!

Completion rate improved to 4.76

Überblick Über Künstliche Neuronale Netze

Swipe um das Menü anzuzeigen

Struktur von Neuronalen Netzen

Neuronen und Schichten

Ein neuronales Netz besteht aus miteinander verbundenen Einheiten, den Neuronen, die in Schichten organisiert sind:

Eingabeschicht: erhält Rohdaten (z. B. Bilder, Text, numerische Eingaben);
Verborgene Schichten: verarbeiten und transformieren Daten mittels gewichteter Verbindungen;
Ausgabeschicht: liefert Vorhersagen oder Klassifikationen.

Jedes Neuron berechnet eine gewichtete Summe seiner Eingaben und gibt das Ergebnis durch eine Aktivierungsfunktion weiter:

z=\sum^n_{i=1}\omega_ix_i+b

wobei gilt:

$x_i$ sind Eingabewerte;
$\omega_i$ sind Gewichte;
$b$ ist der Bias-Term;
$z$ ist die gewichtete Summe, die an die Aktivierungsfunktion weitergegeben wird.

Aktivierungsfunktionen

Aktivierungsfunktionen führen Nichtlinearität ein und ermöglichen es Netzwerken, komplexe Muster zu erlernen. Zu den gängigen Aktivierungsfunktionen gehören:

Sigmoid, verwendet für Wahrscheinlichkeiten: $\sigma(z)=\dfrac{1}{1+e^{-z}}$

ReLU (Rectified Linear Unit), häufig in tiefen Netzwerken verwendet: $f(z)=\max(0,z)$

Tanh, nützlich für nullzentrierte Ausgaben: $\tanh(z)=\dfrac{e^z-e^{-z}}{e^z+e^{-z}}$

Vorwärts- und Rückwärtspropagation

Vorwärtspropagation

Vorwärtspropagation bezeichnet das Durchleiten von Eingaben durch das Netzwerk zur Berechnung der Ausgabe. Jeder Neuron berechnet:

a=f(z)=f\left( \sum^n_{i=1}\omega_i x_i + b \right)

wobei $f(z)$ die Aktivierungsfunktion ist.

Rückpropagation und Gradientenabstieg

\omega^{(t+1)}_i=\omega^{(t)}_i - \eta *\frac{\partial L}{\partial \omega_i}

wobei:

$\eta$ die Lernrate ist;
$L$ die Verlustfunktion ist;
$\frac{\partial L}{\partial \omega_i}$ der Gradient des Verlusts bezüglich $\omega_i$ ist.

Verlustfunktionen und Trainingsprozess

Verlustfunktionen

Verlustfunktionen messen die Differenz zwischen vorhergesagten und tatsächlichen Werten. Gängige Verlustfunktionen sind:

Mittlere quadratische Abweichung (MSE) (für Regression):

\text{MSE}=\frac{1}{n}\sum^n_{i=1}(y_i-\hat{y}_i^2)

Kreuzentropie-Verlust (für Klassifikation):

\text{L}=-\sum^n_{i=1}y_i\log(\hat{y}_i)

wobei:

$y_i$ das wahre Label ist;
$\hat{y}_i$ die vorhergesagte Wahrscheinlichkeit ist.

Trainingsprozess

Zufällige Initialisierung der Gewichte;
Durchführung der Vorwärtsausbreitung zur Berechnung der Vorhersagen;
Berechnung des Verlusts mit der gewählten Verlustfunktion;
Verwendung der Rückpropagation zur Berechnung der Gewichtsaktualisierungen;
Aktualisierung der Gewichte mittels Gradientenabstieg;
Wiederholung über mehrere Epochen bis zur Konvergenz des Netzwerks.

Der Satz der universellen Approximation und Deep Learning

Satz der universellen Approximation

Deep Learning und seine Bedeutung

Deep Learning erweitert künstliche neuronale Netze durch das Hinzufügen vieler versteckter Schichten und ermöglicht dadurch:

Extraktion hierarchischer Merkmale (relevant bei Bildverarbeitung und NLP);
Modellierung komplexer Wahrscheinlichkeitsverteilungen (entscheidend für Generative KI);
Lernen ohne manuelles Feature Engineering (wie bei selbstüberwachtem Lernen).

Fazit

1. Welches der folgenden Elemente ist KEIN Bestandteil eines künstlichen neuronalen Netzes?

2. Was ist der Hauptzweck der Backpropagation in neuronalen Netzen?

3. Der Universal Approximation Theorem besagt, dass ein ausreichend großes neuronales Netz welche der folgenden Funktionen annähern kann?

Welches der folgenden Elemente ist KEIN Bestandteil eines künstlichen neuronalen Netzes?

Select the correct answer

Neuronen

Schichten

Aktivierungsfunktionen

Datenkompression

Was ist der Hauptzweck der Backpropagation in neuronalen Netzen?

Select the correct answer

Initialisierung des neuronalen Netzes

Aktualisierung der Gewichte durch Minimierung des Verlusts

Vergrößerung des Netzwerks

Durchführung der Vorwärtspropagation

Der Universal Approximation Theorem besagt, dass ein ausreichend großes neuronales Netz welche der folgenden Funktionen annähern kann?

Select the correct answer

Jede stetige Funktion

Jede diskrete Funktion

Nur lineare Funktionen

Nur polynomielle Funktionen

War alles klar?

Wie können wir es verbessern?

Danke für Ihr Feedback!

Abschnitt 2. Kapitel 4