Summary  
This chapter explains how activation functions introduce non-linearity into neural networks, describes common functions (ReLU, Leaky ReLU, Sigmoid, Tanh, Softmax), and outlines criteria for choosing the right one to optimize training and performance.  

General domain of usage  
Image classification and recognition in convolutional neural networks.

## Warum Aktivierungsfunktionen in CNNs entscheidend sind

Aktivierungsfunktionen führen Nichtlinearität in CNNs ein und ermöglichen es ihnen, komplexe Muster zu erlernen, die über die Fähigkeiten eines einfachen linearen Modells hinausgehen. Ohne Aktivierungsfunktionen wären CNNs nicht in der Lage, komplexe Zusammenhänge in Daten zu erkennen, was ihre Effektivität bei der Bildklassifikation und -erkennung einschränkt. Die Wahl der passenden Aktivierungsfunktion beeinflusst Trainingsgeschwindigkeit, Stabilität und Gesamtleistung.

## Gängige Aktivierungsfunktionen
- **ReLU (Rectified Linear Unit):** Die am häufigsten verwendete Aktivierungsfunktion in CNNs. Sie gibt nur positive Werte weiter und setzt alle negativen Eingaben auf null, was sie recheneffizient macht und das Problem verschwindender Gradienten verhindert. Allerdings können einige Neuronen durch das "Dying ReLU"-Problem inaktiv werden;

- **Leaky ReLU:** eine Variante von ReLU, die kleine negative Werte zulässt, anstatt sie auf Null zu setzen, wodurch inaktive Neuronen vermieden und der Gradientenfluss verbessert wird;

<div style="text-align: center;">
<math xmlns="http://www.w3.org/1998/Math/MathML">
  <mi>f</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo>
  <mo>=</mo>
  <mrow>
    <mo>{</mo>
    <mtable columnalign="left">
      <mtr>
        <mtd>
          <mi>x</mi>
        </mtd>
        <mtd>
          <mtext>,</mtext>
          <mspace width="0.5em"/>
          <mi>x</mi>
          <mo>&gt;</mo>
          <mn>0</mn>
        </mtd>
      </mtr>
      <mtr>
        <mtd>
          <mi>&alpha;</mi><mi>x</mi>
        </mtd>
        <mtd>
          <mtext>,</mtext>
          <mspace width="0.5em"/>
          <mi>x</mi>
          <mo>&leq;</mo>
          <mn>0</mn>
        </mtd>
      </mtr>
    </mtable>
  </mrow>
</math>
</div>

- **Sigmoid:** komprimiert Eingabewerte in einen Bereich zwischen 0 und 1 und ist daher nützlich für binäre Klassifikation. Allerdings tritt bei tiefen Netzwerken das Problem verschwindender Gradienten auf;

- **Tanh:** ähnlich wie Sigmoid, gibt jedoch Werte zwischen -1 und 1 aus und zentriert die Aktivierungen um Null;

- **Softmax:** Wird typischerweise in der letzten Schicht für Mehrklassenklassifikation verwendet. Softmax wandelt die Rohwerte des Netzwerks in Wahrscheinlichkeiten um und stellt sicher, dass deren Summe eins ergibt, was die Interpretierbarkeit verbessert.

## Auswahl der geeigneten Aktivierungsfunktion

**ReLU** ist die Standardwahl für versteckte Schichten aufgrund ihrer Effizienz und starken Leistung, während **Leaky ReLU** eine bessere Option ist, wenn das Problem inaktiver Neuronen auftritt. **Sigmoid** und **Tanh** werden in tiefen CNNs meist vermieden, können aber in bestimmten Anwendungen nützlich sein. **Softmax** bleibt für Mehrklassenklassifikationsaufgaben unerlässlich und sorgt für klare, wahrscheinlichkeitbasierte Vorhersagen.

Die Auswahl der richtigen Aktivierungsfunktion ist **entscheidend** für die Optimierung der CNN-Leistung, das Gleichgewicht zwischen Effizienz und der Vermeidung von Problemen wie **verschwindenden oder explodierenden Gradienten**. Jede Funktion trägt auf einzigartige Weise dazu bei, wie ein Netzwerk visuelle Daten verarbeitet und daraus lernt.

Warum wird ReLU in tiefen CNNs gegenüber Sigmoid bevorzugt?

Welche Aktivierungsfunktion wird üblicherweise in der letzten Schicht eines Mehrklassenklassifikations-CNNs verwendet?

Was ist der Hauptvorteil von Leaky ReLU gegenüber dem Standard-ReLU?

Umfassende Einführung in Computer Vision mit Schwerpunkt auf maschineller Wahrnehmung und Interpretation visueller Daten. Behandelt Bildvorverarbeitung, Merkmalsextraktion, Objekterkennung und Deep-Learning-Techniken, die in modernen Vision-Systemen verwendet werden.

Computer Vision ermöglicht es Maschinen, visuelle Daten zu interpretieren und zu analysieren, indem sie die menschliche Wahrnehmung nachahmen. Dieser Abschnitt behandelt die Grundlagen der Bilddarstellung, Farbmodelle und mathematischen Grundlagen, die für das Verständnis der Bildverarbeitung durch Computer wesentlich sind. Es werden praxisnahe Anwendungen vorgestellt, von autonomen Fahrzeugen bis hin zur medizinischen Bildgebung, sowie die Integration von Computer Vision mit KI und maschinellem Lernen erläutert.

OpenCV ist eine leistungsstarke Bibliothek für Bildmanipulation und Aufgaben der Computer Vision. Dieser Abschnitt behandelt grundlegende Techniken wie Bildfilterung, Transformationen, Kantenerkennung und Segmentierung. Sie lernen, wie man Weichzeichnung, Schwellenwertbildung, Konturenerkennung und Merkmalsextraktion durchführt, um Bilder effizient zu verbessern und zu analysieren.

CNNs verarbeiten visuelle Daten mithilfe von Faltungs-, Pooling- und Aktivierungsschichten, um Merkmale für Aufgaben wie Bildklassifikation und Objekterkennung zu extrahieren. Zentrale Komponenten sind Padding, Faltung zur Merkmalsextraktion, Pooling zur Komplexitätsreduktion und Aktivierung für Nichtlinearität. Bekannte Architekturen wie AlexNet, VGG und ResNet treiben KI in Bereichen wie Gesundheitswesen, Autonomie und Sicherheit an.

Objekterkennung ist eine grundlegende Aufgabe im Bereich Computer Vision, bei der Objekte innerhalb eines Bildes identifiziert und lokalisiert werden. Im Gegensatz zur Bildklassifikation, die einem gesamten Bild ein einzelnes Label zuweist, klassifiziert die Objekterkennung nicht nur Objekte, sondern bestimmt auch deren Positionen mithilfe von Begrenzungsrahmen. Dieser Abschnitt behandelt zentrale Techniken und Algorithmen der Objekterkennung, von traditionellen Methoden bis hin zu Deep-Learning-basierten Ansätzen wie YOLO und U-Net.

Die Computer Vision hat sich im Laufe der Jahre erheblich weiterentwickelt und ist von grundlegenden Bildverarbeitungsmethoden zu komplexen Deep-Learning-Techniken übergegangen. Dieser Abschnitt befasst sich mit den neuesten Innovationen im Bereich Computer Vision und konzentriert sich auf Transfer Learning, Gesichtserkennung und Bildgenerierung. Es werden die Vorteile vortrainierter Modelle für die Leistung, die Prinzipien der Gesichtserkennungstechnologie und die Bildgenerierung durch KI mittels Deep Learning untersucht.

Computer Vision Essentials

Aktivierungsfunktionen

Computer Vision Essentials

Aktivierungsfunktionen