Implementierung des Gradientenabstiegs in Python

Gradientenabstieg folgt einer einfachen, aber leistungsstarken Idee: Bewegung in Richtung des steilsten Abstiegs, um eine Funktion zu minimieren.

Die mathematische Regel lautet:

theta = theta - alpha * gradient(theta)

Dabei gilt:

• theta ist der zu optimierende Parameter;
• alpha ist die Lernrate (Schrittweite);
• gradient(theta) ist der Gradient der Funktion an der Stelle theta.

1. Definition der Funktion und ihrer Ableitung

Wir beginnen mit einer einfachen quadratischen Funktion:

def f(theta):
    return theta**2  # Function we want to minimize

Ihre Ableitung (Gradient) ist:

def gradient(theta):
    return 2 * theta  # Derivative: f'(theta) = 2*theta

• f(theta): Dies ist unsere Funktion, und wir möchten den Wert von theta finden, der sie minimiert;
• gradient(theta): Dies gibt uns die Steigung an jedem Punkt theta an, die wir zur Bestimmung der Aktualisierungsrichtung verwenden.

2. Gradient-Descent-Parameter initialisieren

alpha = 0.3  # Learning rate
theta = 3.0  # Initial starting point
tolerance = 1e-5  # Convergence threshold
max_iterations = 20  # Maximum number of updates

• alpha (Lernrate): bestimmt die Schrittgröße;
• theta (Anfangswert): Startpunkt für das Verfahren;
• tolerance: Abbruch, wenn die Änderungen sehr klein werden;
• max_iterations: verhindert eine Endlosschleife.

3. Gradient Descent durchführen

for i in range(max_iterations):
    grad = gradient(theta)  # Compute gradient
    new_theta = theta - alpha * grad  # Update rule
    if abs(new_theta - theta) < tolerance:
        print("Converged!")
        break
    theta = new_theta

• Berechnung des Gradienten an theta;
• Aktualisierung von theta mit der Gradient-Descent-Formel;
• Abbruch, wenn die Änderungen zu klein werden (Konvergenz);
• Ausgabe jedes Schritts zur Überwachung des Fortschritts.

4. Visualisierung von Gradient Descent

Diese Grafik zeigt:

• Die Funktionskurve $f(θ) = θ^2$;
• Rote Punkte, die jeden Schritt des Gradientenabstiegs bis zur Konvergenz darstellen.