Bestimmung der Parameter

Die logistische Regression erfordert vom Computer lediglich das Erlernen der optimalen Parameter $β$. Dazu muss definiert werden, was unter „optimalen Parametern“ zu verstehen ist. Erinnern wir uns an die Funktionsweise des Modells: Es sagt die Wahrscheinlichkeit $p$ für die Zugehörigkeit zur Klasse 1 voraus:

Dabei gilt:

Ein Modell mit guten Parametern sagt für Instanzen, die tatsächlich zur Klasse 1 gehören, ein hohes (nahe 1) $p$ voraus und für Instanzen mit der tatsächlichen Klasse 0 ein niedriges (nahe 0) $p$.

Zur Bewertung, wie schlecht oder gut das Modell ist, wird eine Kostenfunktion verwendet. In der linearen Regression wurde MSE (mittlerer quadratischer Fehler) als Kostenfunktion genutzt. Diesmal wird eine andere Funktion verwendet:

Hier steht $p$ für die vom Modell vorhergesagte Wahrscheinlichkeit, zur Klasse 1 zu gehören, während $y$ den tatsächlichen Zielwert bezeichnet.

Diese Funktion bestraft nicht nur falsche Vorhersagen, sondern berücksichtigt auch die Sicherheit des Modells bei seinen Vorhersagen. Wie in der obigen Abbildung gezeigt, bleibt die Kostenfunktion relativ klein, wenn der Wert von $p$ nahe bei $y$ (dem tatsächlichen Ziel) liegt, was darauf hinweist, dass das Modell die richtige Klasse mit hoher Sicherheit ausgewählt hat. Ist die Vorhersage hingegen falsch, steigt die Kostenfunktion exponentiell an, je sicherer sich das Modell bei der falschen Klasse ist.

Im Kontext der binären Klassifikation mit einer Sigmoid-Funktion wird die verwendete Kostenfunktion speziell als binärer Kreuzentropie-Verlust bezeichnet, wie oben gezeigt. Es ist wichtig zu beachten, dass es auch eine allgemeine Form gibt, die als Kreuzentropie-Verlust (oder kategorischer Kreuzentropie-Verlust) bekannt ist und für Mehrklassen-Klassifikationsprobleme verwendet wird.

Der kategorische Kreuzentropie-Verlust für eine einzelne Trainingsinstanz wird wie folgt berechnet:

Dabei gilt:

• $C$ ist die Anzahl der Klassen;
• $y_i$ ist der tatsächliche Zielwert (1, wenn die Klasse die korrekte Klasse ist, sonst 0);
• $p_i$ ist die vorhergesagte Wahrscheinlichkeit, dass die Instanz zur Klasse $i$ gehört.

Die Verlustfunktion wird für jede Trainingsinstanz berechnet und der Durchschnitt genommen. Dieser Durchschnitt wird als Kostenfunktion bezeichnet. Die logistische Regression findet die Parameter $\beta$, die die Kostenfunktion minimieren.