Parameter Finden

Die logistische Regression erfordert nur, dass der Computer die besten Parameter β lernt. Dafür müssen wir definieren, was "beste Parameter" bedeutet. Erinnern wir uns daran, wie das Modell funktioniert: Es sagt die p - Wahrscheinlichkeit voraus, zur Klasse 1 zu gehören.

Offensichtlich ist das Modell mit guten Parametern dasjenige, das für Instanzen, die tatsächlich der Klasse 1 angehören, ein hohes (nahe 1) p vorhersagt und für Instanzen mit der tatsächlichen Klasse 0 ein niedriges (nahe 0) p.

Um zu messen, wie schlecht oder wie gut das Modell ist, verwenden wir eine Kostenfunktion. Bei der linearen Regression haben wir SSR als Kostenfunktion verwendet. Dieses Mal wird eine andere Funktion verwendet:

Hier ist p die Wahrscheinlichkeit, zur Klasse 1 zu gehören, die vom Modell vorhergesagt wird, und y ist der tatsächliche Zielwert.

Diese Funktion bestraft nicht nur falsche Vorhersagen, sondern berücksichtigt auch, wie sicher das Modell in seiner Vorhersage war.
Wie Sie aus dem obigen Bild sehen können, ist die Kostenfunktion relativ klein, wenn der Wert von p nahe bei y (tatsächliches Ziel) liegt. Das bedeutet, dass das Modell die richtige Klasse mit Zuversicht gewählt hat.
Aber wenn die Vorhersage falsch ist, wächst die Kostenfunktion exponentiell, wenn das Vertrauen des Modells in die falsche Klasse zunimmt.

Wir berechnen die Kostenfunktion für jede Trainingseinheit und nehmen den Durchschnitt. Diese Kostenfunktion wird als Kreuzentropieverlust bezeichnet. Die logistische Regression findet also einfach die Parameter β, die den Kreuzentropieverlust minimieren.