Bestimmung der Parameter
Die logistische Regression erfordert vom Computer lediglich das Erlernen der optimalen Parameter β. Dazu muss definiert werden, was unter „optimalen Parametern“ zu verstehen ist. Erinnern wir uns daran, wie das Modell funktioniert: Es sagt die Wahrscheinlichkeit p für die Zugehörigkeit zur Klasse 1 voraus:
p=σ(z)=σ(β0+β1x1+...)wobei
σ(z)=1+e−z1Offensichtlich ist das Modell mit guten Parametern jenes, das für Instanzen, die tatsächlich zur Klasse 1 gehören, einen hohen (nahe 1) Wert für p vorhersagt und für Instanzen mit der tatsächlichen Klasse 0 einen niedrigen (nahe 0) Wert für p.
Um zu messen, wie gut oder schlecht das Modell ist, wird eine Kostenfunktion verwendet. In der linearen Regression wurde als Kostenfunktion der MSE (mittlere quadratische Abweichung) verwendet. Dieses Mal wird eine andere Funktion eingesetzt:
Hierbei steht p für die vom Modell vorhergesagte Wahrscheinlichkeit, zur Klasse 1 zu gehören, während y den tatsächlichen Zielwert bezeichnet.
Diese Funktion bestraft nicht nur falsche Vorhersagen, sondern berücksichtigt auch die Sicherheit des Modells in seinen Vorhersagen. Wie in der obigen Abbildung dargestellt, bleibt die Kostenfunktion relativ klein, wenn der Wert von p nahe bei y (dem tatsächlichen Zielwert) liegt, was darauf hinweist, dass das Modell die richtige Klasse mit hoher Sicherheit ausgewählt hat. Im Gegensatz dazu steigt die Kostenfunktion exponentiell an, wenn die Vorhersage falsch ist und das Modell zunehmend von der falschen Klasse überzeugt ist.
Im Kontext der binären Klassifikation mit einer Sigmoid-Funktion wird speziell die binäre Kreuzentropie-Verlustfunktion verwendet, wie oben gezeigt. Es ist wichtig zu beachten, dass es auch eine allgemeinere Form gibt, die als Kreuzentropie-Verlust (oder kategorische Kreuzentropie) für Mehrklassen-Klassifikationsprobleme verwendet wird.
Die kategorische Kreuzentropie für eine einzelne Trainingsinstanz wird wie folgt berechnet:
Categorical Cross-Entropy Loss=−i=1∑Cyilog(pi)Dabei gilt:
- C ist die Anzahl der Klassen;
- yi ist der tatsächliche Zielwert (1, wenn die Klasse die korrekte Klasse ist, sonst 0);
- pi ist die vorhergesagte Wahrscheinlichkeit, dass die Instanz zur Klasse i gehört.
Wir berechnen die Verlustfunktion für jede Trainingsinstanz und nehmen den Durchschnitt. Dieser Durchschnitt wird als Kostenfunktion bezeichnet. Die logistische Regression sucht die Parameter β, die die Kostenfunktion minimieren.
Danke für Ihr Feedback!
Fragen Sie AI
Fragen Sie AI
Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen
Awesome!
Completion rate improved to 4.17Bestimmung der Parameter
Swipe um das Menü anzuzeigen
Die logistische Regression erfordert vom Computer lediglich das Erlernen der optimalen Parameter β. Dazu muss definiert werden, was unter „optimalen Parametern“ zu verstehen ist. Erinnern wir uns daran, wie das Modell funktioniert: Es sagt die Wahrscheinlichkeit p für die Zugehörigkeit zur Klasse 1 voraus:
p=σ(z)=σ(β0+β1x1+...)wobei
σ(z)=1+e−z1Offensichtlich ist das Modell mit guten Parametern jenes, das für Instanzen, die tatsächlich zur Klasse 1 gehören, einen hohen (nahe 1) Wert für p vorhersagt und für Instanzen mit der tatsächlichen Klasse 0 einen niedrigen (nahe 0) Wert für p.
Um zu messen, wie gut oder schlecht das Modell ist, wird eine Kostenfunktion verwendet. In der linearen Regression wurde als Kostenfunktion der MSE (mittlere quadratische Abweichung) verwendet. Dieses Mal wird eine andere Funktion eingesetzt:
Hierbei steht p für die vom Modell vorhergesagte Wahrscheinlichkeit, zur Klasse 1 zu gehören, während y den tatsächlichen Zielwert bezeichnet.
Diese Funktion bestraft nicht nur falsche Vorhersagen, sondern berücksichtigt auch die Sicherheit des Modells in seinen Vorhersagen. Wie in der obigen Abbildung dargestellt, bleibt die Kostenfunktion relativ klein, wenn der Wert von p nahe bei y (dem tatsächlichen Zielwert) liegt, was darauf hinweist, dass das Modell die richtige Klasse mit hoher Sicherheit ausgewählt hat. Im Gegensatz dazu steigt die Kostenfunktion exponentiell an, wenn die Vorhersage falsch ist und das Modell zunehmend von der falschen Klasse überzeugt ist.
Im Kontext der binären Klassifikation mit einer Sigmoid-Funktion wird speziell die binäre Kreuzentropie-Verlustfunktion verwendet, wie oben gezeigt. Es ist wichtig zu beachten, dass es auch eine allgemeinere Form gibt, die als Kreuzentropie-Verlust (oder kategorische Kreuzentropie) für Mehrklassen-Klassifikationsprobleme verwendet wird.
Die kategorische Kreuzentropie für eine einzelne Trainingsinstanz wird wie folgt berechnet:
Categorical Cross-Entropy Loss=−i=1∑Cyilog(pi)Dabei gilt:
- C ist die Anzahl der Klassen;
- yi ist der tatsächliche Zielwert (1, wenn die Klasse die korrekte Klasse ist, sonst 0);
- pi ist die vorhergesagte Wahrscheinlichkeit, dass die Instanz zur Klasse i gehört.
Wir berechnen die Verlustfunktion für jede Trainingsinstanz und nehmen den Durchschnitt. Dieser Durchschnitt wird als Kostenfunktion bezeichnet. Die logistische Regression sucht die Parameter β, die die Kostenfunktion minimieren.
Danke für Ihr Feedback!
