Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.Lernen Herleitung der PCA mittels linearer Algebra | Mathematische Grundlagen der PCA
Dimensionsreduktion mit PCA

bookHerleitung der PCA mittels linearer Algebra

PCA sucht ein neues Satz von Achsen, genannt Hauptkomponenten (principal components), sodass die projizierten Daten maximale Varianz aufweisen. Die erste Hauptkomponente, bezeichnet als w1w_{\raisebox{-0.5pt}{$1$}}, wird so gewählt, dass die Varianz der projizierten Daten maximiert wird:

Var(Xw1)\mathrm{Var}(X w_1)

Unter der Nebenbedingung, dass ∥w1∥=1\|w_{\raisebox{-0.5pt}{$1$}}\| = 1 gilt. Die Lösung dieses Maximierungsproblems ist der Eigenvektor der Kovarianzmatrix, der zum größten Eigenwert gehört.

Das Optimierungsproblem lautet:

max⁡w wTΣwunter der Nebenbedingung∥w∥=1\max_{w} \ w^T \Sigma w \quad \text{unter der Nebenbedingung} \quad \|w\| = 1

Die Lösung ist jeder Vektor ww, der Σw=λw\Sigma w = \lambda w erfüllt, wobei λ\lambda der zugehörige Eigenwert ist. Mit anderen Worten: ww ist ein Eigenvektor der Kovarianzmatrix Σ\Sigma, der mit dem Eigenwert λ\lambda assoziiert ist.


              
12345678910111213

            
import numpy as np

# Assume cov_matrix from earlier
X = np.array([[2.5, 2.4],
              [0.5, 0.7],
              [2.2, 2.9]])
X_centered = X - np.mean(X, axis=0)
cov_matrix = (X_centered.T @ X_centered) / X_centered.shape[0]

# Find the principal component (eigenvector with largest eigenvalue)
values, vectors = np.linalg.eig(cov_matrix)
principal_component = vectors[:, np.argmax(values)]
print("First principal component:", principal_component)
copy

Diese Hauptkomponente ist die Richtung, entlang der die Daten die höchste Varianz aufweisen. Die Projektion der Daten auf diese Richtung liefert die informativste eindimensionale Darstellung des ursprünglichen Datensatzes.

question mark

Welche Aussage beschreibt die Rolle der Kovarianzmatrix bei der Herleitung der PCA mittels linearer Algebra am besten?

Select the correct answer

War alles klar?

Wie können wir es verbessern?

Danke für Ihr Feedback!

Abschnitt 2. Kapitel 3

Fragen Sie AI

expand

Fragen Sie AI

ChatGPT

Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen

Awesome!

Completion rate improved to 8.33

bookHerleitung der PCA mittels linearer Algebra

Swipe um das Menü anzuzeigen

PCA sucht ein neues Satz von Achsen, genannt Hauptkomponenten (principal components), sodass die projizierten Daten maximale Varianz aufweisen. Die erste Hauptkomponente, bezeichnet als w1w_{\raisebox{-0.5pt}{$1$}}, wird so gewählt, dass die Varianz der projizierten Daten maximiert wird:

Var(Xw1)\mathrm{Var}(X w_1)

Unter der Nebenbedingung, dass ∥w1∥=1\|w_{\raisebox{-0.5pt}{$1$}}\| = 1 gilt. Die Lösung dieses Maximierungsproblems ist der Eigenvektor der Kovarianzmatrix, der zum größten Eigenwert gehört.

Das Optimierungsproblem lautet:

max⁡w wTΣwunter der Nebenbedingung∥w∥=1\max_{w} \ w^T \Sigma w \quad \text{unter der Nebenbedingung} \quad \|w\| = 1

Die Lösung ist jeder Vektor ww, der Σw=λw\Sigma w = \lambda w erfüllt, wobei λ\lambda der zugehörige Eigenwert ist. Mit anderen Worten: ww ist ein Eigenvektor der Kovarianzmatrix Σ\Sigma, der mit dem Eigenwert λ\lambda assoziiert ist.


              
12345678910111213

            
import numpy as np

# Assume cov_matrix from earlier
X = np.array([[2.5, 2.4],
              [0.5, 0.7],
              [2.2, 2.9]])
X_centered = X - np.mean(X, axis=0)
cov_matrix = (X_centered.T @ X_centered) / X_centered.shape[0]

# Find the principal component (eigenvector with largest eigenvalue)
values, vectors = np.linalg.eig(cov_matrix)
principal_component = vectors[:, np.argmax(values)]
print("First principal component:", principal_component)
copy

Diese Hauptkomponente ist die Richtung, entlang der die Daten die höchste Varianz aufweisen. Die Projektion der Daten auf diese Richtung liefert die informativste eindimensionale Darstellung des ursprünglichen Datensatzes.

question mark

Welche Aussage beschreibt die Rolle der Kovarianzmatrix bei der Herleitung der PCA mittels linearer Algebra am besten?

Select the correct answer

War alles klar?

Wie können wir es verbessern?

Danke für Ihr Feedback!

Abschnitt 2. Kapitel 3
some-alt