Lära Utvärdering av rekommendationsprestanda med hjälp av medelkvadratiska felmått | Djup Personalisering Genom Matrisfaktorisering

Svep för att visa menyn

Mean Squared Error (MSE): Definition, Formel och Tolkning

Definition

Mean squared error, eller MSE, är ett grundläggande mått för att utvärdera hur nära ett rekommendationssystems förutsagda betyg ligger de faktiska användarbetygen. Det mäter medelvärdet av kvadraterna av skillnaderna mellan förutsagda och faktiska värden.

Formeln för MSE är:

\text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2

Där:

$y_i$ är det faktiska betyget för objekt $i$ ;
$\hat{y}_i$ är det förutsagda betyget för objekt $i$ ;
$n$ är det totala antalet betyg som jämförs.

Ett lägre MSE-värde innebär att förutsägelserna ligger närmare de faktiska betygen, medan ett högre MSE indikerar större fel mellan vad systemet förutspår och vad användarna faktiskt betygsatte.

Hur man beräknar MSE för förutsagda vs. faktiska betyg

För att beräkna MSE följer du dessa steg:

Subtrahera varje förutsagt betyg från det faktiska betyget för att få felet för varje förutsägelse;
Kvadrera varje fel för att säkerställa att alla värden är positiva och för att straffa större fel hårdare;
Summera alla kvadrerade fel;
Dela summan med antalet förutsägelser för att få medelvärdet.

Varför MSE är viktigt för modelevaluering

MSE är viktigt eftersom det ger ett enda tal som sammanfattar den prediktiva noggrannheten hos ett rekommendationssystem. Det är särskilt användbart för att jämföra olika modeller eller justera parametrar, eftersom ett lägre MSE direkt återspeglar bättre prestanda i att förutsäga användarpreferenser. Eftersom felen kvadreras är MSE känsligt för stora misstag, vilket är användbart när man vill straffa stora avvikelser extra mycket.

Läs mer

RMSE (Root Mean Squared Error) är kvadratroten av MSE. Det uttrycker felet i samma enheter som de ursprungliga betygen, vilket gör det enklare att tolka hur långt ifrån förutsägelserna är från verkliga användarbetyg. RMSE används ofta tillsammans med MSE för att utvärdera rekommendationssystem eftersom det ger en mer intuitiv uppfattning om förutsägelseprecision.

Exempel: Beräkning av MSE för en uppsättning förutsägelser

Anta att du har en uppsättning faktiska användarbetyg och systemets förutsagda betyg för fem filmer:

Faktiska betyg: [4, 3, 5, 2, 1]
Förutsagda betyg: [5, 2, 4, 2, 1]

Du beräknar skillnaderna, kvadrerar dem, summerar dem och dividerar med 5 (antalet betyg) för att få MSE.


              12345678910111213
            
import numpy as np

# Actual and predicted ratings
actual_ratings = np.array([4, 3, 5, 2, 1])
predicted_ratings = np.array([5, 2, 4, 2, 1])

# Calculate squared differences
squared_errors = (actual_ratings - predicted_ratings) ** 2

# Compute mean squared error
mse = np.mean(squared_errors)

print('Mean Squared Error:', mse)

1. Vilket påstående beskriver bäst vad ett lägre medelkvadratiskt fel (MSE) indikerar om en rekommendationssystems förutsägelser?

2. Vilket av följande mått mäter direkt den genomsnittliga kvadrerade skillnaden mellan förutsagda och faktiska betyg i ett rekommendationssystem?

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 4. Kapitel 4

Fråga AI

Fråga vad du vill eller prova någon av de föreslagna frågorna för att starta vårt samtal

Avsnitt 4. Kapitel 4