Summary  
This chapter explains how to evaluate and choose the best split at decision nodes by computing Gini impurity or entropy and selecting the feature–threshold pair that minimizes the weighted impurity (maximizes information gain).

General domain of usage  
Classification tasks in machine learning

Under träningen behöver vi hitta **bästa uppdelningen vid varje beslutsnod**. När vi delar upp data i två noder strävar vi efter att olika klasser ska hamna i separata noder.

- **Bästa scenariot:** alla datapunkter i en nod tillhör samma klass;
- **Sämsta scenariot:** lika många datapunkter för varje klass.

## Gini-oenhetlighet

För att mäta hur bra en uppdelning är kan vi beräkna **Gini-oenhetligheten**. Det är sannolikheten att om vi **slumpmässigt** tar två punkter från en nod (med återläggning), så kommer de att tillhöra **olika klasser**. Ju lägre denna sannolikhet (oenhetlighet) är, desto bättre är uppdelningen.

Du kan beräkna Gini-oenhetligheten för **binär klassificering** med följande formel:
$$
\text{gini} = 1 - p_0^2 - p_1^2 = 1 - (\frac{m_0}{m})^2 - (\frac{m_1}{m})^2
$$

Där
- $$m_i$$ - antal instanser av klass $$i$$ i en nod;
- $$m$$ - antal instanser i en nod;
- $$p_i = \frac{m_i}{m}$$ - sannolikheten att välja klass $$i$$.

Och för **multiklassklassificering** är formeln:
$$
\text{gini} = 1 - \sum_{i=0}^C p_i^2 = 1 - \sum_{i=0}^C(\frac{m_i}{m})^2
$$

Där
- $$C$$ - antal klasser.

Vi kan mäta hur bra uppdelningen är genom att ta **den viktade summan av Gini-värden** för båda noderna som erhålls från en uppdelning. Det är det värde vi vill **minimera**.

För att dela upp en beslutsknuta behöver vi hitta en egenskap att dela på och tröskelvärdet:

Vid ett beslutsträdets nod hittar algoritmen **girigt** den bästa tröskeln för varje variabel. Därefter väljer den den uppdelning med **lägst Gini-orenhet** av alla variabler (vid lika resultat väljs slumpmässigt).

## Entropi

**Entropi** är ett annat mått på orenhet. För ett binärt klassificeringsproblem beräknas entropin $$H$$ för en nod med formeln:

$$
H(p) = -p \log_2(p) - (1 - p) \log_2(1 - p)
$$

Där:

- $$p$$ är andelen positiva exempel (klass 1);
- $$1 - p$$ är andelen negativa exempel (klass 0).

För ett **multiklass-klassificeringsproblem** beräknas entropin $$H$$ för en nod med formeln:

$$
H(p_1, p_2, \dots, p_k) = -\sum_{i=1}^{k} p_i \log_2(p_i)
$$

Där:

- $$k$$ är antalet klasser;
- $$p_i$$ är andelen exempel som tillhör klass $$i$$ i noden.

På liknande sätt som Gini-orenhet kan vi mäta hur bra en uppdelning är genom att beräkna **den viktade summan av entropivärden** för barnnoderna som erhålls från uppdelningen. Detta är värdet vi vill **minimera** för att **maximera informationsvinsten**.

Entropin är **maximal** när alla klasser är lika representerade. Den är **minimal** (0) när alla exempel tillhör **en klass** (ren nod).

Notering

Behärska de centrala klassificeringsalgoritmerna som driver modern maskininlärning. Utforska hur modeller som k-NN, logistisk regression, beslutsträd och random forests gör prediktioner, utvärderar deras noggrannhet och förstå när varje modell bör användas. Bygg upp färdigheter för att jämföra modeller och välja den mest lämpliga för dina data.

Utforska hur algoritmen k-närmsta grannar gör förutsägelser baserat på likhet. Lär dig hantera flera variabler, justera parametrar och använda korsvalidering för att förbättra noggrannheten.

Förstå hur logistisk regression modellerar sannolikheter och klassificerar utfall. Öva på att implementera metoden, tolka beslutsgränser och tillämpa regularisering för att förhindra överanpassning.

Lär dig hur beslutsträd delar upp data i meningsfulla grupper baserat på egenskapsvärden. Utforska hur parametrar som trädets djup och minsta antal prover per blad påverkar modellens prestanda och generaliseringsförmåga.

Utforska hur random forest kombinerar flera beslutsträd för att förbättra noggrannhet och robusthet. Förstå slumpens roll och tillämpa denna ensemblemetod på verkliga data.

Utvärdera modeller med hjälp av mått såsom noggrannhet, precision, återkallelse och F1-poäng. Lära sig att tolka förväxlingsmatriser och jämföra flera klassificerare för att identifiera den modell som presterar bäst.

Uppdelning av Noderna

Gini-oenhetlighet

Entropi