Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.Lære Opdeling af Noderne | Sektion
Supervised Learning Essentials

bookOpdeling af Noderne

Under træning skal vi finde det bedste split ved hver beslutningsnode. Når vi opdeler dataene i to noder, sigter vi efter, at forskellige klasser er i separate noder.

  • Bedste tilfælde: alle datapunkter i en node tilhører samme klasse;
  • Værste tilfælde: et lige antal datapunkter for hver klasse.

Gini-urenhed

For at måle hvor god en opdeling er, kan vi beregne Gini-urenheden. Det er sandsynligheden for, at hvis vi tilfældigt tager to punkter fra en node (med tilbageføring), vil de være af forskellige klasser. Jo lavere denne sandsynlighed (urenhed) er, desto bedre er opdelingen.

Du kan beregne Gini-urenheden for binær klassifikation ved hjælp af følgende formel:

gini=1−p02−p12=1−(m0m)2−(m1m)2\text{gini} = 1 - p_0^2 - p_1^2 = 1 - (\frac{m_0}{m})^2 - (\frac{m_1}{m})^2

Hvor

  • mim_i – antal forekomster af klasse ii i en node;
  • mm – antal forekomster i en node;
  • pi=mimp_i = \frac{m_i}{m} – sandsynlighed for at vælge klasse ii.

Og for multiklasse-klassifikation er formlen:

gini=1−∑i=0Cpi2=1−∑i=0C(mim)2\text{gini} = 1 - \sum_{i=0}^C p_i^2 = 1 - \sum_{i=0}^C(\frac{m_i}{m})^2

Hvor

  • CC – antal klasser.

Kvaliteten af splitningen kan måles ved at tage den vægtede sum af Gini-scorer for begge noder opnået fra en splitning. Dette er værdien, der ønskes minimeret.

For at splitte en beslutningsnode skal der findes en egenskab at splitte på samt tærskelværdien:

Ved et beslutningspunkt finder algoritmen grådigt den bedste tærskel for hver egenskab. Derefter vælger den det split med lavest Gini-urenhed blandt alle egenskaber (hvis der er lighed, vælges tilfældigt).

Entropi

Entropi er et andet mål for urenhed. For et binært klassifikationsproblem beregnes entropien HH for en node med formlen:

H(p)=−plog⁡2(p)−(1−p)log⁡2(1−p)H(p) = -p \log_2(p) - (1 - p) \log_2(1 - p)

hvor:

  • pp er andelen af positive eksempler (klasse 1);
  • 1−p1 - p er andelen af negative eksempler (klasse 0).

For et multiklassifikationsproblem beregnes entropien HH for en node med formlen:

H(p1,p2,…,pk)=−∑i=1kpilog⁡2(pi)H(p_1, p_2, \dots, p_k) = -\sum_{i=1}^{k} p_i \log_2(p_i)

hvor:

  • kk er antallet af klasser;
  • pip_i er andelen af eksempler, der tilhører klasse ii i noden.

På samme måde som Gini-urenhed kan vi måle, hvor god en opdeling er, ved at beregne den vægtede sum af entropiværdier for de børnenoder, der opnås fra opdelingen. Dette er den værdi, vi ønsker at minimere for at maksimere informationsgevinsten.

Note
Bemærk

Entropien er maksimal, når alle klasser er lige repræsenteret. Den er minimal (0), når alle eksempler tilhører én klasse (rent node).

question mark

Vælg en bedre opdeling.

Select the correct answer

Var alt klart?

Hvordan kan vi forbedre det?

Tak for dine kommentarer!

Sektion 1. Kapitel 28

Spørg AI

expand

Spørg AI

ChatGPT

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat

bookOpdeling af Noderne

Stryg for at vise menuen

Under træning skal vi finde det bedste split ved hver beslutningsnode. Når vi opdeler dataene i to noder, sigter vi efter, at forskellige klasser er i separate noder.

  • Bedste tilfælde: alle datapunkter i en node tilhører samme klasse;
  • Værste tilfælde: et lige antal datapunkter for hver klasse.

Gini-urenhed

For at måle hvor god en opdeling er, kan vi beregne Gini-urenheden. Det er sandsynligheden for, at hvis vi tilfældigt tager to punkter fra en node (med tilbageføring), vil de være af forskellige klasser. Jo lavere denne sandsynlighed (urenhed) er, desto bedre er opdelingen.

Du kan beregne Gini-urenheden for binær klassifikation ved hjælp af følgende formel:

gini=1−p02−p12=1−(m0m)2−(m1m)2\text{gini} = 1 - p_0^2 - p_1^2 = 1 - (\frac{m_0}{m})^2 - (\frac{m_1}{m})^2

Hvor

  • mim_i – antal forekomster af klasse ii i en node;
  • mm – antal forekomster i en node;
  • pi=mimp_i = \frac{m_i}{m} – sandsynlighed for at vælge klasse ii.

Og for multiklasse-klassifikation er formlen:

gini=1−∑i=0Cpi2=1−∑i=0C(mim)2\text{gini} = 1 - \sum_{i=0}^C p_i^2 = 1 - \sum_{i=0}^C(\frac{m_i}{m})^2

Hvor

  • CC – antal klasser.

Kvaliteten af splitningen kan måles ved at tage den vægtede sum af Gini-scorer for begge noder opnået fra en splitning. Dette er værdien, der ønskes minimeret.

For at splitte en beslutningsnode skal der findes en egenskab at splitte på samt tærskelværdien:

Ved et beslutningspunkt finder algoritmen grådigt den bedste tærskel for hver egenskab. Derefter vælger den det split med lavest Gini-urenhed blandt alle egenskaber (hvis der er lighed, vælges tilfældigt).

Entropi

Entropi er et andet mål for urenhed. For et binært klassifikationsproblem beregnes entropien HH for en node med formlen:

H(p)=−plog⁡2(p)−(1−p)log⁡2(1−p)H(p) = -p \log_2(p) - (1 - p) \log_2(1 - p)

hvor:

  • pp er andelen af positive eksempler (klasse 1);
  • 1−p1 - p er andelen af negative eksempler (klasse 0).

For et multiklassifikationsproblem beregnes entropien HH for en node med formlen:

H(p1,p2,…,pk)=−∑i=1kpilog⁡2(pi)H(p_1, p_2, \dots, p_k) = -\sum_{i=1}^{k} p_i \log_2(p_i)

hvor:

  • kk er antallet af klasser;
  • pip_i er andelen af eksempler, der tilhører klasse ii i noden.

På samme måde som Gini-urenhed kan vi måle, hvor god en opdeling er, ved at beregne den vægtede sum af entropiværdier for de børnenoder, der opnås fra opdelingen. Dette er den værdi, vi ønsker at minimere for at maksimere informationsgevinsten.

Note
Bemærk

Entropien er maksimal, når alle klasser er lige repræsenteret. Den er minimal (0), når alle eksempler tilhører én klasse (rent node).

question mark

Vælg en bedre opdeling.

Select the correct answer

Var alt klart?

Hvordan kan vi forbedre det?

Tak for dine kommentarer!

Sektion 1. Kapitel 28
some-alt