Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.Oppiskele Generatiivisen Tekoälyn Arviointimittarit | Generatiivisten Mallien Rakentaminen ja Koulutus
Generatiivinen Tekoäly

bookGeneratiivisen Tekoälyn Arviointimittarit

Generatiivisten mallien arviointi poikkeaa diskriminatiivisten mallien arvioinnista, jotka perustuvat tarkkuusmittareihin. Koska generatiiviset mallit tuottavat useita kelvollisia tuloksia, niiden laatua, monimuotoisuutta ja osuvuutta on arvioitava. Tässä osiossa esitellään keskeiset mittarit, joita käytetään sekä tutkimuksessa että teollisuudessa generatiivisten mallien arviointiin havaintoon, tilastollisuuteen ja ihmiskeskeisyyteen liittyvillä ulottuvuuksilla.

Kuvapohjaisten mallien arviointi (GAN:t, VAE:t, Diffuusiomallit)

Havaintoon ja tilastollisuuteen perustuvia arviointimenetelmiä sovelletaan yleisesti kuvapohjaisiin generatiivisiin malleihin. Näiden avulla mitataan, kuinka realistisia, monimuotoisia ja hyvin jakautuneita tuotetut tulokset ovat verrattuna aitoihin kuviin.

Inception Score (IS)

Kvantifioi sekä tuotettujen kuvien selkeyden että monimuotoisuuden käyttämällä esikoulutetun Inception-mallin luokitteluluottamusta.

IS=exp⁡(Ex[DKL(p(y∣x)∣∣p(y))])\text{IS}=\exp(\mathbb{E}_x[D_{KL}(p(y|x)||p(y))])

missä:

  • p(y∣x)p(y|x) on kuvan xx ehdollinen luokkajakauma
  • p(y)p(y) on marginaalinen luokkajakauma.

Fréchet Inception Distance (FID)

Mittaa todellisten ja tuotettujen kuvajakaumien samankaltaisuutta ominaisuusupotusten avulla.

FID=∣∣μr−μg∣∣2+Tr(Σr+Σg−2(ΣrΣg)1/2)\text{FID}=||\mu_r-\mu_g||^2+\text{Tr}(\Sigma_r + \Sigma_g - 2(\Sigma_r\Sigma_g)^{1/2})

missä:

  • μ\mu ja Σ\Sigma ovat ominaisuusrepresentaatioiden keskiarvo ja kovarianssi.
  • Tr()\text{Tr}() tarkoittaa matriisin trassia — se on diagonaalielementtien summa. Trassi auttaa kvantifioimaan, kuinka erilaisia ominaisuusjakaumat ovat levinneisyyden tai muodon suhteen.

LPIPS

Vertaa kuvien visuaalista samankaltaisuutta syväverkkojen piirteiden avulla.

Tekstipohjaisten mallien arviointi (Transformers, GPT, BERT)

Kielentuottomalleja arvioidaan laadun, johdonmukaisuuden ja osuvuuden perusteella tilastollisilla, semanttisilla ja subjektiivisilla mittareilla.

BLEU / ROUGE / METEOR

Vertaa n-grammien päällekkäisyyttä tuotetun ja viitetekstin välillä.

BLEU=BP⋅exp⁡(∑n=1Nwnlog⁡pn)\text{BLEU}=\text{BP} \cdot \exp\left(\sum^N_{n=1}w_n\log p_n\right)

missä:

  • pnp_n on n-grammien tarkkuus
  • BP\text{BP} on lyhyysrangaistus.

BERTScore

Mittaa semanttista samankaltaisuutta kontekstuaalisten upotusten avulla. Käyttää kosinietäisyyttä kontekstuaalisten upotusten välillä sekä tarkkuus-, recall- ja F1-yhteenvetoja.

Kehotteen uskollisuus

Mittaa tuotoksen noudattamista syötekehotteisiin, erityisesti ohjeistukseen hienosäädetyissä malleissa.

Note
Huomio

Vertaa kehotteita ja tuotoksia manuaalisesti tai käytä samankaltaisuuspisteytysmalleja, kuten CLIP tai BERT.

Monimodaalisten mallien arviointi (esim. DALL·E, Stable Diffusion)

Monimodaaliset mallit tulee arvioida modaliteettien välisen yhteensopivuuden perusteella, kuten kuvan ja tekstin välillä.

CLIPScore

Laskee kuvan upotusten ja tekstikehotteen upotusten välisen samankaltaisuuden.

CLIPScores=cos(fimage, ftext)\text{CLIPScores}=cos(f_{image},\ f_{text})

missä ff ovat modaliteettikohtaisia upotuksia.

Kehote-kuva -vastaavuus

Arvioi, kuinka hyvin generoidut kuvat vastaavat niiden ohjaavia kehotteita.

Note
Huomio

Käytä CLIP:iä tai manuaalista annotointia visuaalisen ja tekstuaalisen yhteensopivuuden arviointiin.

Ihmisen tekemä arviointi

Automaattisten mittareiden kehityksestä huolimatta ihmisen tekemä arviointi on edelleen välttämätöntä subjektiivisissa tai luovissa tehtävissä. Monet generoidut tuotokset, erityisesti taiteessa, tarinankerronnassa tai suunnittelussa, vaativat ihmisen arviointia niiden merkityksellisyyden, omaperäisyyden ja vetovoiman mittaamiseksi. Nämä menetelmät tarjoavat vivahteikkaampaa tietoa, jota automaattiset mittarit usein eivät tavoita.

A/B-testaus ja Turing-tyyliset asetelmat

Pyydä käyttäjiä valitsemaan kahdesta vaihtoehdosta mieluisampi tai aidommalta vaikuttava tuloste.

  • Käytännön esimerkki: OpenAI:n GPT-3 RLHF-prosessissa joukkotyöntekijöille näytettiin useita mallin tuottamia vastauksia, ja heitä pyydettiin järjestämään tai valitsemaan hyödyllisin tai realistisin. Tämä palaute vaikutti suoraan palkkiomallien kehittämiseen jatkohienosäätöä varten.

Kehotteen ja tulosteen vastaavuus

Subjektiivinen arvio siitä, kuinka hyvin tuloste vastaa annettua kehotetta.

  • Käytännön esimerkki: RLHF-koulutuksen aikana InstructGPT:lle arvioijat pisteyttivät vastauksia kehotteeseen, kuten "Kirjoita kohtelias sähköposti, jossa kieltäydyt työpaikkatarjouksesta." Ihmisten antamat pisteet määrittivät, mitkä tulosteet vastasivat käyttäjän tarkoitusta ja tyyliä.

Arviointiasteikot

Kerää arvioita asteikoilla (esim. 1–5) realistisuudesta, johdonmukaisuudesta tai luovuudesta.

  • Käytännön esimerkki: Anthropicin Claude-arvioinneissa tutkijat keräsivät 1–5 tähden arvioita hyödyllisyydestä, rehellisyydestä ja haitattomuudesta keskustelujen tuotoille, mikä tuki mallin linjaustavoitteita.

Yhteisölähtöinen arviointi

Käytä alustoja, kuten MTurk, kerätäksesi monipuolisia näkemyksiä. Varmista arvioijien yksimielisyys.

  • Käytännön esimerkki: Google hyödynsi laajamittaista joukkoistamista arvioidakseen LaMDA-chatbotin laatua ominaisuuksilla, kuten järkevyys ja tarkkuus, kokoamalla tuhansia käyttäjäarvioita.
Note
Opiskele lisää

Käytä automaattisten ja ihmiskeskeisten arviointien yhdistelmää saadaksesi kattavamman kuvan generatiivisen mallin suorituskyvystä. Ihmisen näkemykset auttavat varmistamaan mittareiden luotettavuuden ja tunnistamaan hienovaraisia virhetapauksia, joita numeeriset arvot eivät tavoita. Kriittisissä sovelluksissa useiden arvioijien yhdistäminen ja arvioijien välisen luotettavuuden (esim. Cohenin kappa) laskeminen voi parantaa tulosten luotettavuutta.

Yhteenveto

Nämä arviointistrategiat ovat välttämättömiä mallin kehityksen iteroinnissa ja käyttöönottoa koskevien päätösten ohjaamisessa. Objektiivisten mittareiden yhdistäminen ihmispalautteeseen auttaa kehittäjiä tasapainottamaan realismia, luovuutta, monimuotoisuutta ja käyttäjän aikomusten tai tehtävän vaatimusten mukaista kohdistusta. Tehokas arviointi varmistaa, että generatiiviset tekoälymallit eivät ainoastaan suoriudu teknisesti hyvin, vaan myös vastaavat todellisia käyttötapauksia ja ihmisten odotuksia.

1. Mikä seuraavista arviointimittareista käytetään ensisijaisesti mittaamaan generoitujen kuvien monimuotoisuutta Generative Adversarial Networkeissa (GAN)?

2. Mihin Fréchet Inception Distance (FID) -mittaria käytetään ensisijaisesti generatiivisten mallien arvioinnissa?

3. Mikä metriikkaa käytetään yleisesti arvioimaan generoitu tekstin ja viitetekstin semanttista samankaltaisuutta?

question mark

Mikä seuraavista arviointimittareista käytetään ensisijaisesti mittaamaan generoitujen kuvien monimuotoisuutta Generative Adversarial Networkeissa (GAN)?

Select the correct answer

question mark

Mihin Fréchet Inception Distance (FID) -mittaria käytetään ensisijaisesti generatiivisten mallien arvioinnissa?

Select the correct answer

question mark

Mikä metriikkaa käytetään yleisesti arvioimaan generoitu tekstin ja viitetekstin semanttista samankaltaisuutta?

Select the correct answer

Oliko kaikki selvää?

Miten voimme parantaa sitä?

Kiitos palautteestasi!

Osio 3. Luku 3

Kysy tekoälyä

expand

Kysy tekoälyä

ChatGPT

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Suggested prompts:

What are the main differences between IS, FID, and LPIPS for image model evaluation?

Can you explain how human evaluation complements automated metrics?

How do I choose which evaluation metric to use for my generative model?

Awesome!

Completion rate improved to 4.76

bookGeneratiivisen Tekoälyn Arviointimittarit

Pyyhkäise näyttääksesi valikon

Generatiivisten mallien arviointi poikkeaa diskriminatiivisten mallien arvioinnista, jotka perustuvat tarkkuusmittareihin. Koska generatiiviset mallit tuottavat useita kelvollisia tuloksia, niiden laatua, monimuotoisuutta ja osuvuutta on arvioitava. Tässä osiossa esitellään keskeiset mittarit, joita käytetään sekä tutkimuksessa että teollisuudessa generatiivisten mallien arviointiin havaintoon, tilastollisuuteen ja ihmiskeskeisyyteen liittyvillä ulottuvuuksilla.

Kuvapohjaisten mallien arviointi (GAN:t, VAE:t, Diffuusiomallit)

Havaintoon ja tilastollisuuteen perustuvia arviointimenetelmiä sovelletaan yleisesti kuvapohjaisiin generatiivisiin malleihin. Näiden avulla mitataan, kuinka realistisia, monimuotoisia ja hyvin jakautuneita tuotetut tulokset ovat verrattuna aitoihin kuviin.

Inception Score (IS)

Kvantifioi sekä tuotettujen kuvien selkeyden että monimuotoisuuden käyttämällä esikoulutetun Inception-mallin luokitteluluottamusta.

IS=exp⁡(Ex[DKL(p(y∣x)∣∣p(y))])\text{IS}=\exp(\mathbb{E}_x[D_{KL}(p(y|x)||p(y))])

missä:

  • p(y∣x)p(y|x) on kuvan xx ehdollinen luokkajakauma
  • p(y)p(y) on marginaalinen luokkajakauma.

Fréchet Inception Distance (FID)

Mittaa todellisten ja tuotettujen kuvajakaumien samankaltaisuutta ominaisuusupotusten avulla.

FID=∣∣μr−μg∣∣2+Tr(Σr+Σg−2(ΣrΣg)1/2)\text{FID}=||\mu_r-\mu_g||^2+\text{Tr}(\Sigma_r + \Sigma_g - 2(\Sigma_r\Sigma_g)^{1/2})

missä:

  • μ\mu ja Σ\Sigma ovat ominaisuusrepresentaatioiden keskiarvo ja kovarianssi.
  • Tr()\text{Tr}() tarkoittaa matriisin trassia — se on diagonaalielementtien summa. Trassi auttaa kvantifioimaan, kuinka erilaisia ominaisuusjakaumat ovat levinneisyyden tai muodon suhteen.

LPIPS

Vertaa kuvien visuaalista samankaltaisuutta syväverkkojen piirteiden avulla.

Tekstipohjaisten mallien arviointi (Transformers, GPT, BERT)

Kielentuottomalleja arvioidaan laadun, johdonmukaisuuden ja osuvuuden perusteella tilastollisilla, semanttisilla ja subjektiivisilla mittareilla.

BLEU / ROUGE / METEOR

Vertaa n-grammien päällekkäisyyttä tuotetun ja viitetekstin välillä.

BLEU=BP⋅exp⁡(∑n=1Nwnlog⁡pn)\text{BLEU}=\text{BP} \cdot \exp\left(\sum^N_{n=1}w_n\log p_n\right)

missä:

  • pnp_n on n-grammien tarkkuus
  • BP\text{BP} on lyhyysrangaistus.

BERTScore

Mittaa semanttista samankaltaisuutta kontekstuaalisten upotusten avulla. Käyttää kosinietäisyyttä kontekstuaalisten upotusten välillä sekä tarkkuus-, recall- ja F1-yhteenvetoja.

Kehotteen uskollisuus

Mittaa tuotoksen noudattamista syötekehotteisiin, erityisesti ohjeistukseen hienosäädetyissä malleissa.

Note
Huomio

Vertaa kehotteita ja tuotoksia manuaalisesti tai käytä samankaltaisuuspisteytysmalleja, kuten CLIP tai BERT.

Monimodaalisten mallien arviointi (esim. DALL·E, Stable Diffusion)

Monimodaaliset mallit tulee arvioida modaliteettien välisen yhteensopivuuden perusteella, kuten kuvan ja tekstin välillä.

CLIPScore

Laskee kuvan upotusten ja tekstikehotteen upotusten välisen samankaltaisuuden.

CLIPScores=cos(fimage, ftext)\text{CLIPScores}=cos(f_{image},\ f_{text})

missä ff ovat modaliteettikohtaisia upotuksia.

Kehote-kuva -vastaavuus

Arvioi, kuinka hyvin generoidut kuvat vastaavat niiden ohjaavia kehotteita.

Note
Huomio

Käytä CLIP:iä tai manuaalista annotointia visuaalisen ja tekstuaalisen yhteensopivuuden arviointiin.

Ihmisen tekemä arviointi

Automaattisten mittareiden kehityksestä huolimatta ihmisen tekemä arviointi on edelleen välttämätöntä subjektiivisissa tai luovissa tehtävissä. Monet generoidut tuotokset, erityisesti taiteessa, tarinankerronnassa tai suunnittelussa, vaativat ihmisen arviointia niiden merkityksellisyyden, omaperäisyyden ja vetovoiman mittaamiseksi. Nämä menetelmät tarjoavat vivahteikkaampaa tietoa, jota automaattiset mittarit usein eivät tavoita.

A/B-testaus ja Turing-tyyliset asetelmat

Pyydä käyttäjiä valitsemaan kahdesta vaihtoehdosta mieluisampi tai aidommalta vaikuttava tuloste.

  • Käytännön esimerkki: OpenAI:n GPT-3 RLHF-prosessissa joukkotyöntekijöille näytettiin useita mallin tuottamia vastauksia, ja heitä pyydettiin järjestämään tai valitsemaan hyödyllisin tai realistisin. Tämä palaute vaikutti suoraan palkkiomallien kehittämiseen jatkohienosäätöä varten.

Kehotteen ja tulosteen vastaavuus

Subjektiivinen arvio siitä, kuinka hyvin tuloste vastaa annettua kehotetta.

  • Käytännön esimerkki: RLHF-koulutuksen aikana InstructGPT:lle arvioijat pisteyttivät vastauksia kehotteeseen, kuten "Kirjoita kohtelias sähköposti, jossa kieltäydyt työpaikkatarjouksesta." Ihmisten antamat pisteet määrittivät, mitkä tulosteet vastasivat käyttäjän tarkoitusta ja tyyliä.

Arviointiasteikot

Kerää arvioita asteikoilla (esim. 1–5) realistisuudesta, johdonmukaisuudesta tai luovuudesta.

  • Käytännön esimerkki: Anthropicin Claude-arvioinneissa tutkijat keräsivät 1–5 tähden arvioita hyödyllisyydestä, rehellisyydestä ja haitattomuudesta keskustelujen tuotoille, mikä tuki mallin linjaustavoitteita.

Yhteisölähtöinen arviointi

Käytä alustoja, kuten MTurk, kerätäksesi monipuolisia näkemyksiä. Varmista arvioijien yksimielisyys.

  • Käytännön esimerkki: Google hyödynsi laajamittaista joukkoistamista arvioidakseen LaMDA-chatbotin laatua ominaisuuksilla, kuten järkevyys ja tarkkuus, kokoamalla tuhansia käyttäjäarvioita.
Note
Opiskele lisää

Käytä automaattisten ja ihmiskeskeisten arviointien yhdistelmää saadaksesi kattavamman kuvan generatiivisen mallin suorituskyvystä. Ihmisen näkemykset auttavat varmistamaan mittareiden luotettavuuden ja tunnistamaan hienovaraisia virhetapauksia, joita numeeriset arvot eivät tavoita. Kriittisissä sovelluksissa useiden arvioijien yhdistäminen ja arvioijien välisen luotettavuuden (esim. Cohenin kappa) laskeminen voi parantaa tulosten luotettavuutta.

Yhteenveto

Nämä arviointistrategiat ovat välttämättömiä mallin kehityksen iteroinnissa ja käyttöönottoa koskevien päätösten ohjaamisessa. Objektiivisten mittareiden yhdistäminen ihmispalautteeseen auttaa kehittäjiä tasapainottamaan realismia, luovuutta, monimuotoisuutta ja käyttäjän aikomusten tai tehtävän vaatimusten mukaista kohdistusta. Tehokas arviointi varmistaa, että generatiiviset tekoälymallit eivät ainoastaan suoriudu teknisesti hyvin, vaan myös vastaavat todellisia käyttötapauksia ja ihmisten odotuksia.

1. Mikä seuraavista arviointimittareista käytetään ensisijaisesti mittaamaan generoitujen kuvien monimuotoisuutta Generative Adversarial Networkeissa (GAN)?

2. Mihin Fréchet Inception Distance (FID) -mittaria käytetään ensisijaisesti generatiivisten mallien arvioinnissa?

3. Mikä metriikkaa käytetään yleisesti arvioimaan generoitu tekstin ja viitetekstin semanttista samankaltaisuutta?

question mark

Mikä seuraavista arviointimittareista käytetään ensisijaisesti mittaamaan generoitujen kuvien monimuotoisuutta Generative Adversarial Networkeissa (GAN)?

Select the correct answer

question mark

Mihin Fréchet Inception Distance (FID) -mittaria käytetään ensisijaisesti generatiivisten mallien arvioinnissa?

Select the correct answer

question mark

Mikä metriikkaa käytetään yleisesti arvioimaan generoitu tekstin ja viitetekstin semanttista samankaltaisuutta?

Select the correct answer

Oliko kaikki selvää?

Miten voimme parantaa sitä?

Kiitos palautteestasi!

Osio 3. Luku 3
some-alt