La valutazione dei modelli generativi si differenzia da quella dei modelli discriminativi, che si basano su metriche di accuratezza. Poiché i modelli generativi producono molteplici output validi, devono essere valutati in termini di qualità, diversità e rilevanza. Questa sezione introduce le principali metriche utilizzate sia nella ricerca che nell'industria per valutare i modelli generativi secondo dimensioni percettive, statistiche e centrate sull'utente.

Valutazione per modelli basati su immagini (GAN, VAE, Diffusion)

I metodi di valutazione percettiva e statistica sono comunemente applicati ai modelli generativi basati su immagini. Questi aiutano a misurare quanto gli output generati siano realistici, diversificati e ben distribuiti rispetto alle immagini reali.

Inception Score (IS)

Quantifica sia la chiarezza che la diversità delle immagini generate utilizzando la confidenza di classificazione di un modello Inception pre-addestrato.

dove:

• $p(y|x)$ è la distribuzione condizionale delle etichette per l'immagine $x$
• $p(y)$ è la distribuzione marginale delle classi.

Fréchet Inception Distance (FID)

Misura la similarità tra le distribuzioni di immagini reali e generate utilizzando gli embedding delle feature.

dove:

• $\mu$ e $\Sigma$ sono la media e la covarianza delle rappresentazioni delle feature.
• $\text{Tr}()$ indica la traccia di una matrice — è la somma degli elementi diagonali. La traccia aiuta a quantificare quanto le distribuzioni delle feature differiscano in termini di ampiezza o forma.

LPIPS

Confronta la somiglianza visiva tra immagini utilizzando caratteristiche di reti neurali profonde.

Valutazione per modelli basati su testo (Transformers, GPT, BERT)

I modelli di generazione del linguaggio vengono valutati per qualità, coerenza e rilevanza tramite metriche statistiche, semantiche e soggettive.

BLEU / ROUGE / METEOR

Confrontano la sovrapposizione di n-grammi tra il testo generato e quello di riferimento.

dove:

• $p_n$ è la precisione per gli n-grammi
• $\text{BP}$ è la penalità di brevità.

BERTScore

Misura la similarità semantica utilizzando embedding contestuali. Utilizza la similarità coseno tra embedding contestuali, con aggregazioni di precisione/recall/F1.

Fedeltà al Prompt

Misura l'aderenza dell'output ai prompt di input, specialmente nei modelli ottimizzati per le istruzioni.

Valutazione per Modelli Multimodali (ad es. DALL·E, Stable Diffusion)

I modelli multimodali devono essere valutati per l'allineamento tra le modalità, come immagine e testo.

CLIPScore

Calcola la similarità tra gli embedding delle immagini e quelli dei prompt testuali.

dove $f$ sono embedding specifici per ciascuna modalità.

Fedeltà Prompt-immagine

Misura quanto bene le immagini generate corrispondano ai prompt di condizionamento.

Valutazione Umana

Nonostante i progressi nelle metriche automatizzate, la valutazione umana rimane essenziale per compiti soggettivi o creativi. Molti output generativi, specialmente in arte, narrazione o design, richiedono il giudizio umano per valutarne il significato, l'originalità e l'attrattiva. Questi metodi forniscono approfondimenti sfumati che spesso sfuggono alle metriche automatizzate.

Test A/B e Configurazioni in Stile Turing

Richiedere agli utenti di scegliere tra due opzioni quella preferita o che appare più realistica.

• Esempio Reale: nella pipeline RLHF di GPT-3 di OpenAI, ai crowdworker venivano mostrate più completamenti del modello e veniva chiesto di classificare o selezionare quello più utile o realistico. Questo feedback ha influenzato direttamente i modelli di ricompensa per ulteriori fasi di fine-tuning.

Fedeltà Prompt-Output

Valutazione soggettiva di quanto bene l'output rifletta il prompt fornito.

• Esempio Reale: durante l'addestramento RLHF per InstructGPT, gli annotatori valutavano i completamenti per un prompt come "Scrivi una email cortese per rifiutare un'offerta di lavoro." I punteggi umani determinavano quali output erano allineati con l'intento e lo stile dell'utente.

Scale di Valutazione

Raccolta di valutazioni su scale (ad esempio, da 1 a 5) per realismo, coerenza o creatività.

• Esempio Reale: nelle valutazioni di Claude di Anthropic, i ricercatori raccoglievano valutazioni da 1 a 5 stelle su utilità, onestà e innocuità delle generazioni nei dialoghi, supportando gli obiettivi di allineamento del modello.

Valutazione tramite Crowdsourcing

Utilizzo di piattaforme come MTurk per raccogliere opinioni diversificate. Garantire l'accordo tra i valutatori.

• Esempio reale: Google ha utilizzato il crowdsourcing su larga scala per valutare la qualità del chatbot LaMDA su dimensioni come la sensatezza e la specificità, aggregando migliaia di giudizi degli utenti.

Riepilogo

Queste strategie di valutazione sono indispensabili per iterare nello sviluppo del modello e guidare le decisioni di distribuzione. Combinare metriche oggettive con feedback umano aiuta gli sviluppatori a bilanciare realismo, creatività, diversità e allineamento con l'intento dell'utente o i requisiti del compito. Una valutazione efficace garantisce che i modelli di intelligenza artificiale generativa non solo funzionino tecnicamente bene, ma siano anche allineati con casi d'uso reali e aspettative umane.