Contenuti del Corso
Fondamenti di Computer Vision
Fondamenti di Computer Vision
Funzioni di Attivazione
Perché le funzioni di attivazione sono fondamentali nelle CNN
Le funzioni di attivazione introducono la non linearità nelle CNN, consentendo loro di apprendere schemi complessi che un semplice modello lineare non potrebbe cogliere. Senza le funzioni di attivazione, le CNN avrebbero difficoltà a rilevare relazioni intricate nei dati, limitando la loro efficacia nel riconoscimento e nella classificazione delle immagini. La scelta della funzione di attivazione influisce sulla velocità di addestramento, sulla stabilità e sulle prestazioni complessive.
Funzioni di attivazione comuni
ReLU (rectified linear unit): la funzione di attivazione più utilizzata nelle CNN. Consente il passaggio solo dei valori positivi, impostando a zero tutti gli input negativi, risultando efficiente dal punto di vista computazionale e prevenendo il problema dei gradienti che svaniscono. Tuttavia, alcuni neuroni possono diventare inattivi a causa del problema del "dying ReLU";
Leaky ReLU: una variante della ReLU che consente piccoli valori negativi invece di impostarli a zero, prevenendo neuroni inattivi e migliorando il flusso del gradiente;
Sigmoid: comprime i valori di input in un intervallo tra 0 e 1, rendendolo utile per la classificazione binaria. Tuttavia, soffre del problema della scomparsa del gradiente nelle reti profonde;
Tanh: simile alla funzione Sigmoid ma restituisce valori compresi tra -1 e 1, centrando le attivazioni intorno allo zero;
Softmax: tipicamente utilizzata nello strato finale per la classificazione multi-classe, Softmax converte le uscite grezze della rete in probabilità, assicurando che la loro somma sia pari a uno per una migliore interpretabilità.
Scelta della Funzione di Attivazione Corretta
ReLU è la scelta predefinita per gli strati nascosti grazie alla sua efficienza e alle ottime prestazioni, mentre Leaky ReLU rappresenta un'opzione migliore quando si verifica inattività dei neuroni. Sigmoid e Tanh sono generalmente evitate nelle CNN profonde ma possono essere utili in applicazioni specifiche. Softmax rimane fondamentale per i compiti di classificazione multi-classe, garantendo previsioni chiare basate su probabilità.
La selezione della funzione di attivazione corretta è fondamentale per ottimizzare le prestazioni delle CNN, bilanciando efficienza e prevenendo problemi come vanishing o exploding gradients. Ogni funzione contribuisce in modo unico al modo in cui una rete elabora e apprende dai dati visivi.
1. Perché ReLU è preferita rispetto a Sigmoid nelle CNN profonde?
2. Quale funzione di attivazione è comunemente utilizzata nello strato finale di una CNN per classificazione multi-classe?
3. Qual è il principale vantaggio di Leaky ReLU rispetto alla ReLU standard?
Grazie per i tuoi commenti!