Summary  
This chapter introduces methods to convert raw text into numerical vectors—such as bag-of-words, one-hot encoding, TF-IDF, and word embeddings—to prepare text data for machine learning models.

General domain of usage  
Natural Language Processing

Différents schémas d’**encodage de texte** sont explorés afin de transformer le texte brut en représentations numériques adaptées aux algorithmes d’apprentissage automatique. L’encodage de texte constitue une étape cruciale en TALN, permettant la conversion de texte non structuré en formats structurés qui capturent le sens et les relations entre les mots.


- Le processus de représentation du texte comme un ensemble non ordonné de mots ;
- Chaque mot se voit attribuer un indice unique et est représenté comme un vecteur contenant le nombre d’occurrences du mot ;
- Avantages : simple à comprendre et à mettre en œuvre ;
- Inconvénients : ignore l’ordre des mots et le contexte, ce qui entraîne une perte de sens sémantique.

Sac de mots (BOW)

- TF-IDF prend en compte la fréquence des mots dans un document ainsi que leur importance à travers l’ensemble des documents ;
- La fréquence du terme (TF) mesure la fréquence d’apparition d’un mot dans un document ;
- L’indice d’inverse de fréquence de document (IDF) mesure l’importance d’un mot en diminuant le poids des mots courants ;
- Avantages : réduit le poids des mots fréquents et met en avant les termes plus informatifs ;
- Inconvénients : ignore l’ordre des mots et le contexte, mais fournit des informations plus pertinentes que BOW.

Fréquence du terme – inverse de la fréquence de document (TF-IDF)

- Représente chaque mot comme un vecteur binaire avec un 1 à l’indice correspondant au mot ;
- La taille du vecteur correspond au nombre total de mots uniques dans le corpus ;
- Avantages : simple et efficace pour de petits jeux de données ;
- Inconvénients : produit des vecteurs clairsemés et ne capture pas les relations ou le sens sémantique des mots.

Encodage one-hot

- Représente les mots sous forme de vecteurs denses dans un espace vectoriel continu ;
- Les mots ayant des significations similaires sont plus proches dans l’espace vectoriel ;
- Les méthodes courantes incluent Word2Vec et GloVe, qui capturent les relations sémantiques entre les mots ;
- Avantages : capture le sens, le contexte et les relations entre les mots, ce qui le rend plus puissant que BOW ou TF-IDF ;
- Inconvénients : nécessite davantage de ressources informatiques et un grand jeu de données pour l’entraînement, bien que des embeddings pré-entraînés soient disponibles.

Word embeddings

En résumé, l’encodage de texte est une étape essentielle du prétraitement des données textuelles pour les tâches de TALN. Bien que des méthodes plus simples comme BOW et TF-IDF soient utiles pour certaines tâches, les **word embeddings** offrent une représentation des mots plus puissante et riche sémantiquement, ce qui sera essentiel pour des tâches de TALN plus avancées, telles que l’analyse de sentiment. Par la suite, nous mettrons en œuvre des **word embeddings** pour notre projet d’analyse de sentiment afin de mieux capturer le contexte et le sens des mots.

Dans le codage **TF-IDF**, que mesure la composante "Inverse Document Frequency" (IDF) ?

Maîtrisez les réseaux de neurones récurrents et leurs variantes avancées telles que les LSTM et GRU avec PyTorch. Acquérez une expérience pratique dans le traitement des données séquentielles pour des applications concrètes. Appliquez ces modèles puissants pour relever des défis réels en prévision de séries temporelles et dans diverses tâches de traitement du langage naturel.

Présente les limites des réseaux neuronaux traditionnels pour les données séquentielles et introduit les principes fondamentaux des réseaux neuronaux récurrents. Explique l’architecture des RNN, leurs types et la mise en œuvre étape par étape à travers des exemples simples et un défi de programmation.

Explore les défis courants de l'entraînement tels que la disparition et l'explosion des gradients. Présente des variantes avancées des RNN, notamment LSTM et GRU, en mettant en avant leurs mécanismes internes et leurs cas d'utilisation, avec des exemples pratiques d'implémentation pour chacune.

Se concentre sur le traitement et la prévision des données de séries temporelles à l'aide de modèles basés sur les RNN. Inclut le chargement des données, les techniques de prétraitement, l'entraînement des modèles et l'évaluation des performances, avec un accent sur la comparaison des architectures LSTM et GRU.

Démontre l'application des RNN aux tâches de classification de texte. Couvre les concepts fondamentaux du NLP, les méthodes d'encodage de texte, les étapes de préparation des données et la construction d'un modèle basé sur LSTM pour la prédiction de sentiment.

Encodage de Texte