Tokenisation
Avant de plonger dans le processus de tokenisation, il est nécessaire de définir ce que sont les tokens.
Tokens : composants textuels indépendants et minimaux, possédant une syntaxe et une sémantique spécifiques.
Par conséquent, la tokenisation correspond au processus de découpage du texte en tokens. Par exemple, un paragraphe, un document texte ou un corpus textuel se compose de plusieurs éléments pouvant être divisés en phrases, groupes de mots et mots. En réalité, les méthodes de tokenisation les plus courantes incluent la tokenisation en phrases et en mots, utilisée pour segmenter un document texte (ou corpus) en phrases, puis chaque phrase en mots.
Un corpus textuel (pluriel : corpus) est un ensemble volumineux et structuré de textes utilisé dans la recherche en linguistique et en linguistique computationnelle. Il s'agit essentiellement d'une collection exhaustive de documents écrits ou oraux servant d'échantillon représentatif d'une langue, d'un dialecte ou d'un domaine spécifique.
Tokenisation des phrases
Commençons par la tokenisation des phrases. Heureusement, nltk propose la fonction sent_tokenize() dans le module tokenize. La fonction principale de cet outil est de diviser un texte donné en une liste de phrases.
sent_tokenize()ent_tokenize()` utilise un modèle pré-entraîné, généralement un modèle d'apprentissage automatique entraîné sur un large corpus de textes, pour identifier les frontières entre les phrases. Il prend en compte divers indices dans le texte, tels que les signes de ponctuation (par exemple, points, points d'exclamation, points d'interrogation), la capitalisation et d'autres schémas linguistiques qui marquent généralement la fin d'une phrase et le début d'une autre.
123456789# Importing the sent_tokenize() function from nltk.tokenize import sent_tokenize import nltk # Downloading the "Punkt" tokenizer models nltk.download('punkt_tab') text = "Hello world. This is an example of sentence tokenization. NLTK makes it easy!" # Sentence tokenization sentences = sent_tokenize(text) print(sentences)
Comme vous pouvez le constater, il n'y a rien de compliqué ici. Il suffit simplement de passer une chaîne de caractères contenant votre texte en argument de sent_tokenize() pour obtenir une liste de phrases. Concernant nltk.download('punkt_tab'), cette commande télécharge spécifiquement les modèles de tokeniseur "Punkt". En téléchargeant les modèles de tokeniseur Punkt, vous vous assurez que NLTK dispose des données nécessaires pour effectuer une tokenisation précise des phrases et des mots.
Les signes de ponctuation à la fin de chaque phrase sont inclus dans la phrase.
Tokenisation des mots
Dans la tokenisation des mots, il existe plusieurs méthodes courantes pour la réaliser ; cependant, nous n'aborderons que les deux plus répandues.
La méthode la plus directe et la plus simple consiste à utiliser la fonction split() de la classe string, qui utilise par défaut les symboles de saut de ligne, les espaces et les tabulations comme délimiteurs. Cependant, il est également possible de passer une chaîne de caractères arbitraire en argument pour servir de délimiteur.
123456text = "This is an example of word tokenization." # Convert the text to lowercase text = text.lower() # Word tokenization using split() words = text.split() print(words)
Pour garantir que les jetons comme 'This' et 'this' soient traités de la même manière, il est important de convertir la chaîne en minuscules avant la tokenisation.
Une approche plus flexible consiste toutefois à utiliser la fonction word_tokenize() du module tokenize de la bibliothèque nltk. Cette fonction identifie et sépare les mots en fonction des espaces et des signes de ponctuation, décomposant ainsi efficacement les phrases en leurs mots constitutifs. De manière similaire à sent_tokenize(), cette fonction nécessite une chaîne de caractères comme argument.
Comparaison de cette approche avec l'utilisation de la méthode split(). L'exemple ci-dessous utilise word_tokenize() :
12345678from nltk import word_tokenize import nltk nltk.download('punkt_tab') text = "Good muffins cost $3.88 in New York. Please buy me two of them. Thanks" text = text.lower() # Word tokenization using word_tokenize() words = word_tokenize(text) print(words)
Voyons maintenant comment la méthode split() fonctionne avec le même texte :
12345text = "Good muffins cost $3.88 in New York. Please buy me two of them. Thanks" text = text.lower() # Word tokenization using split() words = text.split() print(words)
Dans notre exemple, word_tokenize(), contrairement à split(), identifie avec précision les ponctuations et caractères spéciaux comme des jetons distincts. Il sépare correctement le symbole dollar du chiffre et reconnaît les points comme des jetons autonomes. Cette tokenisation fine est essentielle pour de nombreuses tâches de TALN, où la délimitation précise des mots et de la ponctuation peut avoir un impact significatif sur la précision de l'analyse et les informations obtenues.
Merci pour vos commentaires !
Demandez à l'IA
Demandez à l'IA
Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion
Can you explain the difference between sentence and word tokenization?
Why is it important to use the Punkt tokenizer models in NLTK?
Can you give more examples of when precise tokenization is necessary?
Awesome!
Completion rate improved to 3.45Tokenisation
Glissez pour afficher le menu
Avant de plonger dans le processus de tokenisation, il est nécessaire de définir ce que sont les tokens.
Tokens : composants textuels indépendants et minimaux, possédant une syntaxe et une sémantique spécifiques.
Par conséquent, la tokenisation correspond au processus de découpage du texte en tokens. Par exemple, un paragraphe, un document texte ou un corpus textuel se compose de plusieurs éléments pouvant être divisés en phrases, groupes de mots et mots. En réalité, les méthodes de tokenisation les plus courantes incluent la tokenisation en phrases et en mots, utilisée pour segmenter un document texte (ou corpus) en phrases, puis chaque phrase en mots.
Un corpus textuel (pluriel : corpus) est un ensemble volumineux et structuré de textes utilisé dans la recherche en linguistique et en linguistique computationnelle. Il s'agit essentiellement d'une collection exhaustive de documents écrits ou oraux servant d'échantillon représentatif d'une langue, d'un dialecte ou d'un domaine spécifique.
Tokenisation des phrases
Commençons par la tokenisation des phrases. Heureusement, nltk propose la fonction sent_tokenize() dans le module tokenize. La fonction principale de cet outil est de diviser un texte donné en une liste de phrases.
sent_tokenize()ent_tokenize()` utilise un modèle pré-entraîné, généralement un modèle d'apprentissage automatique entraîné sur un large corpus de textes, pour identifier les frontières entre les phrases. Il prend en compte divers indices dans le texte, tels que les signes de ponctuation (par exemple, points, points d'exclamation, points d'interrogation), la capitalisation et d'autres schémas linguistiques qui marquent généralement la fin d'une phrase et le début d'une autre.
123456789# Importing the sent_tokenize() function from nltk.tokenize import sent_tokenize import nltk # Downloading the "Punkt" tokenizer models nltk.download('punkt_tab') text = "Hello world. This is an example of sentence tokenization. NLTK makes it easy!" # Sentence tokenization sentences = sent_tokenize(text) print(sentences)
Comme vous pouvez le constater, il n'y a rien de compliqué ici. Il suffit simplement de passer une chaîne de caractères contenant votre texte en argument de sent_tokenize() pour obtenir une liste de phrases. Concernant nltk.download('punkt_tab'), cette commande télécharge spécifiquement les modèles de tokeniseur "Punkt". En téléchargeant les modèles de tokeniseur Punkt, vous vous assurez que NLTK dispose des données nécessaires pour effectuer une tokenisation précise des phrases et des mots.
Les signes de ponctuation à la fin de chaque phrase sont inclus dans la phrase.
Tokenisation des mots
Dans la tokenisation des mots, il existe plusieurs méthodes courantes pour la réaliser ; cependant, nous n'aborderons que les deux plus répandues.
La méthode la plus directe et la plus simple consiste à utiliser la fonction split() de la classe string, qui utilise par défaut les symboles de saut de ligne, les espaces et les tabulations comme délimiteurs. Cependant, il est également possible de passer une chaîne de caractères arbitraire en argument pour servir de délimiteur.
123456text = "This is an example of word tokenization." # Convert the text to lowercase text = text.lower() # Word tokenization using split() words = text.split() print(words)
Pour garantir que les jetons comme 'This' et 'this' soient traités de la même manière, il est important de convertir la chaîne en minuscules avant la tokenisation.
Une approche plus flexible consiste toutefois à utiliser la fonction word_tokenize() du module tokenize de la bibliothèque nltk. Cette fonction identifie et sépare les mots en fonction des espaces et des signes de ponctuation, décomposant ainsi efficacement les phrases en leurs mots constitutifs. De manière similaire à sent_tokenize(), cette fonction nécessite une chaîne de caractères comme argument.
Comparaison de cette approche avec l'utilisation de la méthode split(). L'exemple ci-dessous utilise word_tokenize() :
12345678from nltk import word_tokenize import nltk nltk.download('punkt_tab') text = "Good muffins cost $3.88 in New York. Please buy me two of them. Thanks" text = text.lower() # Word tokenization using word_tokenize() words = word_tokenize(text) print(words)
Voyons maintenant comment la méthode split() fonctionne avec le même texte :
12345text = "Good muffins cost $3.88 in New York. Please buy me two of them. Thanks" text = text.lower() # Word tokenization using split() words = text.split() print(words)
Dans notre exemple, word_tokenize(), contrairement à split(), identifie avec précision les ponctuations et caractères spéciaux comme des jetons distincts. Il sépare correctement le symbole dollar du chiffre et reconnaît les points comme des jetons autonomes. Cette tokenisation fine est essentielle pour de nombreuses tâches de TALN, où la délimitation précise des mots et de la ponctuation peut avoir un impact significatif sur la précision de l'analyse et les informations obtenues.
Merci pour vos commentaires !
