Summary  
This chapter covers techniques for transforming raw text into machine-readable numerical data—such as tokenization, stop-word removal, vocabulary construction, and encoding—for use in downstream models.  

General domain of usage  
Sentiment analysis

**NLP** stelt machines in staat om menselijke taal te lezen, te begrijpen en te genereren. Door het toepassen van diverse algoritmen en modellen kunnen NLP-systemen taken uitvoeren zoals spraakherkenning, vertaling, samenvatting en sentimentanalyse.

Definitie

**Belangrijke taken in NLP**:  
- **Tekstvoorbewerking**: omvat het opschonen van tekstgegevens om deze geschikt te maken voor analyse. Veelvoorkomende voorbewerkingsstappen zijn tokenisatie, het verwijderen van stopwoorden en stemming of lemmatisatie;
- **Tekstclassificatie**: het toewijzen van categorieën of labels aan tekstgegevens. Sentimentanalyse is hiervan een voorbeeld, waarbij het doel is om tekst als positief, negatief of neutraal te classificeren;
- **Named entity recognition (NER)**: het identificeren en classificeren van entiteiten in tekst, zoals namen van personen, organisaties, locaties en datums;
- **Part-of-speech tagging**: het bepalen van de grammaticale structuur van een zin door het identificeren van woordsoorten zoals zelfstandige naamwoorden, werkwoorden, bijvoeglijke naamwoorden, enz.;
- **Sentimentanalyse**: de primaire taak van deze sectie. Sentimentanalyse houdt in dat het sentiment of de emotie in een tekstfragment wordt bepaald. Dit wordt vaak gebruikt bij het analyseren van socialmediaberichten, klantbeoordelingen en feedback, en wordt doorgaans uitgevoerd met behulp van machine learning-modellen die zijn getraind op gelabelde data.

- Het proces waarbij tekst wordt gesplitst in afzonderlijke woorden of zinnen, bekend als **tokens**;
- Tokenisatie is een fundamentele stap in NLP om ruwe tekst om te zetten in gestructureerde data.

Tokenisatie

- Het verwijderen van veelvoorkomende woorden (bijv. "de", "is", "en") die weinig betekenis toevoegen aan de analyse;
- Stopwoorden worden meestal verwijderd om ruis te verminderen en te focussen op meer betekenisvolle termen in de tekst.

Verwijderen van stopwoorden

- Woorden terugbrengen tot hun basis- of stamvorm, bijvoorbeeld "running" wordt "run";
- Lemmatisatie is over het algemeen nauwkeuriger dan stemming omdat het rekening houdt met de context van woorden;
- Beide technieken helpen bij het standaardiseren van woorden voor betere analyse en vergelijking.

Stemming en lemmatisatie

- Woorden numeriek weergeven met behulp van vectoren;
- Veelgebruikte technieken zoals Word2Vec en GloVe helpen semantische relaties tussen woorden vast te leggen;
- Woordembeddings maken het mogelijk om woorden te analyseren op basis van hun betekenissen en onderlinge relaties.

Woordembeddings

Samengevat is NLP een sleuteltechnologie die machines in staat stelt om menselijke taal te verwerken en te begrijpen. Door de basisprincipes van NLP te beheersen, zoals tekstvoorverwerking, classificatie en embeddings, leg je de basis voor meer geavanceerde taken zoals sentimentanalyse en meer.


Welke van de volgende is een kerntaak in NLP?

Beheers terugkerende neurale netwerken en hun geavanceerde varianten zoals LSTMs en GRUs met behulp van PyTorch. Verkrijg praktische ervaring met het verwerken van sequentiële data voor praktische toepassingen. Pas deze krachtige modellen toe om echte uitdagingen aan te pakken op het gebied van tijdreeksvoorspelling en diverse Natural language processing-taken.

Behandelt de beperkingen van traditionele neurale netwerken voor sequentiële data en introduceert de basisprincipes van Recurrent Neural Networks. Verklaart de RNN-architectuur, typen en stapsgewijze implementatie aan de hand van eenvoudige voorbeelden en een programmeeruitdaging.

Behandelt veelvoorkomende trainingsuitdagingen zoals verdwijnende en exploderende gradiënten. Introduceert geavanceerde RNN-varianten, waaronder LSTM en GRU, met nadruk op hun interne mechanismen en toepassingsgebieden, voorzien van praktische implementatievoorbeelden voor elk.

Richt zich op het verwerken en voorspellen van tijdreeksgegevens met behulp van RNN-gebaseerde modellen. Bevat gegevensinvoer, preprocessietechnieken, modeltraining en prestatie-evaluatie, met nadruk op het vergelijken van LSTM- en GRU-architecturen.

Toont de toepassing van RNN's op tekstclassificatietaken. Behandelt kernbegrippen van NLP, methoden voor tekstcodering, stappen voor gegevensvoorbereiding en de opbouw van een LSTM-gebaseerd model voor sentimentvoorspelling.

NLP-Basisprincipes