Summary  
This chapter introduces methods to convert raw text into numerical vectors—such as bag-of-words, one-hot encoding, TF-IDF, and word embeddings—to prepare text data for machine learning models.

General domain of usage  
Natural Language Processing

Forskellige **tekstkodnings**metoder undersøges for at omdanne rå tekst til numeriske repræsentationer, der er egnede til maskinlæringsalgoritmer. Tekstkodning er et afgørende trin i NLP, der muliggør konvertering af ustruktureret tekst til strukturerede formater, som indfanger betydning og ordrelationer.


- Processen med at repræsentere tekst som et uordnet sæt af ord;
- Hvert ord tildeles et unikt indeks og repræsenteres som en vektor med ordtællinger;
- Fordele: enkel at forstå og implementere;
- Ulemper: ignorerer ordstilling og kontekst, hvilket medfører tab af semantisk betydning.

Bag of words (BOW)

- TF-IDF tager højde for hyppigheden af ord i et dokument og vigtigheden på tværs af alle dokumenter;
- Term frequency (TF) måler, hvor ofte et ord forekommer i et dokument;
- Inverse document frequency (IDF) måler, hvor vigtigt et ord er ved at nedvægte almindelige ord;
- Fordele: reducerer vægten af almindelige ord og fremhæver mere informative termer;
- Ulemper: ignorerer ordstilling og kontekst, men giver mere relevant information end BOW.

Term frequency-inverse document frequency (TF-IDF)

- Repræsenterer hvert ord som en binær vektor med en 1 ved det indeks, der svarer til ordet;
- Størrelsen på vektoren svarer til det samlede antal unikke ord i korpuset;
- Fordele: enkel og fungerer godt for mindre datasæt;
- Ulemper: resulterer i sparsomme vektorer og indfanger ikke ordrelationer eller semantisk betydning.

One-hot encoding

- Repræsenterer ord som tætte vektorer i et kontinuerligt vektorrum;
- Ord med lignende betydning er tættere på hinanden i vektorrummet;
- Almindelige metoder inkluderer Word2Vec og GloVe, som indfanger semantiske relationer mellem ord;
- Fordele: indfanger ords betydning, kontekst og relationer, hvilket gør det mere kraftfuldt end BOW eller TF-IDF;
- Ulemper: kræver flere computerressourcer og et stort datasæt til træning, selvom fortrænede indlejringer er tilgængelige.

Word embeddings

Sammenfattende er tekstkodning en væsentlig del af forbehandling af tekstdata til NLP-opgaver. Mens enklere metoder som BOW og TF-IDF er nyttige til visse opgaver, tilbyder **word embeddings** en mere kraftfuld og semantisk rig repræsentation af ord, hvilket vil være afgørende i mere avancerede NLP-opgaver såsom sentimentanalyse. Senere vil vi implementere **word embeddings** i vores sentimentanalyseprojekt for mere effektivt at indfange kontekst og betydning af ord.

I **TF-IDF**-kodning, hvad måler komponenten "Inverse Document Frequency" (IDF)?

Behersk rekurrente neurale netværk og deres avancerede varianter som LSTM og GRU ved hjælp af PyTorch. Opnå praktisk erfaring med behandling af sekventielle data til anvendelser i praksis. Anvend disse kraftfulde modeller til at løse virkelige udfordringer inden for tidsserieprognoser og forskellige opgaver i naturlig sprogbehandling.

Dækker begrænsningerne ved traditionelle neurale netværk for sekventielle data og introducerer grundlæggende principper for Recurrent Neural Networks. Forklarer RNN-arkitektur, typer og trinvis implementering gennem grundlæggende eksempler og en kodningsudfordring.

Undersøger almindelige træningsudfordringer såsom forsvindende og eksploderende gradienter. Introducerer avancerede RNN-varianter, herunder LSTM og GRU, med fokus på deres interne mekanismer og anvendelsesområder samt praktiske implementeringseksempler for hver.

Fokuserer på behandling og prognose af tidsseriedata ved hjælp af RNN-baserede modeller. Omfatter dataindlæsning, forbehandlingsteknikker, modeltræning og præstationsvurdering med vægt på sammenligning af LSTM- og GRU-arkitekturer.

Demonstrerer anvendelsen af RNN'er til tekstklassificeringsopgaver. Dækker centrale NLP-begreber, tekstkodningsmetoder, trin til dataklargøring og opbygning af en LSTM-baseret model til sentimentforudsigelse.