Lasting og Forhåndsbehandling av Dataene

Fokuset er på den viktige oppgaven datavask og forhåndsprosessering for sentimentanalyse ved bruk av IMDB-datasettet med merkede filmomtaler. Forhåndsprosessering er et avgjørende steg for å forberede tekstdata til analyse og bygge en effektiv modell. Renseprosessen inkluderer fjerning av uønskede tegn, retting av stavefeil, tokenisering og lemmatisering av teksten.

Tekstrensing:

Det første steget i tekstforhåndsprosessering er å rense råteksten ved å fjerne unødvendige elementer som lenker, tegnsetting, HTML-tagger, tall, emojier og ikke-ASCII-tegn. Følgende rensefunksjoner benyttes:

• Fjerning av lenker: URL-er fjernes ved hjelp av rm_link-funksjonen, som matcher og fjerner HTTP- eller HTTPS-URL-er;
• Håndtering av tegnsetting: rm_punct2-funksjonen fjerner uønskede tegnsettingsmerker;
• Fjerning av HTML-tagger: rm_html-funksjonen eliminerer alle HTML-tagger fra teksten;
• Mellomrom mellom tegnsetting: space_bt_punct-funksjonen legger til mellomrom mellom tegnsettingsmerker og fjerner ekstra mellomrom;
• Fjerning av tall: rm_number-funksjonen eliminerer alle numeriske tegn;
• Håndtering av mellomrom: rm_whitespaces-funksjonen fjerner ekstra mellomrom mellom ord;
• Ikke-ASCII-tegn: rm_nonascii-funksjonen fjerner alle tegn som ikke er ASCII;
• Fjerning av emojier: rm_emoji-funksjonen fjerner emojier fra teksten;
• Stavekorreksjon: spell_correction-funksjonen retter gjentatte bokstaver i ord, for eksempel "looooove" til "love".

Oppsummert er datavask og forhåndsprosessering avgjørende steg i sentimentanalyseprosessen. Ved å fjerne støy og standardisere teksten, gjør vi det enklere for maskinlæringsmodeller å fokusere på relevante egenskaper for oppgaver som sentimentklassifisering.