Tässä keskitytään tärkeään tehtävään eli datan puhdistamiseen ja esikäsittelyyn sentimenttianalyysia varten käyttäen IMDB-aineistoa, joka sisältää luokiteltuja elokuva-arvosteluja. Esikäsittely on olennainen vaihe tekstidatan valmistelussa analyysiä ja tehokkaan mallin rakentamista varten. Puhdistusprosessi sisältää ei-toivottujen merkkien poistamisen, oikeinkirjoituksen korjaamisen, tekstin tokenisoinnin ja lemmatisaation.

Tekstin puhdistus:

Ensimmäinen vaihe tekstin esikäsittelyssä on raakatekstin puhdistaminen poistamalla tarpeettomat elementit, kuten linkit, välimerkit, HTML-tunnisteet, numerot, emojit ja ei-ASCII-merkit. Seuraavat puhdistustoiminnot suoritetaan:

• Linkkien poistaminen: URL-osoitteet poistetaan rm_link-funktiolla, joka tunnistaa ja poistaa HTTP- tai HTTPS-osoitteet;
• Välimerkkien käsittely: rm_punct2-funktio poistaa ei-toivotut välimerkit;
• HTML-tunnisteiden poistaminen: rm_html-funktio poistaa kaikki HTML-tunnisteet tekstistä;
• Välit välimerkkien välillä: space_bt_punct-funktio lisää välilyöntejä välimerkkien väliin ja poistaa ylimääräiset välilyönnit;
• Numeroiden poistaminen: rm_number-funktio poistaa kaikki numeeriset merkit;
• Välilyöntien käsittely: rm_whitespaces-funktio poistaa ylimääräiset välilyönnit sanojen välistä;
• Ei-ASCII-merkkien poistaminen: rm_nonascii-funktio poistaa kaikki merkit, jotka eivät ole ASCII-merkkejä;
• Emojien poistaminen: rm_emoji-funktio poistaa emojit tekstistä;
• Oikeinkirjoituksen korjaus: spell_correction-funktio korjaa toistuvat kirjaimet sanoissa, esimerkiksi "looooove" muutetaan muotoon "love".

Yhteenvetona voidaan todeta, että datan puhdistus ja esikäsittely ovat keskeisiä vaiheita sentimenttianalyysin prosessissa. Poistamalla kohinaa ja yhdenmukaistamalla tekstiä helpotetaan koneoppimismallien keskittymistä olennaisiin piirteisiin, kuten sentimenttiluokitukseen liittyviin tehtäviin.