import unittest
import importlib
import re
import types
from nltk.tokenize import RegexpTokenizer


# Helper function to require a successful test
def _require_success(test_case, condition, failure_message):
    if not condition:
        test_case._testMethodName = failure_message  # Rename the test with a failure description
        test_case.fail()  # Fail the test with a failure message


# Helper function to check if test is successful
def _check_success(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message  # Rename the test for better readability in test reports
    else:
        test_case._testMethodName = failure_message  # Rename the test with a failure description
        test_case.fail()  # Fail the test with a failure message

class TestUserCode(unittest.TestCase):
    # Test that everything is imported correctly
    def test_imports(self):
        import user_code
        _require_success(
            self,
            hasattr(user_code, "RegexpTokenizer"),
            "`RegexpTokenizer` is not declared"
        )
        _require_success(
            self,
            user_code.RegexpTokenizer == RegexpTokenizer,
            "`RegexpTokenizer` is declared, but it's not `nltk.tokenize.RegexpTokenizer`"
        )
        self._testMethodName = "imports are correct"

    # Test that message is declared and has the correct value
    def test_message(self):
        import user_code
        _require_success(
            self,
            hasattr(user_code, "message"),
            "`message` is not declared"
        )
        expected = "Amazing event at #NLPConference_20! Over 1000 attendees from 20+ countries. #Networking #Tech"
        _check_success(
            self,
            user_code.message == expected,
            "`message` contains correct value",
            "`message` shouldn't be modified"
        )

    # Test that message_lower is declared and is lowercase
    def test_message_lower(self):
        import user_code
        _require_success(
            self,
            hasattr(user_code, "message"),
            "`message` is not declared"
        )
        _require_success(
            self,
            isinstance(user_code.message, str),
            "`message` is not a string"
        )
        _require_success(
            self,
            hasattr(user_code, "message_lower"),
            "`message_lower` is not declared"
        )
        _check_success(
            self,
            user_code.message_lower == user_code.message.lower(),
            "`message_lower` is computed correctly",
            "`message_lower` is not the lowercase of `message`"
        )

    # Test that word_tokenizer is declared correctly with the right pattern
    def test_word_tokenizer(self):
        import user_code
        _require_success(
            self,
            hasattr(user_code, "word_tokenizer"),
            "`word_tokenizer` is not declared"
        )
        _require_success(
            self,
            isinstance(user_code.word_tokenizer, RegexpTokenizer),
            "`word_tokenizer` is not an instance of `RegexpTokenizer`"
        )
        _check_success(
            self,
            user_code.word_tokenizer._pattern == r"\w+",
            "`word_tokenizer` is defined correctly",
            "`word_tokenizer`'s pattern is incorrect'"
        )

    # Test that words is declared and correctly tokenizes the lowercase message
    def test_words(self):
        import user_code
        _require_success(
            self,
            hasattr(user_code, "message_lower"),
            "`message_lower` is not declared"
        )
        _require_success(
            self,
            isinstance(user_code.message_lower, str),
            "`message_lower` is not a string"
        )
        _require_success(
            self,
            hasattr(user_code, "word_tokenizer"),
            "`word_tokenizer` is not declared"
        )
        _require_success(
            self,
            isinstance(user_code.word_tokenizer, RegexpTokenizer),
            "`word_tokenizer` is not an instance of `RegexpTokenizer`"
        )
        _require_success(
            self,
            hasattr(user_code, "words"),
            "`words` is not declared"
        )
        _check_success(
            self,
            user_code.words == user_code.word_tokenizer.tokenize(user_code.message_lower),
            "`words` is computed correctly",
            "`message_lower` is not correctly tokenized into words"
        )

    # Test that the print statement is present and unmodified
    def test_print(self):
        with open("user_code.py", "r") as f:
            user_code_text = f.read()
            _check_success(
                self,
                re.search(r"print *\( *words *\)", user_code_text),
                "print statement is correct",
                "print statement shouldn't be modified"
            )


if __name__ == '__main__':
    unittest.main()

test_main.py

Erkunden Sie die Grundlagen der Verarbeitung natürlicher Sprache (NLP), indem Sie wesentliche Techniken zur Textvorverarbeitung und Methoden zur Repräsentation von Textdaten erlernen. Sammeln Sie praktische Erfahrungen mit Werkzeugen zur Bereinigung, Analyse und Interpretation von Textinformationen. Entwickeln Sie die Fähigkeiten, rohe Sprache in strukturierte Erkenntnisse umzuwandeln und schaffen Sie so eine solide Grundlage für fortgeschrittene Anwendungen in künstlicher Intelligenz und maschinellem Lernen.

Tauchen Sie in die Grundlagen der Textvorverarbeitung ein, um Rohtext für die Analyse vorzubereiten. Erfahren Sie, wie Text tokenisiert, Stoppwörter entfernt und die Tokenisierung mit regulären Ausdrücken angepasst wird.

Erfahren Sie, wie Wörter mithilfe von Stemming und Lemmatisierung auf ihre Grundformen reduziert werden können. Beherrschen Sie die Part-of-Speech-Tagging-Technik, um Texte mit grammatischem Kontext anzureichern, und wenden Sie POS-basierte Lemmatisierung an.

Erfahren Sie, wie Text mithilfe von Vektorraum-Modellen in Zahlen dargestellt werden kann. Sammeln Sie praktische Erfahrungen durch die Implementierung und Anpassung zweier gängiger Vektorraum-Modelle: Bag-of-Words und TF-IDF.

Fundiertes Verständnis von Wort-Einbettungen und deren Erfassung semantischer Bedeutungen. Untersuchung der CBoW- und Skip-gram-Architekturen, die in Word2Vec verwendet werden, sowie deren eigenständige Implementierung.

Herausforderung: Tokenisierung mit Regex

Lösung