import unittest
import re
import io
import sys


# Helper from the Codefinity checklist
def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


class TestUserCode(unittest.TestCase):

    # ------------ Test import ------------
    def test_urlopen_imported(self):
        with open("user_code.py", "r") as f:
            src = f.read()

        condition = "from urllib.request import urlopen" in src

        _dynamic_test(
            self,
            condition,
            "The `urlopen` function is imported correctly.",
            "Expected `urlopen` to be imported from `urllib.request`."
        )

    # ------------ Test declared variables ------------
    def test_variables_declared(self):
        import user_code

        condition = (
            hasattr(user_code, "url") and
            hasattr(user_code, "page") and
            hasattr(user_code, "web_page")
        )

        _dynamic_test(
            self,
            condition,
            "Variables `url`, `page`, and `web_page` are declared.",
            "Expected variables `url`, `page`, and `web_page` to all be declared."
        )

    # ------------ Test read + decode ------------
    def test_read_and_decode_used(self):
        with open("user_code.py", "r") as f:
            src = f.read()

        condition = (
            ".read()" in src and
            ('.decode("utf-8")' in src or ".decode('utf-8')" in src)
        )

        _dynamic_test(
            self,
            condition,
            "The page content is read and decoded correctly.",
            "Expected use of `.read()` and `.decode('utf-8')`."
        )

    # ------------ Test web_page type ------------
    def test_web_page_is_string(self):
        import user_code
        try:
            value = user_code.web_page
            condition = isinstance(value, str)
            fail_msg = f"`web_page` should be a string but is `{type(value).__name__}`."
        except AttributeError:
            condition = False
            fail_msg = "`web_page` is not declared."

        _dynamic_test(
            self,
            condition,
            "`web_page` contains decoded HTML text.",
            fail_msg
        )

    # ------------ Test printed output ------------
    def test_printed_counts_are_correct(self):
        import user_code
        import importlib

        # Capture stdout
        captured = io.StringIO()
        sys.stdout = captured

        importlib.reload(user_code)

        sys.stdout = sys.__stdout__

        output = captured.getvalue().strip().splitlines()

        if len(output) < 2:
            _dynamic_test(
                self,
                False,
                "",
                "Expected two printed lines: number of `<div>` and number of `<img>`."
            )
            return

        # Interpret printed values
        try:
            div_printed = int(output[0])
            img_printed = int(output[1])
        except:
            _dynamic_test(
                self,
                False,
                "",
                "Printed values must be integers."
            )
            return

        # Expected values
        expected_div = user_code.web_page.count("<div")
        expected_img = user_code.web_page.count("<img")

        condition = (div_printed == expected_div and img_printed == expected_img)

        _dynamic_test(
            self,
            condition,
            "Correct counts for `<div>` and `<img>` are printed.",
            f"Expected divs={expected_div}, imgs={expected_img}, "
            f"but got divs={div_printed}, imgs={img_printed}."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Apprenez à extraire automatiquement des données précieuses à partir de sites web. Maîtrisez des techniques pour collecter efficacement des informations, permettant d’effectuer des analyses approfondies, de prendre des décisions fondées sur les données et de découvrir de nouveaux aperçus à partir de l’immense volume d’informations en ligne.

Explorer la structure d’un fichier HTML, apprendre à le charger efficacement et acquérir des compétences pratiques dans la manipulation des données qu’il contient.

Découvrez les principes fondamentaux de Beautiful Soup pour extraire des données à partir de documents HTML. Apprenez à naviguer dans la structure du HTML, à accéder à des éléments spécifiques et à manipuler leurs éléments enfants afin de consolider les bases du web scraping.

Maîtrise de la gestion des attributs d’élément et du contenu avec Beautiful Soup. Acquisition des compétences pour extraire des informations spécifiques, rechercher des éléments par valeurs d’attributs et utiliser des techniques avancées pour analyser et parser efficacement des données HTML.

Défi : Compter le Nombre d’Images

Solution

Défi : Compter le Nombre d’Images

Solution