Уявіть, що ви працюєте з величезним набором даних, який містить мільйони записів, і вам потрібно швидко отримати лише ті рядки, де значення певного стовпця перевищує заданий поріг. Використовуючи бібліотеку **polars**, можна ефективно виконувати таку фільтрацію навіть на великих обсягах даних. Це поширена вимога у **робочих процесах аналізу даних**, особливо коли потрібно зосередити аналіз лише на підмножині даних, що відповідає певним критеріям.

import unittest
import user_code
import ast
import re   
import importlib
import polars as pl

class TestTask(unittest.TestCase):
    def test_filter_basic(self):
        importlib.reload(user_code)
        df = pl.DataFrame({
            "customer_id": [1, 2, 3, 4],
            "amount": [10, 20, 30, 40]
        })
        result = user_code.filter_above_threshold(df, "amount", 20)
        expected = pl.DataFrame({"customer_id": [3, 4], "amount": [30, 40]})
        
        # FIX: Changed .frame_equal to .equals
        _dynamic_test(
            self,
            isinstance(result, pl.DataFrame) and result.equals(expected),
            "Returns rows where column value is greater than threshold.",
            f"Expected filtered DataFrame {expected}, got {result}.",
        )

    def test_does_not_modify_original(self):
        importlib.reload(user_code)
        df = pl.DataFrame({
            "a": [1, 2, 3, 4],
            "b": [10, 20, 30, 40]
        })
        df_copy = df.clone()
        _ = user_code.filter_above_threshold(df, "b", 25)
        
        # FIX: Changed .frame_equal to .equals
        _dynamic_test(
            self,
            df.equals(df_copy),
            "Original DataFrame is not modified.",
            "Original DataFrame was modified in-place.",
        )

    def test_empty_result(self):
        importlib.reload(user_code)
        df = pl.DataFrame({
            "x": [1, 2, 3],
            "y": [4, 5, 6]
        })
        result = user_code.filter_above_threshold(df, "x", 10)
        _dynamic_test(
            self,
            isinstance(result, pl.DataFrame) and result.height == 0,
            "Returns empty DataFrame if no rows match.",
            f"Expected empty DataFrame, got {result}.",
        )

    def test_any_numeric_column(self):
        importlib.reload(user_code)
        df = pl.DataFrame({
            "foo": [0.1, 0.2, 0.3, 0.4],
            "bar": [5, 10, 15, 20]
        })
        result = user_code.filter_above_threshold(df, "foo", 0.25)
        expected = pl.DataFrame({"foo": [0.3, 0.4], "bar": [15, 20]})
        
        # FIX: Changed .frame_equal to .equals
        _dynamic_test(
            self,
            isinstance(result, pl.DataFrame) and result.equals(expected),
            "Works with any valid numeric column.",
            f"Expected {expected}, got {result}.",
        )

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

if __name__ == "__main__":
    unittest.main()

test_main.py

Практичний курс для майбутніх дата-сайентістів, які готові вирішувати реальні завдання з обробки великих обсягів даних. Навчіться ефективно обробляти, вибірково аналізувати та аналізувати масивні набори даних за допомогою Python та основних бібліотек. Кожен розділ містить захоплюючі відео-пояснення та інтерактивні завдання для розвитку ваших навичок.

Вивчення основних стратегій обробки наборів даних, які занадто великі для розміщення в оперативній пам'яті, включаючи методи розбиття на частини та потокової обробки.

Дослідження методів балансування та вибірки великих наборів даних, включаючи оверсемплінг та андерсемплінг.

Вивчення використання бібліотеки polars для швидкої та ефективної обробки даних з мінімальним використанням пам'яті.

Challenge: Filtering with Polars

Рішення