Immagina di lavorare con un enorme dataset contenente milioni di record e di dover estrarre rapidamente solo le righe in cui il valore di una specifica colonna supera una determinata soglia. Utilizzando la libreria **polars**, è possibile eseguire questo tipo di filtraggio in modo efficiente e su larga scala. Questa è un'esigenza comune nei **flussi di lavoro di data science**, soprattutto quando è necessario concentrare l'analisi solo su un sottoinsieme di dati che soddisfa determinati criteri.

import unittest
import user_code
import ast
import re   
import importlib
import polars as pl

class TestTask(unittest.TestCase):
    def test_filter_basic(self):
        importlib.reload(user_code)
        df = pl.DataFrame({
            "customer_id": [1, 2, 3, 4],
            "amount": [10, 20, 30, 40]
        })
        result = user_code.filter_above_threshold(df, "amount", 20)
        expected = pl.DataFrame({"customer_id": [3, 4], "amount": [30, 40]})
        
        # FIX: Changed .frame_equal to .equals
        _dynamic_test(
            self,
            isinstance(result, pl.DataFrame) and result.equals(expected),
            "Returns rows where column value is greater than threshold.",
            f"Expected filtered DataFrame {expected}, got {result}.",
        )

    def test_does_not_modify_original(self):
        importlib.reload(user_code)
        df = pl.DataFrame({
            "a": [1, 2, 3, 4],
            "b": [10, 20, 30, 40]
        })
        df_copy = df.clone()
        _ = user_code.filter_above_threshold(df, "b", 25)
        
        # FIX: Changed .frame_equal to .equals
        _dynamic_test(
            self,
            df.equals(df_copy),
            "Original DataFrame is not modified.",
            "Original DataFrame was modified in-place.",
        )

    def test_empty_result(self):
        importlib.reload(user_code)
        df = pl.DataFrame({
            "x": [1, 2, 3],
            "y": [4, 5, 6]
        })
        result = user_code.filter_above_threshold(df, "x", 10)
        _dynamic_test(
            self,
            isinstance(result, pl.DataFrame) and result.height == 0,
            "Returns empty DataFrame if no rows match.",
            f"Expected empty DataFrame, got {result}.",
        )

    def test_any_numeric_column(self):
        importlib.reload(user_code)
        df = pl.DataFrame({
            "foo": [0.1, 0.2, 0.3, 0.4],
            "bar": [5, 10, 15, 20]
        })
        result = user_code.filter_above_threshold(df, "foo", 0.25)
        expected = pl.DataFrame({"foo": [0.3, 0.4], "bar": [15, 20]})
        
        # FIX: Changed .frame_equal to .equals
        _dynamic_test(
            self,
            isinstance(result, pl.DataFrame) and result.equals(expected),
            "Works with any valid numeric column.",
            f"Expected {expected}, got {result}.",
        )

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

if __name__ == "__main__":
    unittest.main()

test_main.py

Un corso pratico e operativo per aspiranti data scientist pronti ad affrontare le sfide dei grandi dati nel mondo reale. Impara a elaborare, campionare e analizzare in modo efficiente set di dati massivi utilizzando Python e le librerie essenziali. Ogni sezione presenta spiegazioni video coinvolgenti e sfide interattive per sviluppare la tua competenza.

Apprendere strategie fondamentali per la gestione di dataset troppo grandi per essere caricati in memoria, incluse tecniche di suddivisione in blocchi e streaming.

Esplora metodi per bilanciare e campionare grandi set di dati, inclusi oversampling e undersampling.

Impara a utilizzare la libreria polars per un'elaborazione dei dati veloce ed efficiente in termini di memoria.

Sfida: Filtraggio con Polars

Soluzione