外れ値の検出はデータクレンジングにおいて重要な工程であり、これらの極端な値は分析結果を歪め、誤った結論につながる可能性があります。数値列の外れ値を特定するための一般的かつ堅牢な手法の一つが、**四分位範囲（IQR）法**です。この方法は、平均値や標準偏差に基づく方法とは異なり、極端な値の影響を受けにくいという利点があります。

IQR法では、まずデータの**第1四分位数（Q1）**と**第3四分位数（Q3）**を計算します。Q1はデータの下位25%が含まれる値、Q3は下位75%が含まれる値です。**IQRはQ3からQ1を引いた値**であり、データの中央50%の範囲を表します。

IQRを求めた後、データセット内の典型的な値の下限と上限を定義できます。Q1からIQRの1.5倍を引いた値より小さい、またはQ3にIQRの1.5倍を加えた値より大きいデータポイントは、**外れ値**と見なされます。このルールは、感度と堅牢性のバランスが取れているため、広く利用されています。


import pandas as pd

# Create a DataFrame with a numerical column containing some outliers
data = {
    "score": [10, 12, 13, 14, 15, 16, 17, 18, 100, 110]
}
df = pd.DataFrame(data)

print("Original DataFrame:")
print(df)


import unittest
import user_code
import ast
import re   
import unittest
import pandas as pd
import importlib

class TestTask(unittest.TestCase):
    def test_returns_boolean_series(self):
        import user_code
        importlib.reload(user_code)
        s = pd.Series([1, 2, 3, 4, 100])
        result = user_code.detect_outliers_iqr(s)
        _dynamic_test(
            self,
            isinstance(result, pd.Series) and result.dtype == bool and len(result) == len(s),
            "Returned value is a boolean Series of correct length.",
            f"Expected boolean Series of length {len(s)}, got {type(result)} with dtype {getattr(result, 'dtype', None)} and length {len(result) if hasattr(result, 'shape') else 'N/A'}.",
        )

    def test_lower_bound_outlier(self):
        import user_code
        importlib.reload(user_code)
        s = pd.Series([-100, 10, 12, 13, 14, 15, 16, 17, 18])
        result = user_code.detect_outliers_iqr(s)
        _dynamic_test(
            self,
            result.iloc[0] == True,
            "Correctly detects value below lower bound as outlier.",
            f"Expected True for index 0, got {result.iloc[0]}",
        )
        for i in range(1, len(s)):
            _dynamic_test(
                self,
                result.iloc[i] == False,
                "Non-outlier values are not marked as outliers.",
                f"Expected False for index {i}, got {result.iloc[i]}",
            )

    def test_upper_bound_outlier(self):
        import user_code
        importlib.reload(user_code)
        s = pd.Series([10, 12, 13, 14, 15, 16, 17, 18, 100])
        result = user_code.detect_outliers_iqr(s)
        _dynamic_test(
            self,
            result.iloc[-1] == True,
            "Correctly detects value above upper bound as outlier.",
            f"Expected True for last index, got {result.iloc[-1]}",
        )
        for i in range(len(s)-1):
            _dynamic_test(
                self,
                result.iloc[i] == False,
                "Non-outlier values are not marked as outliers.",
                f"Expected False for index {i}, got {result.iloc[i]}",
            )

    def test_multiple_outliers(self):
        import user_code
        importlib.reload(user_code)
        s = pd.Series([10, 12, 13, 14, 15, 16, 17, 18, 100, 110])
        result = user_code.detect_outliers_iqr(s)
        expected = [False, False, False, False, False, False, False, False, True, True]
        for i, exp in enumerate(expected):
            _dynamic_test(
                self,
                result.iloc[i] == exp,
                f"Index {i} correctly marked as {'outlier' if exp else 'not outlier'}.",
                f"Expected {exp} for index {i}, got {result.iloc[i]}",
            )

    def test_no_outliers(self):
        import user_code
        importlib.reload(user_code)
        s = pd.Series([10, 12, 13, 14, 15, 16, 17, 18])
        result = user_code.detect_outliers_iqr(s)
        _dynamic_test(
            self,
            all(result == False),
            "No values are marked as outliers when none exist.",
            f"Expected all False, got {result.tolist()}",
        )

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

def normalize_text(text):
    text = text.lower()
    text = re.sub(r"\s{2,}", " ", text)
    text = re.sub(r"\s*([,:?])\s*", r"\1 ", text)
    return text.strip()

def change_var(code: str, var_name: str, value: str) -> str:
    tree = ast.parse(code)
    lines = code.splitlines()
    for i, node in enumerate(tree.body):
        if isinstance(node, ast.Assign):
            for target in node.targets:
                if isinstance(target, ast.Name) and target.id == var_name:
                    start_line = node.lineno - 1
                    line = lines[start_line]
                    indent = ' ' * (len(line) - len(line.lstrip()))
                    lines[start_line] = f"{indent}{var_name} = {value}"
                    next_line = len(lines)
                    for next_node in tree.body[i+1:]:
                        if hasattr(next_node, 'lineno'):
                            next_line = next_node.lineno - 1
                            break
                    if next_line > start_line + 1:
                        lines[start_line+1:next_line] = []
                    
                    return '\\n'.join(lines)
    return code

if __name__ == "__main__":
    unittest.main()


test_main.py

強力なライブラリと実践的な課題を用いて、Pythonでのデータクリーニングの基本技術を習得します。本コースは、中級レベルのPythonスキルを持ち、分析や機械学習のために効率的にデータを準備・クリーニングしたい学習者向けに設計されています。

データクリーニングの基本概念、その重要性、そしてPythonにおける主要なツールと手法を学びます。

pandasとnumpyを使用した欠損データおよび重複データの管理手法についてさらに深く学びます。

データの一貫性を確保し、エラーを修正し、外れ値を検出するための手法に焦点を当てます。

チャレンジ：IQRによる外れ値の検出

解答