外れ値は、特に誤りや通常のパターンを反映しない稀な事象から生じた場合、データ分析の品質に大きな影響を与える可能性があります。極端な値の影響を抑えつつ、すべてのデータポイントを保持したい場合、外れ値をその列の**中央値**で置き換える手法は堅牢です。**中央値**は外れ値の影響を受けにくいため、データ全体の分布を維持しながら安定した置換値を提供します。この方法は、行を削除してデータを失うことを避けたい場合や、**平均値**がまさに対処しようとしている外れ値によって歪められる場合に特に有効です。

import pandas as pd

# Example DataFrame with outliers in the 'score' column
data = {
    "name": ["Alice", "Bob", "Charlie", "David", "Eve"],
    "score": [85, 90, 300, 88, 92]  # 300 is an outlier
}
df = pd.DataFrame(data)

# Let's say outliers have been identified using the IQR method
# For this example, we know that 300 is an outlier
outlier_mask = df["score"] > 150

print("Original DataFrame:")
print(df)
print("\nOutlier mask:")
print(outlier_mask)



import unittest
import user_code
import ast
import re   
import unittest
import importlib
import pandas as pd

class TestTask(unittest.TestCase):
    def setUp(self):
        self.data = {
            "name": ["Alice", "Bob", "Charlie", "David", "Eve"],
            "score": [85, 90, 300, 88, 92]
        }
        self.df = pd.DataFrame(self.data)
        self.outlier_mask = self.df["score"] > 150
        self.df_original = pd.DataFrame(self.data)

    def test_replaces_outliers_with_median(self):
        import user_code
        importlib.reload(user_code)
        df = self.df.copy()
        outlier_mask = self.outlier_mask.copy()
        user_code.replace_outliers_with_median(df, "score", outlier_mask)
        median = self.df_original.loc[~self.outlier_mask, "score"].median()
        # Outlier index is 2 (Charlie)
        replaced = df.loc[2, "score"] == median
        _dynamic_test(
            self,
            replaced,
            "Outlier value is replaced with median correctly.",
            f"Expected outlier at index 2 to be replaced with median {median}, got {df.loc[2, 'score']}"
        )

    def test_non_outliers_not_modified(self):
        import user_code
        importlib.reload(user_code)
        df = self.df.copy()
        outlier_mask = self.outlier_mask.copy()
        user_code.replace_outliers_with_median(df, "score", outlier_mask)
        # Non-outlier indices: 0,1,3,4
        for idx in [0,1,3,4]:
            unchanged = df.loc[idx, "score"] == self.df_original.loc[idx, "score"]
            _dynamic_test(
                self,
                unchanged,
                f"Non-outlier at index {idx} remains unchanged.",
                f"Non-outlier at index {idx} was changed: expected {self.df_original.loc[idx, 'score']}, got {df.loc[idx, 'score']}"
            )

    def test_inplace_modification(self):
        import user_code
        importlib.reload(user_code)
        df = self.df.copy()
        outlier_mask = self.outlier_mask.copy()
        df_id_before = id(df)
        user_code.replace_outliers_with_median(df, "score", outlier_mask)
        df_id_after = id(df)
        _dynamic_test(
            self,
            df_id_before == df_id_after,
            "DataFrame is modified in place.",
            "DataFrame was not modified in place."
        )

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

def normalize_text(text):
    text = text.lower()
    text = re.sub(r"\s{2,}", " ", text)
    text = re.sub(r"\s*([,:?])\s*", r"\1 ", text)
    return text.strip()

def change_var(code: str, var_name: str, value: str) -> str:
    tree = ast.parse(code)
    lines = code.splitlines()
    for i, node in enumerate(tree.body):
        if isinstance(node, ast.Assign):
            for target in node.targets:
                if isinstance(target, ast.Name) and target.id == var_name:
                    start_line = node.lineno - 1
                    line = lines[start_line]
                    indent = ' ' * (len(line) - len(line.lstrip()))
                    lines[start_line] = f"{indent}{var_name} = {value}"
                    next_line = len(lines)
                    for next_node in tree.body[i+1:]:
                        if hasattr(next_node, 'lineno'):
                            next_line = next_node.lineno - 1
                            break
                    if next_line > start_line + 1:
                        lines[start_line+1:next_line] = []
                    
                    return '\\n'.join(lines)
    return code

if __name__ == "__main__":
    unittest.main()


test_main.py

強力なライブラリと実践的な課題を用いて、Pythonでのデータクリーニングの基本技術を習得します。本コースは、中級レベルのPythonスキルを持ち、分析や機械学習のために効率的にデータを準備・クリーニングしたい学習者向けに設計されています。

データクリーニングの基本概念、その重要性、そしてPythonにおける主要なツールと手法を学びます。

pandasとnumpyを使用した欠損データおよび重複データの管理手法についてさらに深く学びます。

データの一貫性を確保し、エラーを修正し、外れ値を検出するための手法に焦点を当てます。

チャレンジ：外れ値を中央値で置換

解答