平均値補完は、数値データの欠損値を処理するためのシンプルな手法。各列の欠損値を、その列の非欠損値の平均値で置き換える方法。データがランダムに欠損しており、値の分布が大きく偏っていない場合に最も適している。ただし、平均値補完はデータの分散や関係性を歪める可能性があり、特に多くの値が欠損している場合や、データが正規分布していない場合に注意が必要。これらの制限を考慮した上で、データクリーニングのワークフローに平均値補完を選択することが重要。

import pandas as pd
import numpy as np

data = {
    "id": [1, 2, 3, 4, 5],
    "score": [85, np.nan, 78, np.nan, 92]
}
df = pd.DataFrame(data)
print(df)


import unittest
import user_code
import ast
import re   
import unittest
import importlib
import pandas as pd
import numpy as np

class TestTask(unittest.TestCase):
    def setUp(self):
        self.data = {
            "id": [1, 2, 3, 4, 5],
            "score": [85, np.nan, 78, np.nan, 92]
        }
        self.df = pd.DataFrame(self.data)
        self.expected_mean = np.mean([85, 78, 92])

    def test_missing_values_replaced_with_mean(self):
        import user_code
        importlib.reload(user_code)
        df_imputed = user_code.impute_with_mean(self.df.copy(), "score")
        missing_indices = self.df["score"].isna()
        replaced_values = df_imputed.loc[missing_indices, "score"].values
        all_replaced = np.allclose(replaced_values, self.expected_mean)
        _dynamic_test(
            self,
            all_replaced,
            "All missing values are replaced with the mean",
            f"Expected all missing values to be {self.expected_mean}, got {replaced_values}"
        )

    def test_non_missing_values_unchanged(self):
        import user_code
        importlib.reload(user_code)
        df_imputed = user_code.impute_with_mean(self.df.copy(), "score")
        non_missing_indices = ~self.df["score"].isna()
        original = self.df.loc[non_missing_indices, "score"].values
        after = df_imputed.loc[non_missing_indices, "score"].values
        unchanged = np.allclose(original, after)
        _dynamic_test(
            self,
            unchanged,
            "Non-missing values remain unchanged",
            f"Non-missing values changed: original {original}, after {after}"
        )

    def test_other_columns_unchanged(self):
        import user_code
        importlib.reload(user_code)
        df_imputed = user_code.impute_with_mean(self.df.copy(), "score")
        unchanged = (df_imputed["id"] == self.df["id"]).all()
        _dynamic_test(
            self,
            unchanged,
            "Other columns remain unchanged",
            f"Column 'id' changed: expected {self.df['id'].tolist()}, got {df_imputed['id'].tolist()}"
        )

    def test_shape_unchanged(self):
        import user_code
        importlib.reload(user_code)
        df_imputed = user_code.impute_with_mean(self.df.copy(), "score")
        _dynamic_test(
            self,
            df_imputed.shape == self.df.shape,
            "DataFrame shape remains unchanged",
            f"Expected shape {self.df.shape}, got {df_imputed.shape}"
        )

    def test_no_missing_after_imputation(self):
        import user_code
        importlib.reload(user_code)
        df_imputed = user_code.impute_with_mean(self.df.copy(), "score")
        no_missing = df_imputed["score"].isna().sum() == 0
        _dynamic_test(
            self,
            no_missing,
            "No missing values remain in the column after imputation",
            "There are still missing values after imputation."
        )

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

def normalize_text(text):
    text = text.lower()
    text = re.sub(r"\s{2,}", " ", text)
    text = re.sub(r"\s*([,:?])\s*", r"\1 ", text)
    return text.strip()

def change_var(code: str, var_name: str, value: str) -> str:
    tree = ast.parse(code)
    lines = code.splitlines()
    for i, node in enumerate(tree.body):
        if isinstance(node, ast.Assign):
            for target in node.targets:
                if isinstance(target, ast.Name) and target.id == var_name:
                    start_line = node.lineno - 1
                    line = lines[start_line]
                    indent = ' ' * (len(line) - len(line.lstrip()))
                    lines[start_line] = f"{indent}{var_name} = {value}"
                    next_line = len(lines)
                    for next_node in tree.body[i+1:]:
                        if hasattr(next_node, 'lineno'):
                            next_line = next_node.lineno - 1
                            break
                    if next_line > start_line + 1:
                        lines[start_line+1:next_line] = []
                    
                    return '\\n'.join(lines)
    return code

if __name__ == "__main__":
    unittest.main()


test_main.py

強力なライブラリと実践的な課題を用いて、Pythonでのデータクリーニングの基本技術を習得します。本コースは、中級レベルのPythonスキルを持ち、分析や機械学習のために効率的にデータを準備・クリーニングしたい学習者向けに設計されています。

データクリーニングの基本概念、その重要性、そしてPythonにおける主要なツールと手法を学びます。

pandasとnumpyを使用した欠損データおよび重複データの管理手法についてさらに深く学びます。

データの一貫性を確保し、エラーを修正し、外れ値を検出するための手法に焦点を当てます。

チャレンジ：平均値で欠損値を補完する

解答