データセット内の各列が正しいデータ型であることを保証することは、正確な分析や計算のために不可欠です。数値を表すべき列が文字列として保存されている場合、計算や統計処理が失敗したり、誤った結果を生じることがあります。これは特に、CSVファイルやスプレッドシート、外部ソースからデータをインポートする際によく見られ、数値や日付などの値がテキストとして解釈されることがあります。これらの列を適切なデータ型に変換することで、数値演算、集計、可視化を予期せぬエラーや誤解を招く結果なく実行できます。

import pandas as pd

# Sample data where the 'price' and 'quantity' columns are stored as strings
data = {
    'item': ['apple', 'banana', 'orange'],
    'price': ['1.20', '0.80', '1.00'],
    'quantity': ['10', '25', '15']
}

df = pd.DataFrame(data)

print(df)
print(df.dtypes)


import unittest
import user_code
import ast
import re   
import unittest
import pandas as pd
import importlib

class TestTask(unittest.TestCase):
    def setUp(self):
        self.data = {
            'product': ['A', 'B', 'C'],
            'cost': ['12.5', '9.8', '7.0'],
            'stock': ['100', '200', '150']
        }
        self.df = pd.DataFrame(self.data)

    def test_returns_series_with_float_dtype(self):
        import user_code
        importlib.reload(user_code)
        result = user_code.convert_column_to_float(self.df.copy(), 'cost')
        _dynamic_test(
            self,
            isinstance(result, pd.Series) and result.dtype == float,
            "Returned Series has float dtype.",
            f"Returned value is not a Series with float dtype: {type(result)}, {getattr(result, 'dtype', None)}"
        )

    def test_all_values_are_floats(self):
        import user_code
        importlib.reload(user_code)
        result = user_code.convert_column_to_float(self.df.copy(), 'cost')
        all_floats = all(isinstance(x, float) for x in result.tolist())
        _dynamic_test(
            self,
            all_floats,
            "All values in the returned Series are floats.",
            f"Not all values are floats: {result.tolist()}"
        )

    def test_other_columns_unchanged(self):
        import user_code
        importlib.reload(user_code)
        df_original = self.df.copy()
        _ = user_code.convert_column_to_float(df_original, 'cost')
        unchanged = (
            df_original['stock'].tolist() == self.data['stock'] and
            df_original['product'].tolist() == self.data['product']
        )
        _dynamic_test(
            self,
            unchanged,
            "Other columns remain unchanged.",
            f"Other columns were modified: {df_original}"
        )

    def test_numeric_strings(self):
        import user_code
        importlib.reload(user_code)
        df = pd.DataFrame({
            'x': ['1.0', '2.5', '3.7'],
            'y': ['a', 'b', 'c']
        })
        result = user_code.convert_column_to_float(df, 'x')
        expected = [1.0, 2.5, 3.7]
        _dynamic_test(
            self,
            result.tolist() == expected,
            "Function correctly converts numeric strings.",
            f"Expected {expected}, got {result.tolist()}"
        )

def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)

def normalize_text(text):
    text = text.lower()
    text = re.sub(r"\s{2,}", " ", text)
    text = re.sub(r"\s*([,:?])\s*", r"\1 ", text)
    return text.strip()

def change_var(code: str, var_name: str, value: str) -> str:
    tree = ast.parse(code)
    lines = code.splitlines()
    for i, node in enumerate(tree.body):
        if isinstance(node, ast.Assign):
            for target in node.targets:
                if isinstance(target, ast.Name) and target.id == var_name:
                    start_line = node.lineno - 1
                    line = lines[start_line]
                    indent = ' ' * (len(line) - len(line.lstrip()))
                    lines[start_line] = f"{indent}{var_name} = {value}"
                    next_line = len(lines)
                    for next_node in tree.body[i+1:]:
                        if hasattr(next_node, 'lineno'):
                            next_line = next_node.lineno - 1
                            break
                    if next_line > start_line + 1:
                        lines[start_line+1:next_line] = []
                    
                    return '\\n'.join(lines)
    return code

if __name__ == "__main__":
    unittest.main()


test_main.py

強力なライブラリと実践的な課題を用いて、Pythonでのデータクリーニングの基本技術を習得します。本コースは、中級レベルのPythonスキルを持ち、分析や機械学習のために効率的にデータを準備・クリーニングしたい学習者向けに設計されています。

データクリーニングの基本概念、その重要性、そしてPythonにおける主要なツールと手法を学びます。

pandasとnumpyを使用した欠損データおよび重複データの管理手法についてさらに深く学びます。

データの一貫性を確保し、エラーを修正し、外れ値を検出するための手法に焦点を当てます。

チャレンジ：データ型の変換

解答