Summary  
This chapter demonstrates how to use the pandas DataFrame.corr() method (with numeric_only=True) to compute a correlation matrix for numeric columns and interpret correlation coefficients ranging from –1 to 1.  

General domain of usage  
Exploratory data analysis

In this video, you'll learn how to use the `.corr()` method in pandas to find relationships between numerical columns in a dataset. You'll start with a sample dataset about houses, exploring columns like price, number of rooms, and distance from the city center. The video walks you through what a correlation matrix looks like, how to interpret values from -1 to 1, and what these values say about the relationships between variables. You'll also see a practical demonstration of applying the `.corr()` method with the `numeric_only=True` parameter, which ensures only numeric columns are included in the correlation calculation. By the end, you'll know how to generate and analyze a correlation matrix to uncover insights in your data.

最後に、このセクションの最後のメソッドである `.corr()` を紹介します。これは数値データ間の関係性を見つけるのに非常に役立ちます。例えば、住宅に関するデータセットがあるとします:

この場合の `data.corr()` の出力を確認します:

それでは、ステップごとに見ていきます:
縦軸と横軸に値があり、それぞれのペアが重なります。各重なり部分には -1 から 1 までの値が入ります。
- **1** は、2つの値が直接的に比例して依存していることを意味します（1つの値が増加すると、もう1つも増加します）。
- **-1** は、2つの値が反比例して依存していることを意味します（1つの値が増加すると、もう1つは減少します）。
- **0** は、2つの依存する値が比例関係にないことを意味します。

データセットに**数値以外の列**が含まれている場合（タスクで使用されている `cars.csv` データセットなど）、相関を計算する際は引数 `numeric_only=True` を設定し、数値列のみを対象とする必要があります。

注意

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÑÑ ÑÑÐ²Ð½ÑÑÑÑ DataFrame Ð· ÑÑÐ°ÑÑÐ²Ð°Ð½Ð½ÑÐ¼ Ð¿Ð¾ÑÑÐ´ÐºÑ ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº (Ð´Ð»Ñ ÐºÐ¾ÑÐµÐ»ÑÑÑÐ¹ ÑÐµ Ð²Ð°Ð¶Ð»Ð¸Ð²Ð¾)."""
    try:
        return df1.equals(df2)
    except Exception:
        return False


class TestCorrelation(unittest.TestCase):
    def test_corr_applied(self):
        """
        1. Apply the .corr() function to the dataset with numeric_only=True.
        """
        import user_code

        # Ð·Ð°Ð²Ð°Ð½ÑÐ°Ð¶ÑÑÐ¼Ð¾ Ð¾ÑÐ¸Ð³ÑÐ½Ð°Ð»ÑÐ½Ñ Ð´Ð°Ð½Ñ
        df = pd.read_csv(
            "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/cars.csv",
            index_col=0,
        )
        ref_corr = df.corr(numeric_only=True)

        # ÐºÐ¾ÑÐ¸ÑÑÑÐ²Ð°Ñ Ð¼Ð¾Ð¶Ðµ Ð¾Ð´ÑÐ°Ð·Ñ Ð½Ð°Ð´ÑÑÐºÑÐ²Ð°ÑÐ¸ Ð°Ð±Ð¾ Ð·Ð±ÐµÑÐµÐ³ÑÐ¸ Ñ Ð·Ð¼ÑÐ½Ð½Ñ
        user_corr = None
        if hasattr(user_code, "data_corr"):
            user_corr = user_code.data_corr
        else:
            # Ð¿ÑÐ¾Ð±ÑÑÐ¼Ð¾ Ð²Ð¸ÐºÐ»Ð¸ÐºÐ°ÑÐ¸ Ð½Ð°Ð¿ÑÑÐ¼Ñ
            try:
                user_corr = user_code.data.corr(numeric_only=True)
            except Exception:
                user_corr = None

        condition = isinstance(user_corr, pd.DataFrame) and frames_equal(user_corr, ref_corr)
        _dynamic_test(
            self,
            condition,
            "The .corr() method is correctly applied to the dataset with numeric_only=True.",
            "The correlation matrix is incorrect or not created using .corr(numeric_only=True)."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        2. Output the correlation matrix.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data.corr(numeric_only=True))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The correlation matrix is printed successfully.",
            "The correlation matrix is not printed. Use print(data.corr(numeric_only=True))."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

このコースは、将来のデータアナリストのために多くの有用な関数を含んでいます。さまざまなデータ抽出方法を学び、条件を設定することもできます。その後、データのグループ化手法に精通することができます。また、データの前処理方法も学びます。各セクションには独自のデータセットが用意されているため、コースは魅力的なものとなっています。

このセクションでは、タイトルやインデックスによって特定の列を出力する方法を学びます。また、インデックスによって行を選択する方法についても理解を深めます。

ここでは、特定の条件を持つデータを抽出する方法を学びます。また、それらを組み合わせたり、自分自身で条件を作成したりする方法も学びます。

このセクションでは、さまざまなデータ条件の設定に関する知識を深めます。データが定義された値のリストに含まれているか、または2つの値の間にあるかを確認する方法を学びます。また、最大値と最小値を見つける方法についても学びます。

このセクションはコースの中でも特に興味深い内容の一つです。ここでは、データをさまざまな方法でグループ化する方法を学びます。特定のデータグループに関する情報を見つけるために、データアナリストとして役立つスキルを身につけることができます。

このセクションはデータアナリストにとって最も重要なものの一つです。なぜなら、データに不適切な形式の欠損値が含まれている場合、作業が不可能になるためです。したがって、ここではそのような不適切な値への対処方法を学びます。

相関関係の発見

解答