Summary  
This chapter demonstrates how to use the pandas DataFrame.corr() method (with numeric_only=True) to compute a correlation matrix for numeric columns and interpret correlation coefficients ranging from –1 to 1.  

General domain of usage  
Exploratory data analysis

In this video, you'll learn how to use the `.corr()` method in pandas to find relationships between numerical columns in a dataset. You'll start with a sample dataset about houses, exploring columns like price, number of rooms, and distance from the city center. The video walks you through what a correlation matrix looks like, how to interpret values from -1 to 1, and what these values say about the relationships between variables. You'll also see a practical demonstration of applying the `.corr()` method with the `numeric_only=True` parameter, which ensures only numeric columns are included in the correlation calculation. By the end, you'll know how to generate and analyze a correlation matrix to uncover insights in your data.

Til sidst går vi videre til den sidste metode i dette afsnit kaldet `.corr()`. Den er meget nyttig til at finde forholdet mellem numeriske data. Forestil dig, at du har et datasæt om huse:

Lad os undersøge outputtet af `data.corr()` i vores tilfælde:

Lad os derfor gøre det trin for trin:
Du har lodrette og vandrette værdier; hvert par overlapper. I hvert overlap kan vi få en værdi fra -1 til 1.
- **1** betyder, at to værdier afhænger af hinanden på en direkte proportional måde (hvis den ene værdi stiger, stiger den anden også);
- **-1** betyder, at to værdier afhænger af hinanden på en omvendt proportional måde (hvis den ene værdi stiger, falder den anden);
- **0** betyder, at de to afhængige værdier ikke er proportionale.

Hvis datasættet indeholder **ikke-numeriske kolonner**, såsom i `cars.csv` datasættet brugt i opgaven, bør du angive argumentet `numeric_only=True` for kun at beregne korrelationen ved brug af de numeriske kolonner.

Bemærk

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÑÑ ÑÑÐ²Ð½ÑÑÑÑ DataFrame Ð· ÑÑÐ°ÑÑÐ²Ð°Ð½Ð½ÑÐ¼ Ð¿Ð¾ÑÑÐ´ÐºÑ ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº (Ð´Ð»Ñ ÐºÐ¾ÑÐµÐ»ÑÑÑÐ¹ ÑÐµ Ð²Ð°Ð¶Ð»Ð¸Ð²Ð¾)."""
    try:
        return df1.equals(df2)
    except Exception:
        return False


class TestCorrelation(unittest.TestCase):
    def test_corr_applied(self):
        """
        1. Apply the .corr() function to the dataset with numeric_only=True.
        """
        import user_code

        # Ð·Ð°Ð²Ð°Ð½ÑÐ°Ð¶ÑÑÐ¼Ð¾ Ð¾ÑÐ¸Ð³ÑÐ½Ð°Ð»ÑÐ½Ñ Ð´Ð°Ð½Ñ
        df = pd.read_csv(
            "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/cars.csv",
            index_col=0,
        )
        ref_corr = df.corr(numeric_only=True)

        # ÐºÐ¾ÑÐ¸ÑÑÑÐ²Ð°Ñ Ð¼Ð¾Ð¶Ðµ Ð¾Ð´ÑÐ°Ð·Ñ Ð½Ð°Ð´ÑÑÐºÑÐ²Ð°ÑÐ¸ Ð°Ð±Ð¾ Ð·Ð±ÐµÑÐµÐ³ÑÐ¸ Ñ Ð·Ð¼ÑÐ½Ð½Ñ
        user_corr = None
        if hasattr(user_code, "data_corr"):
            user_corr = user_code.data_corr
        else:
            # Ð¿ÑÐ¾Ð±ÑÑÐ¼Ð¾ Ð²Ð¸ÐºÐ»Ð¸ÐºÐ°ÑÐ¸ Ð½Ð°Ð¿ÑÑÐ¼Ñ
            try:
                user_corr = user_code.data.corr(numeric_only=True)
            except Exception:
                user_corr = None

        condition = isinstance(user_corr, pd.DataFrame) and frames_equal(user_corr, ref_corr)
        _dynamic_test(
            self,
            condition,
            "The .corr() method is correctly applied to the dataset with numeric_only=True.",
            "The correlation matrix is incorrect or not created using .corr(numeric_only=True)."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        2. Output the correlation matrix.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data.corr(numeric_only=True))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The correlation matrix is printed successfully.",
            "The correlation matrix is not printed. Use print(data.corr(numeric_only=True))."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Dette kursus indeholder mange nyttige funktioner for en kommende dataanalytiker. Du vil lære forskellige måder at udtrække data på og endda sætte betingelser for dem. Herefter vil du blive fortrolig med metoder til gruppering af data. Du vil også lære, hvordan man forbehandler data. Hvert afsnit har sit eget datasæt, så kurset bliver spændende.

Dette afsnit vil lære dig, hvordan du kan udtrække specifikke kolonner ved hjælp af deres titler eller indekser. Du vil også blive introduceret til måder, hvorpå du kan vælge rækker ud fra deres indekser.

Her vil du lære, hvordan man udtrækker data, der opfylder specifikke betingelser. Du vil også lære, hvordan man kombinerer dem og endda opretter dine egne.

I dette afsnit vil du udvide din viden om at opstille forskellige datakriterier. Du vil lære at kontrollere, om dine data er i en defineret liste af værdier eller mellem to værdier. Du vil også lære, hvordan du finder de største og mindste værdier.

Dette afsnit er et af de mest fascinerende i kurset. Her vil du lære, hvordan man grupperer data på forskellige måder. Det vil hjælpe dig som dataanalytiker med at finde information om specifikke datagrupper.

Dette afsnit er et af de mest betydningsfulde for en dataanalytiker, fordi det vil være umuligt at arbejde med data, hvis de indeholder manglende dataværdier i forkert format. Derfor vil du her lære, hvordan man håndterer sådanne upassende værdier.

Finde Korrelationen

Løsning