Summary  
Demonstrates how to calculate a pairwise correlation matrix for numerical columns in a DataFrame using the .corr() method and how to interpret its values from –1 to 1.  

General domain of usage  
Real estate data analysis

Lopuksi siirrytään tämän osion viimeiseen menetelmään nimeltä `.corr()`. Se auttaa merkittävästi löytämään yhteyden numeeristen tietojen välillä. Kuvittele, että sinulla on tietoaineisto taloista:

Tarkastellaan `data.corr()`-funktion tulosta tässä tapauksessa:

Käydään tämä vaihe vaiheelta läpi:
Sinulla on pystysuorat ja vaakasuorat arvot; jokainen pari menee päällekkäin. Jokaisessa päällekkäisyydessä voidaan saada arvo väliltä -1–1.
- **1** tarkoittaa, että kaksi arvoa ovat suoraan verrannollisia toisiinsa (jos toinen arvo kasvaa, myös toinen kasvaa);
- **-1** tarkoittaa, että kaksi arvoa ovat kääntäen verrannollisia toisiinsa (jos toinen arvo kasvaa, toinen pienenee);
- **0** tarkoittaa, että kahden riippuvan arvon välillä ei ole verrannollisuutta.

Jos tietoaineistossa on **ei-numeerisia sarakkeita**, kuten tehtävässä käytetyssä `cars.csv`-tiedostossa, argumentti `numeric_only=True` tulee asettaa, jotta korrelaatio lasketaan vain numeeristen sarakkeiden perusteella.

Huomio

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÑÑ ÑÑÐ²Ð½ÑÑÑÑ DataFrame Ð· ÑÑÐ°ÑÑÐ²Ð°Ð½Ð½ÑÐ¼ Ð¿Ð¾ÑÑÐ´ÐºÑ ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº (Ð´Ð»Ñ ÐºÐ¾ÑÐµÐ»ÑÑÑÐ¹ ÑÐµ Ð²Ð°Ð¶Ð»Ð¸Ð²Ð¾)."""
    try:
        return df1.equals(df2)
    except Exception:
        return False


class TestCorrelation(unittest.TestCase):
    def test_corr_applied(self):
        """
        1. Apply the .corr() function to the dataset with numeric_only=True.
        """
        import user_code

        # Ð·Ð°Ð²Ð°Ð½ÑÐ°Ð¶ÑÑÐ¼Ð¾ Ð¾ÑÐ¸Ð³ÑÐ½Ð°Ð»ÑÐ½Ñ Ð´Ð°Ð½Ñ
        df = pd.read_csv(
            "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/cars.csv",
            index_col=0,
        )
        ref_corr = df.corr(numeric_only=True)

        # ÐºÐ¾ÑÐ¸ÑÑÑÐ²Ð°Ñ Ð¼Ð¾Ð¶Ðµ Ð¾Ð´ÑÐ°Ð·Ñ Ð½Ð°Ð´ÑÑÐºÑÐ²Ð°ÑÐ¸ Ð°Ð±Ð¾ Ð·Ð±ÐµÑÐµÐ³ÑÐ¸ Ñ Ð·Ð¼ÑÐ½Ð½Ñ
        user_corr = None
        if hasattr(user_code, "data_corr"):
            user_corr = user_code.data_corr
        else:
            # Ð¿ÑÐ¾Ð±ÑÑÐ¼Ð¾ Ð²Ð¸ÐºÐ»Ð¸ÐºÐ°ÑÐ¸ Ð½Ð°Ð¿ÑÑÐ¼Ñ
            try:
                user_corr = user_code.data.corr(numeric_only=True)
            except Exception:
                user_corr = None

        condition = isinstance(user_corr, pd.DataFrame) and frames_equal(user_corr, ref_corr)
        _dynamic_test(
            self,
            condition,
            "The .corr() method is correctly applied to the dataset with numeric_only=True.",
            "The correlation matrix is incorrect or not created using .corr(numeric_only=True)."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        2. Output the correlation matrix.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data.corr(numeric_only=True))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The correlation matrix is printed successfully.",
            "The correlation matrix is not printed. Use print(data.corr(numeric_only=True))."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Tämä kurssi sisältää runsaasti hyödyllisiä funktioita tulevalle data-analyytikolle. Opit erilaisia tapoja tietojen poimimiseen ja jopa ehtojen asettamiseen niille. Tämän jälkeen tulet tutuksi tietojen ryhmittelymenetelmien kanssa. Lisäksi opit, kuinka esikäsitellä tietoja. Jokaisella osiolla on oma tietoaineistonsa, joten kurssi on mukaansatempaava.

Tässä osiossa opit tuottamaan tiettyjä sarakkeita niiden nimien tai indeksien perusteella. Lisäksi tutustut tapoihin valita rivejä indeksien avulla.

Tässä opit, kuinka tietoja voidaan poimia tiettyjen ehtojen perusteella. Lisäksi opit yhdistämään ehtoja ja luomaan omia ehtoja.

Tässä osiossa syvennät osaamistasi erilaisten datan ehtojen asettamisessa. Opit tarkistamaan, onko datasi määritellyssä arvolistassa tai kahden arvon välillä. Opit myös löytämään suurimmat ja pienimmät arvot.

Tämä osio on yksi kurssin kiehtovimmista. Tässä opit ryhmittelemään dataa eri tavoin. Tämä auttaa sinua työskentelemään data-analyytikkona ja löytämään tietoa tietyistä dataryhmistä.

Tämä osio on yksi tärkeimmistä data-analyytikolle, koska jos data sisältää puuttuvia arvoja tai on väärässä muodossa, sen käsittely on mahdotonta. Tässä opit käsittelemään tällaisia sopimattomia arvoja.

Korrelaation Löytäminen

Ratkaisu