Summary  
Demonstrates how to calculate a pairwise correlation matrix for numerical columns in a DataFrame using the .corr() method and how to interpret its values from –1 to 1.  

General domain of usage  
Real estate data analysis

Tot slot gaan we naar de laatste methode van deze sectie, genaamd `.corr()`. Deze methode is zeer nuttig om de relatie tussen numerieke gegevens te vinden. Stel je voor dat je een dataset over huizen hebt:

Laten we de uitvoer van `data.corr()` in ons geval bekijken:

Laten we dit stap voor stap bekijken:
Je hebt verticale en horizontale waarden; elk paar overlapt. In elke overlap kunnen we een waarde ontvangen van -1 tot 1.
- **1** betekent dat twee waarden direct evenredig van elkaar afhankelijk zijn (als de ene waarde toeneemt, neemt de andere ook toe);
- **-1** betekent dat twee waarden omgekeerd evenredig van elkaar afhankelijk zijn (als de ene waarde toeneemt, neemt de andere af);
- **0** betekent dat de twee afhankelijke waarden niet evenredig zijn.

Als de dataset **niet-numerieke kolommen** bevat, zoals in de dataset `cars.csv` die in de opdracht wordt gebruikt, moet het argument `numeric_only=True` worden ingesteld om de correlatie uitsluitend met de numerieke kolommen te berekenen.

Opmerking

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÑÑ ÑÑÐ²Ð½ÑÑÑÑ DataFrame Ð· ÑÑÐ°ÑÑÐ²Ð°Ð½Ð½ÑÐ¼ Ð¿Ð¾ÑÑÐ´ÐºÑ ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº (Ð´Ð»Ñ ÐºÐ¾ÑÐµÐ»ÑÑÑÐ¹ ÑÐµ Ð²Ð°Ð¶Ð»Ð¸Ð²Ð¾)."""
    try:
        return df1.equals(df2)
    except Exception:
        return False


class TestCorrelation(unittest.TestCase):
    def test_corr_applied(self):
        """
        1. Apply the .corr() function to the dataset with numeric_only=True.
        """
        import user_code

        # Ð·Ð°Ð²Ð°Ð½ÑÐ°Ð¶ÑÑÐ¼Ð¾ Ð¾ÑÐ¸Ð³ÑÐ½Ð°Ð»ÑÐ½Ñ Ð´Ð°Ð½Ñ
        df = pd.read_csv(
            "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/cars.csv",
            index_col=0,
        )
        ref_corr = df.corr(numeric_only=True)

        # ÐºÐ¾ÑÐ¸ÑÑÑÐ²Ð°Ñ Ð¼Ð¾Ð¶Ðµ Ð¾Ð´ÑÐ°Ð·Ñ Ð½Ð°Ð´ÑÑÐºÑÐ²Ð°ÑÐ¸ Ð°Ð±Ð¾ Ð·Ð±ÐµÑÐµÐ³ÑÐ¸ Ñ Ð·Ð¼ÑÐ½Ð½Ñ
        user_corr = None
        if hasattr(user_code, "data_corr"):
            user_corr = user_code.data_corr
        else:
            # Ð¿ÑÐ¾Ð±ÑÑÐ¼Ð¾ Ð²Ð¸ÐºÐ»Ð¸ÐºÐ°ÑÐ¸ Ð½Ð°Ð¿ÑÑÐ¼Ñ
            try:
                user_corr = user_code.data.corr(numeric_only=True)
            except Exception:
                user_corr = None

        condition = isinstance(user_corr, pd.DataFrame) and frames_equal(user_corr, ref_corr)
        _dynamic_test(
            self,
            condition,
            "The .corr() method is correctly applied to the dataset with numeric_only=True.",
            "The correlation matrix is incorrect or not created using .corr(numeric_only=True)."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        2. Output the correlation matrix.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data.corr(numeric_only=True))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The correlation matrix is printed successfully.",
            "The correlation matrix is not printed. Use print(data.corr(numeric_only=True))."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Deze cursus bevat veel nuttige functies voor een toekomstige data-analist. Je leert verschillende manieren om data te extraheren en zelfs voorwaarden hierop toe te passen. Daarna raak je vertrouwd met methoden voor het groeperen van data. Ook leer je hoe je data kunt preprocessen. Elke sectie heeft zijn eigen dataset, waardoor de cursus boeiend blijft.

In deze sectie leert u hoe u specifieke kolommen kunt weergeven op basis van hun titels of indexen. Ook maakt u kennis met de methoden om rijen te selecteren op basis van indexen.

Hier leert u hoe u gegevens extraheert die aan specifieke voorwaarden voldoen. Daarnaast leert u hoe u deze voorwaarden kunt combineren en zelfs uw eigen voorwaarden kunt creëren.

In deze sectie breidt u uw kennis uit over het instellen van verschillende gegevenscondities. U leert controleren of uw gegevens zich in een gedefinieerde lijst met waarden bevinden of tussen twee waarden liggen. U leert ook hoe u de grootste en kleinste waarden kunt vinden.

Deze sectie behoort tot de meest boeiende van de cursus. Hier leert u hoe u gegevens op verschillende manieren kunt groeperen. Dit helpt u als data-analist om informatie over specifieke gegevensgroepen te achterhalen.

Deze sectie is een van de belangrijkste voor een data-analist, omdat het onmogelijk is om met gegevens te werken als deze ontbrekende waarden of een onjuist formaat bevatten. Hier leert u hoe u met dergelijke ongeschikte waarden omgaat.

De Correlatie Vinden

Oplossing

Awesome!

De Correlatie Vinden

Oplossing