Summary  
This chapter demonstrates how to use the pandas DataFrame.corr() method (with numeric_only=True) to compute a correlation matrix for numeric columns and interpret correlation coefficients ranging from –1 to 1.  

General domain of usage  
Exploratory data analysis

In this video, you'll learn how to use the `.corr()` method in pandas to find relationships between numerical columns in a dataset. You'll start with a sample dataset about houses, exploring columns like price, number of rooms, and distance from the city center. The video walks you through what a correlation matrix looks like, how to interpret values from -1 to 1, and what these values say about the relationships between variables. You'll also see a practical demonstration of applying the `.corr()` method with the `numeric_only=True` parameter, which ensures only numeric columns are included in the correlation calculation. By the end, you'll know how to generate and analyze a correlation matrix to uncover insights in your data.

Tot slot gaan we naar de laatste methode van deze sectie, genaamd `.corr()`. Deze methode is zeer behulpzaam om de relatie tussen numerieke gegevens te vinden. Stel je voor dat je een dataset over huizen hebt:

Laten we de uitvoer van `data.corr()` in ons geval bekijken:

Laten we dit stap voor stap bekijken:
Je hebt verticale en horizontale waarden; elk paar overlapt. In elke overlap kunnen we een waarde krijgen van -1 tot 1.
- **1** betekent dat twee waarden direct evenredig van elkaar afhankelijk zijn (als de ene waarde toeneemt, neemt de andere ook toe);
- **-1** betekent dat twee waarden omgekeerd evenredig van elkaar afhankelijk zijn (als de ene waarde toeneemt, neemt de andere af);
- **0** betekent dat de twee afhankelijke waarden niet evenredig zijn.

Als de dataset **niet-numerieke kolommen** bevat, zoals in de dataset `cars.csv` die in de opdracht wordt gebruikt, moet je het argument `numeric_only=True` instellen om de correlatie alleen met de numerieke kolommen te berekenen.

Opmerking

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÑÑ ÑÑÐ²Ð½ÑÑÑÑ DataFrame Ð· ÑÑÐ°ÑÑÐ²Ð°Ð½Ð½ÑÐ¼ Ð¿Ð¾ÑÑÐ´ÐºÑ ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº (Ð´Ð»Ñ ÐºÐ¾ÑÐµÐ»ÑÑÑÐ¹ ÑÐµ Ð²Ð°Ð¶Ð»Ð¸Ð²Ð¾)."""
    try:
        return df1.equals(df2)
    except Exception:
        return False


class TestCorrelation(unittest.TestCase):
    def test_corr_applied(self):
        """
        1. Apply the .corr() function to the dataset with numeric_only=True.
        """
        import user_code

        # Ð·Ð°Ð²Ð°Ð½ÑÐ°Ð¶ÑÑÐ¼Ð¾ Ð¾ÑÐ¸Ð³ÑÐ½Ð°Ð»ÑÐ½Ñ Ð´Ð°Ð½Ñ
        df = pd.read_csv(
            "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/cars.csv",
            index_col=0,
        )
        ref_corr = df.corr(numeric_only=True)

        # ÐºÐ¾ÑÐ¸ÑÑÑÐ²Ð°Ñ Ð¼Ð¾Ð¶Ðµ Ð¾Ð´ÑÐ°Ð·Ñ Ð½Ð°Ð´ÑÑÐºÑÐ²Ð°ÑÐ¸ Ð°Ð±Ð¾ Ð·Ð±ÐµÑÐµÐ³ÑÐ¸ Ñ Ð·Ð¼ÑÐ½Ð½Ñ
        user_corr = None
        if hasattr(user_code, "data_corr"):
            user_corr = user_code.data_corr
        else:
            # Ð¿ÑÐ¾Ð±ÑÑÐ¼Ð¾ Ð²Ð¸ÐºÐ»Ð¸ÐºÐ°ÑÐ¸ Ð½Ð°Ð¿ÑÑÐ¼Ñ
            try:
                user_corr = user_code.data.corr(numeric_only=True)
            except Exception:
                user_corr = None

        condition = isinstance(user_corr, pd.DataFrame) and frames_equal(user_corr, ref_corr)
        _dynamic_test(
            self,
            condition,
            "The .corr() method is correctly applied to the dataset with numeric_only=True.",
            "The correlation matrix is incorrect or not created using .corr(numeric_only=True)."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        2. Output the correlation matrix.
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data.corr(numeric_only=True))
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The correlation matrix is printed successfully.",
            "The correlation matrix is not printed. Use print(data.corr(numeric_only=True))."
        )


if __name__ == "__main__":
    unittest.main()

test_code.py

Deze cursus bevat veel nuttige functies voor een toekomstige data-analist. Je leert verschillende manieren om data te extraheren en er zelfs voorwaarden op toe te passen. Daarna raak je vertrouwd met methoden voor het groeperen van data. Ook leer je hoe je data kunt preprocessen. Elke sectie heeft zijn eigen dataset, waardoor de cursus boeiend blijft.

In deze sectie leer je hoe je specifieke kolommen kunt weergeven op basis van hun titels of indexen. Ook maak je kennis met de manieren waarop je rijen kunt selecteren op basis van indexen.

Hier leert u hoe u gegevens extraheert die aan specifieke voorwaarden voldoen. Ook leert u hoe u deze kunt combineren en zelfs uw eigen voorwaarden kunt creëren.

In deze sectie breidt u uw kennis uit over het instellen van verschillende datacondities. U leert controleren of uw gegevens zich in een gedefinieerde lijst met waarden bevinden of tussen twee waarden liggen. U leert ook hoe u de grootste en kleinste waarden kunt vinden.

Deze sectie is een van de meest fascinerende van de cursus. Hier leert u hoe u gegevens op verschillende manieren kunt groeperen. Dit zal u helpen als data-analist om informatie te vinden over specifieke datagroepen.

Deze sectie is een van de belangrijkste voor een data-analist, omdat het onmogelijk zal zijn om met de gegevens te werken als deze ontbrekende waarden of een onjuist formaat bevatten. Daarom leer je hier hoe je met dergelijke ongeschikte waarden omgaat.

De Correlatie Vinden

Oplossing