Summary  
This chapter demonstrates how to filter rows in a pandas DataFrame by using the `.isin()` method together with `.loc` to check if column values belong to a specified list.

General domain of usage  
Data analysis

In this video, you will learn how to use the `.isin()` method in pandas to extract data based on specific conditions. You will start by examining the dataset and understanding its structure. Next, you will see how to use `.isin()` to filter rows where the 'Manufacturer' column matches a list of values. The video will break down the code step by step, explaining how conditions are applied within `.loc[]` and how `.isin(list)` checks for membership. Finally, you will be guided through an interactive task: extracting rows where the 'Color' column is either 'Grey', 'White', or 'Black', and displaying the last five rows of the result. This visual walkthrough will reinforce your understanding and prepare you to apply `.isin()` confidently in your own data wrangling projects.

**generation rule: pronounce .isin() as "is in"**

In deze sectie gaan we verder met het extraheren van gegevens op basis van specifieke voorwaarden. Hier maak je kennis met de handige methode genaamd `.isin()`. Maar eerst moet je de dataset bekijken. Bekijk de eerste vijf rijen:

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/cars.csv', index_col = 0)
print(data.head())

Bekijk nu het voorbeeld en de uitleg hieronder:

import pandas as pd
data = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/cars.csv', index_col = 0)
models = ['HONDA', 'FORD', 'MERCEDES-BENZ', 'HYUNDAI']
data_extracted = data.loc[data['Manufacturer'].isin(models)]
print(data_extracted.head())

**Uitleg:**

Zoals je je herinnert, plaatsen we de voorwaarden altijd binnen het `.loc[]`-attribuut. Hier doen we hetzelfde. De methode `.isin(list)` controleert of de waarden uit de kolom in de array voorkomen. In ons geval controleren we of waarden uit de kolom `'Manufacturer'` in de lijst `models` staan.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


def frames_equal_ignore_col_order(df1, df2):
    """ÐÐµÑÐµÐ²ÑÑÑÑ ÑÑÐ²Ð½ÑÑÑÑ DataFrame Ð½ÐµÐ·Ð°Ð»ÐµÐ¶Ð½Ð¾ Ð²ÑÐ´ Ð¿Ð¾ÑÑÐ´ÐºÑ ÐºÐ¾Ð»Ð¾Ð½Ð¾Ðº."""
    if set(df1.columns) != set(df2.columns):
        return False
    common_cols = sorted(df1.columns)
    df1_sorted = df1[common_cols].reset_index(drop=True)
    df2_sorted = df2[common_cols].reset_index(drop=True)
    return df1_sorted.equals(df2_sorted)


class TestColorsList(unittest.TestCase):
    def test_colors_list(self):
        """
        1. Create the 'colors' list with elements 'Grey', 'White', 'Black' (in this order).
        """
        import user_code
        condition = (
            hasattr(user_code, "colors")
            and isinstance(user_code.colors, list)
            and user_code.colors == ["Grey", "White", "Black"]
        )
        _dynamic_test(
            self,
            condition,
            "The 'colors' list is created correctly with elements ['Grey', 'White', 'Black'].",
            "The 'colors' list is incorrect. Ensure it includes ['Grey', 'White', 'Black'] in the right order."
        )


class TestDataExtraction(unittest.TestCase):
    def test_extracted_rows(self):
        """
        2. Extract data where 'Color' column values are in the list 'colors' using .loc[] and .isin().
        """
        import user_code
        df = pd.read_csv(
            "https://codefinity-content-media.s3.eu-west-1.amazonaws.com/4bf24830-59ba-4418-969b-aaf8117d522e/cars.csv",
            index_col=0,
        )
        ref = df.loc[df["Color"].isin(["Grey", "White", "Black"])]

        condition = (
            hasattr(user_code, "data_extracted")
            and isinstance(user_code.data_extracted, pd.DataFrame)
            and frames_equal_ignore_col_order(user_code.data_extracted, ref)
        )

        _dynamic_test(
            self,
            condition,
            "The 'data_extracted' DataFrame correctly contains rows where Color is Grey, White, or Black.",
            "The filtering by Color is incorrect. Use .loc[] with .isin(colors)."
        )


class TestOutput(unittest.TestCase):
    def test_output_tail(self):
        """
        3. Output the last five rows of 'data_extracted' using .tail().
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data_extracted.tail())
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The output displays the last five rows of 'data_extracted' using .tail().",
            "The 'data_extracted' DataFrame is not printed correctly. Use print(data_extracted.tail())."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Deze cursus bevat veel nuttige functies voor een toekomstige data-analist. Je leert verschillende manieren om data te extraheren en er zelfs voorwaarden op toe te passen. Daarna raak je vertrouwd met methoden voor het groeperen van data. Ook leer je hoe je data kunt preprocessen. Elke sectie heeft zijn eigen dataset, waardoor de cursus boeiend blijft.

In deze sectie leer je hoe je specifieke kolommen kunt weergeven op basis van hun titels of indexen. Ook maak je kennis met de manieren waarop je rijen kunt selecteren op basis van indexen.

Hier leert u hoe u gegevens extraheert die aan specifieke voorwaarden voldoen. Ook leert u hoe u deze kunt combineren en zelfs uw eigen voorwaarden kunt creëren.

In deze sectie breidt u uw kennis uit over het instellen van verschillende datacondities. U leert controleren of uw gegevens zich in een gedefinieerde lijst met waarden bevinden of tussen twee waarden liggen. U leert ook hoe u de grootste en kleinste waarden kunt vinden.

Deze sectie is een van de meest fascinerende van de cursus. Hier leert u hoe u gegevens op verschillende manieren kunt groeperen. Dit zal u helpen als data-analist om informatie te vinden over specifieke datagroepen.

Deze sectie is een van de belangrijkste voor een data-analist, omdat het onmogelijk zal zijn om met de gegevens te werken als deze ontbrekende waarden of een onjuist formaat bevatten. Daarom leer je hier hoe je met dergelijke ongeschikte waarden omgaat.

Staat de data in ...?

Oplossing