Summary
This chapter covers integer-based indexing to select and slice specific rows and columns in a tabular data structure, including combining slices and index lists for flexible data extraction.

General domain of usage
Sales data analysis

This video guides you through the advanced features of the `.iloc[]` attribute in pandas. You will see how to select specific rows and columns simultaneously using integer-based indexing. The video demonstrates how `.iloc[]` allows you to specify both row and column indices, use slicing (with the last index being exclusive), and combine different selection patterns. Real-world examples show how to extract subsets of data, making your data analysis more flexible and powerful. Watch to gain a clear visual understanding of these techniques and how to apply them in your own projects.

We zullen enkele nieuwe functies leren die `iloc[]` biedt. De interessantste is dat we indices van zowel rijen als kolommen kunnen specificeren. Dit attribuut lijkt op `.loc[]`, maar de laatste index van de slicing is exclusief.

Bekijk het voorbeeld en de bijbehorende uitvoer:

- `data.iloc[1, 2]` - haalt het item op dat zich bevindt in de tweede rij en derde kolom van de dataset. De eerste index komt overeen met de rij-index en de tweede met de kolom-index. Je kunt er inderdaad één overslaan;
- `data.iloc[:, 3]` - haalt alle waarden op uit de rijen van de **vierde** kolom `'IMDb-Rating'`;
- `data.iloc[3, :]` of `data.iloc[3]` - haalt de `4th` rij en alle relevante kolommen op;
- `data.iloc[:2, 1:4]` - haalt de eerste twee rijen en de kolommen met de indices `1`, `2`, `3` op;
- `data.iloc[[2,4],[1,3]]` - haalt de **rijen** met indices `2`,`4` en de kolommen met de indices `1`, `3` op.

import unittest
import pandas as pd
import io
import sys


def _dynamic_test(test_case, condition, success_msg, failure_msg):
    if condition:
        test_case._testMethodName = success_msg
        test_case.assertTrue(True, success_msg)
    else:
        test_case._testMethodName = failure_msg
        test_case.fail(failure_msg)


class TestCSVRead(unittest.TestCase):
    def test_csv_read(self):
        """
        1. Read the CSV file into 'data' DataFrame.
        """
        import user_code
        condition = hasattr(user_code, "data") and isinstance(user_code.data, pd.DataFrame)
        _dynamic_test(
            self,
            condition,
            "The CSV file is read correctly into the 'data' DataFrame.",
            "The CSV file is not read correctly or not assigned to 'data'."
        )


class TestDataExtraction(unittest.TestCase):
    def test_data_extracted_slice(self):
        """
        2. Extract first 50 rows and columns with indices 1 and 4 using iloc.
        """
        import user_code
        df = user_code.data
        ref = df.iloc[:50, [1, 4]]
        condition = (
            hasattr(user_code, "data_extracted")
            and isinstance(user_code.data_extracted, pd.DataFrame)
            and user_code.data_extracted.equals(ref)
        )
        _dynamic_test(
            self,
            condition,
            "The variable 'data_extracted' contains the correct rows and columns slice.",
            "The 'data_extracted' slice is incorrect. Check row and column indices."
        )


class TestOutput(unittest.TestCase):
    def test_output_print(self):
        """
        3. Print the first few rows of data_extracted using .head().
        """
        import user_code
        captured_output = io.StringIO()
        sys.stdout = captured_output
        print(user_code.data_extracted.head())
        sys.stdout = sys.__stdout__

        output_text = captured_output.getvalue().strip()
        condition = len(output_text) > 0
        _dynamic_test(
            self,
            condition,
            "The output displays the first few rows of 'data_extracted' using .head().",
            "The 'data_extracted' variable is not printed correctly using .head()."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Deze cursus bevat veel nuttige functies voor een toekomstige data-analist. Je leert verschillende manieren om data te extraheren en er zelfs voorwaarden op toe te passen. Daarna raak je vertrouwd met methoden voor het groeperen van data. Ook leer je hoe je data kunt preprocessen. Elke sectie heeft zijn eigen dataset, waardoor de cursus boeiend blijft.

In deze sectie leer je hoe je specifieke kolommen kunt weergeven op basis van hun titels of indexen. Ook maak je kennis met de manieren waarop je rijen kunt selecteren op basis van indexen.

Hier leert u hoe u gegevens extraheert die aan specifieke voorwaarden voldoen. Ook leert u hoe u deze kunt combineren en zelfs uw eigen voorwaarden kunt creëren.

In deze sectie breidt u uw kennis uit over het instellen van verschillende datacondities. U leert controleren of uw gegevens zich in een gedefinieerde lijst met waarden bevinden of tussen twee waarden liggen. U leert ook hoe u de grootste en kleinste waarden kunt vinden.

Deze sectie is een van de meest fascinerende van de cursus. Hier leert u hoe u gegevens op verschillende manieren kunt groeperen. Dit zal u helpen als data-analist om informatie te vinden over specifieke datagroepen.

Deze sectie is een van de belangrijkste voor een data-analist, omdat het onmogelijk zal zijn om met de gegevens te werken als deze ontbrekende waarden of een onjuist formaat bevatten. Daarom leer je hier hoe je met dergelijke ongeschikte waarden omgaat.

Uitbreiden van de functionaliteit van het .iloc[]-attribuut

Oplossing