Lära Splitting Data into Chunks | Working with Large Datasets

Svep för att visa menyn

Hantering av stora datamängder som inte får plats i minnet på en gång kräver en annan metod än att helt enkelt ladda in hela filen. När du försöker ladda en massiv CSV-fil i pandas med den vanliga funktionen read_csv kan du stöta på minnesfel eller betydande prestandaförsämringar. För att undvika detta kan du dela upp datan i mindre, mer hanterbara delar och bearbeta varje del oberoende. Denna teknik är särskilt användbar i situationer som:

Analys av stora loggfiler;
Bearbetning av dataexporter från databaser;
Hantering av tidsseriedata insamlad över långa perioder.

Att dela upp data i delar gör att du kan bearbeta endast en liten del av datamängden åt gången, vilket håller minnesanvändningen låg och gör det möjligt att arbeta effektivt även på enklare hårdvara. Om du till exempel behöver beräkna statistik eller filtrera rader från en fil med miljontals poster innebär läsning i delar att du kan bearbeta varje del och, vid behov, aggregera resultat under arbetets gång. Detta tillvägagångssätt är också användbart när du vill strömma data till en maskininlärningspipeline eller utföra inkrementell datarensning.


              1234567891011
            
import pandas as pd

# Assume 'large_file.csv' is a very large CSV file
url = "https://content-media-cdn.codefinity.com/b8f3c268-0e60-4ff0-a3ea-f145595033d8/section1/large_file.csv"

chunk_size = 100  # Number of rows per chunk

# To read.csv() from directory you use same syntax
for chunk in pd.read_csv(url, chunksize=chunk_size):
    # Count rows in this chunk
    print("Chunk has", len(chunk), "rows")

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 1. Kapitel 2

Fråga AI

Fråga vad du vill eller prova någon av de föreslagna frågorna för att starta vårt samtal

Avsnitt 1. Kapitel 2