Filtrering og Valg av Data med Python

I de fleste virkelige scenarier trenger du ikke å arbeide med hver eneste kolonne eller rad i et datasett. Store tabeller kan ha hundrevis av kolonner og millioner av rader, hvorav de fleste kan være irrelevante for din spesifikke analyse. I dette kapittelet lærer du hvordan du kan "skjære ut" akkurat de dataene du trenger ved å bruke metodene select() og filter().

Velge spesifikke kolonner

Metoden select() lar deg opprette en ny DataFrame som kun inneholder de kolonnene du velger. Dette reduserer minnebruken i klyngen din og gjør resultatene mye enklere å lese.

# Select only two specific columns
selected_df = df.select("carat", "price")

display(selected_df)

Legg merke til at Spark ikke endrer den opprinnelige df. I stedet opprettes en ny kalt selected_df. Hvis du ønsker å velge alle kolonner unntatt én, eller utføre en beregning under utvalget, brukes mer avansert syntaks, men for grunnleggende oppgaver er det vanlig å sende kolonnenavnene som strenger.

Filtrering av rader med betingelser

Metoden filter() (eller aliaset where()) fungerer som en sil for dataene dine. Du oppgir en betingelse, og Spark beholder kun radene hvor denne betingelsen er sann.

# Filter for rows where the carat is '0.23'
filtered_df = df.filter(df.carat == 0.23)

display(filtered_df)

Du kan bruke vanlige sammenligningsoperatorer som == (lik), != (ulik), > (større enn) og < (mindre enn).

Kombinere flere filtre

Ofte er det behov for å bruke mer enn én regel samtidig. For å gjøre dette kan du kjede sammen filtre eller bruke logiske operatorer som "Og" (&) og "Eller" (|).

good_carat_df = df.filter((df.carat == 0.23) & (df.cut == "Good"))

display(good_carat_df)

Velge og filtrere i ett steg

Siden Spark bruker et "fluent" API, kan du kjede disse kommandoene sammen på én linje med kode. Dette er et svært vanlig mønster innen profesjonell data engineering:

# Select specific diamonds by `price > 500`
high_profit_df = df.select("carat", "price").filter(df.price > 500)

display(high_profit_df)

Kontrollere arbeidet ditt

Etter hver seleksjon eller filtrering er det en god vane å kjøre en count(). Hvis du starter med 10 000 rader og etter en filtrering har 0, vet du at filterbetingelsen kan være for streng eller inneholder en skrivefeil i strengverdiene.