Summary  
This chapter explains how to group data by one or more columns and apply aggregation functions (count, sum, avg, max) followed by sorting the results.  

General domain of usage  
Data analysis

Aggregointi tarkoittaa useiden tietorivien tiivistämistä yhdeksi merkitykselliseksi arvoksi, kuten summaksi, keskiarvoksi tai lukumääräksi. Ryhmittely mahdollistaa näiden tiivistelmien soveltamisen tiettyihin kategorioihin, esimerkiksi kunkin alueen kokonaismyynnin selvittämisen.

Määritelmä

Harvoin on tarpeen tarkastella miljoonia yksittäisiä raakadatasta koostuvia rivejä. Yleensä halutaan nähdä "kokonaiskuva" – summat, keskiarvot tai lukumäärät per kategoria. Sparkissa tämä onnistuu yhdistämällä kaksi tehokasta menetelmää: `groupBy()` ja `agg()`.


## Perus groupBy-malli

Kun halutaan tiivistää tietoja tietyn kategorian mukaan, käytetään ensin `groupBy()`-metodia. Tämä ohjaa Sparkin kokoamaan kaikki rivit, joilla on sama arvo (kuten "cut" diamonds-taulussa), yhteen ryhmään. Pelkkä ryhmittely ei kuitenkaan tee mitään; sen jälkeen tarvitaan aggregointi.


```
# Group by cut and count how many rows are in each
count_df = df.groupBy("cut").count()

display(count_df)
```

## Laskutoimitukset sum(), avg() ja max() -funktioilla
Kun olet ryhmitellyt datasi, voit käyttää matemaattisia funktioita numeerisiin sarakkeisiin. Jos haluat nähdä kokonaistuoton tuotetyypeittäin, käytät `.sum()`-funktiota.

```
# Total total_depth per cut category
total_depth = df.groupBy("cut").sum("x")

display(total_depth)
```

Huomaa, että Spark nimeää sarakkeen automaattisesti muotoon `sum(x)`. Seuraavassa luvussa opimme, kuinka näistä nimistä saadaan ammattimaisemman näköisiä.


## agg()-metodi useille mittareille
Jos tarvitsee laskea useampia asioita samanaikaisesti—esimerkiksi sekä keskimääräinen voitto että suurin liikevaihto kullekin alueelle—käytetään `.agg()` (aggregate) -metodia. Tämä on ammattimainen standardi monimutkaisten yhteenvetojen rakentamiseen.


```
from pyspark.sql import functions as F

# Calculate multiple metrics at once
summary_df = df.groupBy("cut").agg(
    F.sum("x"),
    F.avg("y"),
    F.max("z")
)

display(summary_df)
```

Tuodaan `pyspark.sql.functions as F` käyttöön näitä tehokkaita matemaattisia työkaluja varten.


Huomio

## Ryhmittely usean sarakkeen perusteella
Ryhmittely ei rajoitu vain yhteen kategoriaan. Voit antaa sarakkeiden listan nähdäksesi tiedot tarkemmalla tasolla, kuten kokonaisarvo x jokaiselle **Color Type** -arvolle jokaisessa **Cut**-luokassa.


```
multi_group_df = df.groupBy("cut", "color").sum("x")

display(multi_group_df)
```

## Tulosten lajittelu

Aggregoitu data on usein helpompi lukea, kun se on lajiteltu. Voit ketjuttaa `.orderBy()`-metodin aggregoinnin loppuun nähdäksesi parhaiten suoriutuvat kategoriat listan kärjessä.


```
# Show highest profit categories first
sorted_df = summary_df.orderBy("sum(x)", ascending=False)

display(sorted_df)
```

Mikä metodi täytyy kutsua ENNEN kuin käytät `sum()`- tai `avg()`-funktiota, jos haluat tulokset jaoteltuna kategorioittain?

Mikä on .agg()-metodin etu verrattuna pelkkään .sum()-metodiin?

Käytännönläheinen johdanto Databricksiin, sen keskeisiin käsitteisiin sekä käytännön datan käsittelyyn Pythonilla ja SQL:llä. Kurssi on suunniteltu täysin aloittelijoille, painottaen selkeyttä, yksinkertaisuutta ja käytännön sovelluksia.

Määrittele Databricks yksinkertaisesti ja esittele keskeiset termit ilman ammattisanastoa.

Kirjaudu sisään ja käynnistä laskentaympäristö.

Hallitse ensisijainen kehitysympäristö hyödyntämällä tuttua Pythonia ja SQL:ää.

Käytännönläheinen, käytännön tietojen käsittely DataFramejen avulla (ydintietorakenne).

Esittele tärkein erottautumistekijä, Delta Lake, yksinkertaisesti.

Aggregointi ja Ryhmittely Pythonissa

Perus groupBy-malli

Laskutoimitukset sum(), avg() ja max() -funktioilla

agg()-metodi useille mittareille

Ryhmittely usean sarakkeen perusteella

Tulosten lajittelu

1. Mikä metodi täytyy kutsua ENNEN kuin käytät `sum()`- tai `avg()`-funktiota, jos haluat tulokset jaoteltuna kategorioittain?

2. Mikä on .agg()-metodin etu verrattuna pelkkään .sum()-metodiin?