Pythonにおける集計とグループ化

何百万もの生データ行を個別に確認する必要はほとんどない。通常は「全体像」—カテゴリごとの合計、平均、件数など—を知りたい場合が多い。Spark では、groupBy() と agg() という2つの強力なメソッドを組み合わせることでこれを実現可能。

基本的な groupBy パターン

特定のカテゴリごとにデータを要約するには、まず groupBy() メソッドを使用する。これにより、Spark は同じ値（例：diamonds テーブルの「cut」など）を持つすべての行をグループにまとめる。ただし、グループ化だけでは何も起こらず、その後に集約処理を続ける必要がある。

# Group by cut and count how many rows are in each
count_df = df.groupBy("cut").count()

display(count_df)

sum()、avg()、max()による数値演算

データをグループ化した後、数値列に対して数学関数を適用可能。 アイテムタイプごとの合計利益を確認したい場合は、.sum()を使用。

# Total total_depth per cut category
total_depth = df.groupBy("cut").sum("x")

display(total_depth)

Sparkは自動的に列名をsum(x)に変更することに注意してください。次の章では、これらの名前をより専門的に見せる方法について学びます。

複数指標のためのagg()メソッド

複数の指標を同時に計算する必要がある場合—例えば、各地域ごとの平均利益と最大収益の両方を求める場合—.agg()（集約）メソッドを使用します。これは複雑なサマリーを作成するためのプロフェッショナルな標準手法です。

from pyspark.sql import functions as F

# Calculate multiple metrics at once
summary_df = df.groupBy("cut").agg(
    F.sum("x"),
    F.avg("y"),
    F.max("z")
)

display(summary_df)

複数列によるグループ化

1つのカテゴリだけでなく、複数の列でグループ化が可能。リスト形式で列を指定することで、Cut ごとの Color Type など、より詳細なレベルでデータを確認可能。

multi_group_df = df.groupBy("cut", "color").sum("x")

display(multi_group_df)

結果のソート

集計データは、ソートすることでより読みやすくなります。集計の最後に .orderBy() メソッドを連結することで、最もパフォーマンスの高いカテゴリをリストの先頭に表示できます。

# Show highest profit categories first
sorted_df = summary_df.orderBy("sum(x)", ascending=False)

display(sorted_df)