データ集計を簡単に！Pandasのgroupby()メソッドの活用法

groupby()メソッドは、Pandasでデータをグループ化するために使用されるメソッドです。

データをグループ化することで、グループ単位で統計量や集計処理を行うことができます。

groupby()メソッドは、SQLのGROUP BY句に似た動作をします。

spyderの使い方が分からない方や、エラーが出る方は下のボタンをクリックしてください。

spyderの使い方(ファイル作成・プログラム実行など)が分からない方はクリック

spiderのインストールがまだの方

「Anaconda Powershell Prompt」や「spyder」が分からない方は「Anacondaをインストール｜pythonが動く環境を構築しよう」をご覧ください。

https://shanai-se.blog/python-start/

新しいファイルを作成する

画面上部のツールバーの中の「用紙」のようなアイコンをクリックすると作成できます。

ショートカットキー Ctrl+N でも作成することが可能です。

プログラムを全部実行する

画面上部のツールバーの中の「再生ボタン」のようなアイコンをクリックするとプログラムが動きます。書いてあるプログラムを全て実行します。

ショートカットキー F5 でも実行することが可能です。

プログラムを一部実行する

画面上部のツールバーの中の「カーソル」のようなアイコンをクリックすると、カーソルを置いている行のプログラムだけが実行されます。何行かを範囲選択している場合は、選択している行のプログラムだけが実行されます。

ショートカットキー F9 でも実行することが可能です。

pip install webdriver-manager

pip install selenium

groupby()メソッドの使い方

read_csv関数を使ってCSVファイルを読み込むには、以下のようにコードを記述します。

import pandas as pd

df = pd.read_csv('sample.csv')
grouped = df.groupby('column')

ここで、dfはデータフレームオブジェクト、'column'はグループ化する列名を指定します。groupby()メソッドは、指定した列名でデータをグループ化した結果を返します。

groupedオブジェクトには、以下のようなメソッドを使用することができます。

以下では、これらのメソッドの使い方について詳しく説明します。

sum(), mean(), std(), count(), size(), max(), min(), describe()

これらのメソッドは、グループ単位での集計処理を行います。たとえば、以下のように使用することができます。

import pandas as pd

df = pd.read_csv('sample.csv')
grouped = df.groupby('column')

grouped.sum()
grouped.mean()
grouped.std()
grouped.count()
grouped.size()
grouped.max()
grouped.min()
grouped.describe()

aggregate(func):

このメソッドは、グループ化されたデータフレームに対して、指定された関数を適用して集計するために使用されます。

関数は、各グループ内の列に適用され、各グループに対して単一の集計値が返されます。

たとえば、平均、合計、中央値、最小値、最大値などの関数が使用されます。

import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eric'],
        'Gender': ['F', 'M', 'M', 'M', 'M'],
        'Age': [25, 35, 20, 30, 40],
        'Salary': [50000, 60000, 55000, 45000, 70000]}

df = pd.DataFrame(data)

grouped = df.groupby('Gender')

result = grouped.aggregate({'Age': 'mean', 'Salary': 'sum'})

print(result)

              Age  Salary
Gender                  
F       25.000000   50000
M       31.666667  220000

この例では、データフレームを'Gender'列でグループ化しています。

その後、平均年齢と合計給与を計算するために、'Age'列にはmean（平均）関数、'Salary'列にはsum（合計）関数が適用されています。

結果は、各性別の平均年齢と合計給与が含まれた新しいデータフレームとして返されます。

apply(func):

このメソッドは、指定された関数を各グループに適用し、各グループに対して独自の計算を実行するために使用されます。

このメソッドは、データフレーム内の各列を個別に処理するためのより柔軟なアプローチを提供します。

import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eric'],
        'Gender': ['F', 'M', 'M', 'M', 'M'],
        'Age': [25, 35, 20, 30, 40],
        'Salary': [50000, 60000, 55000, 45000, 70000]}

df = pd.DataFrame(data)

grouped = df.groupby('Gender')

result = grouped.apply(lambda x: x['Salary'].sum() / x['Age'].mean())

print(result)

Gender
F    2000.0
M    7360.0
dtype: float64

この例では、まず、データフレームを'Gender'列でグループ化し、各グループの'Salary'列の合計値を'Age'列の平均値で割ります。

これを行うには、lambda関数を使用します。lambda関数は、1つ以上の引数を受け取り、処理を実行して結果を返す無名関数です。

上記の例では、lambda関数は、各グループに対して'Salary'列の合計値を'Age'列の平均値で割ります。

transform(func)

このメソッドは、指定された関数を各グループに適用し、元のデータフレームのサイズとインデックスを保持するために使用されます。

このメソッドは、各グループ内で個別の計算を行い、元のデータフレームと同じ形式で結果を返します。

import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eric'],
        'Gender': ['F', 'M', 'M', 'M', 'M'],
        'Age': [25, 35, 20, 30, 40],
        'Salary': [50000, 60000, 55000, 45000, 70000]}

df = pd.DataFrame(data)

grouped = df.groupby('Gender')

result = grouped.transform(lambda x: (x - x.mean()) / x.std())

print(result)

        Age    Salary
0       NaN       NaN
1  0.439155  0.240192
2 -1.317465 -0.240192
3 -0.146385 -1.200961
4  1.024695  1.200961

この例では、各グループ内の'Salary'列と'Age'列を標準化します。

標準化とは、各値から平均値を引いて標準偏差で割ることで、データを平均0、標準偏差1の形式に変換することです。

この例では、lambda関数を使用して、各グループ内の'Salary'列と'Age'列を標準化します。

標準化されたデータは、元のデータフレームと同じ形式で返されます。

filter(func)

このメソッドは、指定された条件を満たすグループだけを抽出するために使用されます。

このメソッドは、Trueを返すグループだけが結果に含まれます。

import pandas as pd

data = {'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eric'],
        'Gender': ['F', 'M', 'M', 'M', 'M'],
        'Age': [25, 35, 20, 30, 40],
        'Salary': [50000, 60000, 55000, 45000, 70000]}

df = pd.DataFrame(data)

grouped = df.groupby('Gender')

result = grouped.filter(lambda x: x['Salary'].mean() > 55000)

print(result)

      Name Gender  Age  Salary
1      Bob      M   35   60000
2  Charlie      M   20   55000
3    David      M   30   45000
4     Eric      M   40   70000

この例では、'Gender'列でグループ化されたデータフレームから、平均給与が55000より大きいグループだけを抽出します。

lambda関数は、各グループの平均給与を計算し、55000より大きいグループだけを返します。

結果には、'F'グループが含まれていないことに注意してください。これは、'F'グループの平均給与が55000より大きくなかったためです。

まとめ

groupby() メソッドは、Pandasライブラリで最も一般的に使用されるデータ処理の機能の1つです。

このメソッドを使用することで、データフレームの行を特定の列の値に基づいてグループ化し、グループごとに平均値、合計、最小値、最大値などを計算することができます。

今回ご紹介したメソッドを使用すれば、簡単に、集計処理をカスタマイズすることができます。

ひとり親家庭・働く女性支援！MamaEduプロジェクト！

ひとり親家庭の方々に向けた、Webスキルを身に着けることができる「インターネット・アカデミー」をご紹介します。インターネット・アカデミーは、1995年に開校した日本初のWeb専門スクールで、Webデザイン、Webマーケティング、プログラミング、動画編集など、現場で活躍できるIT人材の育成を行っています。3万人以上の卒業生が活躍しており、2022年にはTBSテレビ「news23」のSDGs特集でも紹介されるなど、注目を集めています。

特に、ひとり親向けの給付金制度を活用した場合、最大で193万円受給しながら勉強ができるという大変お得なシステムがあります。Webデザイン、Webマーケティング、プログラミングなど、15コース以上の給付金対象のコースがあり、国の給付金を活用して学べる点が魅力です。また、キャリアプロデューサーによる就職支援や、女性向けの「mamaeduプロジェクト」など、ひとり親家庭の方々をサポートする取り組みも充実しています。

Webスキルを身に着けることによって、将来的には自分自身のキャリアアップにもつながりますし、求人市場でも高い需要があります。是非、インターネット・アカデミーを通じて、新しいスキルを身に着け、将来の夢を実現してみてはいかがでしょうか。

しゃちく

福岡の中小企業で、社内SEとして勤務。
主な業務は、通販の運営、自社飲食店のハンディやレジの設定、PCトラブル対応、LP作成、HP更新など。
Pythonで業務自動化ツールを100個以上自作した経験をもとに、ツールを作る方法をメインにブログを更新している。
このブログが、誰かのお役に立てば幸いです！