Pandasのgroupbyを使った要素をグループ化して処理をする方法

グループ分けした処理の概要
groupby関数を使ってデータをグループ分けする(Splitting)
グループごとに処理を実行する(Applying)
グラフにプロットする
まとめ
参考

Pandasでの代表的な機能の1つとしてgroupby関数があります。

これはデータをある列データなどを基準にグルーピングして処理を行うために使います。例えば、事業部ごとの売上や、年代別での成績などを算出する場合に使うことができます。

groupby関数を適用して返されるオブジェクトはGroupByオブジェクトと呼ばれ、それ単体では何もできませんがこれに他の関数を適用させることでグループごとに処理を実行させることが可能になります。

SQLでのGROUP BY処理をベースにしたものになるので、SQLを触ったことのある人には抵抗なく受け入れることのできる関数だと思いますが、初めてみる人には最初想像がつきにくい関数だと思います。

そこで本記事では

グループ分けした処理の概要
groupby関数を使ったグルーピング
グループごとに処理を実行する
グラフのプロット

について解説していきます。

グループ分けした処理の概要

groupby関数を使うことでどういったことが起こるのか、直感的に理解してみましょう。例えばですが、以下のようにキーの値ごとの平均を求めたいとします。

下図をみてみると、まずキーの値ごとに値1をグループ分けします。

その後、それぞれのグループに対して 関数を適用します。適用した結果を1つの配列にまとめて完成です。

groupby関数がやっていることはただのグループ分けで、その後の処理は我々の方で自由に設定できます。

公式ドキュメントにも、Group Byを使った処理は

Splitting : いくつかの階層を元にデータをグループ分けする
Applying : それぞれのグループに関数を適用する
Combining : 適用された結果を結合して1つのデータにまとめる

と記述されています。

この3ステップが基本となっており、 Applying ステップは更に以下のように大別できます。

Aggregation : 平均やデータ個数といったグループにおける統計量を計算する。
Transformation : グループごとのデータ処理(zscoreなど)を行う。
Filteration : グループごとにフィルターをかけるなどのフィルタリングの処理を行う。
上記3つの組み合わせ

グループ分けを使うとこのような処理が可能となるわけです。

それではSplitting とApplying のステップについて詳しくみていきます。

Combining に関してはこちらから指定することはあまりないので省略します。

groupby関数を使ってデータをグループ分けする(Splitting)

まずはgroupby関数を使ってグループ分けを行なっていきましょう。

以下のようなデータを使います。

class,sex,weight,height,time
A,F,45,150,85
A,M,50,160,80
A,F,55,155,74
B,M,78,180,90
B,F,51,158,65
B,M,40,155,68
C,F,80,185,90
C,M,86,175,81
C,F,52,162,73

このデータをsample_group.csvの名前で保存します。

以下のリンクからファイルをダウンロード可能です。

sample_group.csv

まずはcsvファイルを読み込みます。

In [1]: import pandas as pd

In [2]: df = pd.read_csv("sample_group.csv") # まずはcsvファイルを読み込む

In [3]: df
Out[3]:
  class sex  weight  height  time
0     A   F      45     150    85
1     A   M      50     160    80
2     A   F      55     155    74
3     B   M      78     180    90
4     B   F      51     158    65
5     B   M      40     155    68
6     C   F      80     185    90
7     C   M      86     175    81
8     C   F      52     162    73

列データからグループ分け

groupby関数を使ってGroupByオブジェクトを生成します。まずは列データからグループオブジェクトを作成する方法です。カラム名を指定します。

In [4]: class_groupby = df.groupby("class") # classでグループ分けする

In [5]: class_groupby # GroupByオブジェクトになる。
Out[5]: <pandas.core.groupby.groupby.DataFrameGroupBy object at 0x10cb91a58>

In [6]: class_groupby.groups # グループの内訳を見ることができる
Out[6]:
{'A': Int64Index([0, 1, 2], dtype='int64'),
 'B': Int64Index([3, 4, 5], dtype='int64'),
 'C': Int64Index([6, 7, 8], dtype='int64')}

In [7]: class_groupby.get_group('A') # get_groupでグループ名を指定するとグループ内のデータを確認できる
Out[7]:
  class sex  weight  height  time
0     A   F      45     150    85
1     A   M      50     160    80
2     A   F      55     155    74

複数の列データから作成

複数のラベルを引き渡すことも可能です。

In [9]: multi_groupby = df.groupby(["class","sex"])

In [10]: multi_groupby.groups
Out[10]:
{('A', 'F'): Int64Index([0, 2], dtype='int64'),
 ('A', 'M'): Int64Index([1], dtype='int64'),
 ('B', 'F'): Int64Index([4], dtype='int64'),
 ('B', 'M'): Int64Index([3, 5], dtype='int64'),
 ('C', 'F'): Int64Index([6, 8], dtype='int64'),
 ('C', 'M'): Int64Index([7], dtype='int64')}

In [11]: multi_groupby.get_group(('A','F'))
Out[11]:
  class sex  weight  height  time
0     A   F      45     150    85
2     A   F      55     155    74

Indexの値を使う

次にインデックスラベルの値を使っていきます。まずはclassの値をインデックスラベルにしましょう。

set_index関数で設定可能です。

In [12]: index_df = df.set_index('class')

In [14]: index_df
Out[14]:
      sex  weight  height  time
class                          
A       F      45     150    85
A       M      50     160    80
A       F      55     155    74
B       M      78     180    90
B       F      51     158    65
B       M      40     155    68
C       F      80     185    90
C       M      86     175    81
C       F      52     162    73

これをインデックスラベルの値を元にグループ分けすることが可能です。 Indexオブジェクトのnameである"class"を指定するので列データを指定するのと同じ要領で行うことが可能です。また、インデックスラベルの場合、level=0と指定することでもGroupByオブジェクトを作ることが可能です。

In [19]: index_groupby2 = index_df.groupby(level=0)

In [20]: index_groupby2.groups
Out[20]:
{'A': Index(['A', 'A', 'A'], dtype='object', name='class'),
 'B': Index(['B', 'B', 'B'], dtype='object', name='class'),
 'C': Index(['C', 'C', 'C'], dtype='object', name='class')}

MultiIndexでグループ分け

今度はMultiIndexをラベルにもつデータをグループ分けします。 "class"と"sex"の2つの列データを使ってMultiIndexを作成します。

In [21]: multi_df = df.set_index(["class", "sex"])

In [22]: multi_df
Out[22]:
           weight  height  time
class sex
A     F        45     150    85
      M        50     160    80
      F        55     155    74
B     M        78     180    90
      F        51     158    65
      M        40     155    68
C     F        80     185    90
      M        86     175    81
      F        52     162    73

level引数でMultiIndexの階層を指定します。

MultiIndexの詳しい解説はこちらから。 level引数の指定の仕方が今ひとつわからない方もこちらの記事を読むと理解が深まると思います。

PandasのMultiIndexについて理解する /features/pandas-multiindex.html

In [23]: in_df = multi_df.groupby(level="sex") # level=-1かlevel=1でも可能

In [24]: in_df.groups
Out[24]:
{'F': MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[0, 0, 1, 2, 2], [0, 0, 0, 0, 0]],
            names=['class', 'sex']),
 'M': MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[0, 1, 1, 2], [1, 1, 1, 1]],
            names=['class', 'sex'])}

In [25]: in_df_2 = multi_df.groupby("sex") # level引数を使わずに直接名称を指定することも可能

In [26]: in_df_2.groups
Out[26]:
{'F': MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[0, 0, 1, 2, 2], [0, 0, 0, 0, 0]],
            names=['class', 'sex']),
 'M': MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[0, 1, 1, 2], [1, 1, 1, 1]],
            names=['class', 'sex'])}

複数指定することも可能です。

In [29]: multi_in_group = multi_df.groupby(level=[0,1])

In [31]: multi_in_group.groups
Out[31]:
{('A', 'F'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[0, 0], [0, 0]],
            names=['class', 'sex']),
 ('A', 'M'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[0], [1]],
            names=['class', 'sex']),
 ('B', 'F'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[1], [0]],
            names=['class', 'sex']),
 ('B', 'M'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[1, 1], [1, 1]],
            names=['class', 'sex']),
 ('C', 'F'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[2, 2], [0, 0]],
            names=['class', 'sex']),
 ('C', 'M'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[2], [1]],
            names=['class', 'sex'])}

In [33]: multi_in_group_2 = multi_df.groupby(["class","sex"])

In [34]: multi_in_group_2.groups
Out[34]:
{('A', 'F'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[0, 0], [0, 0]],
            names=['class', 'sex']),
 ('A', 'M'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[0], [1]],
            names=['class', 'sex']),
 ('B', 'F'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[1], [0]],
            names=['class', 'sex']),
 ('B', 'M'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[1, 1], [1, 1]],
            names=['class', 'sex']),
 ('C', 'F'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[2, 2], [0, 0]],
            names=['class', 'sex']),
 ('C', 'M'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[2], [1]],
            names=['class', 'sex'])}

GroupByオブジェクトの中身を確認する

groupby関数によって生成されたGroupByオブジェクトが意図したものになっているかどうかを調べるには属性を使って確かめることができます。

.groupsで幾つのグループに分けられたのかとグループ名を確かめることができ、

.get_group(グループ名)でグループ内のデータを確かめることが可能です。

In [4]: class_groupby = df.groupby("class") # classでグループ分けする

In [5]: class_groupby # GroupByオブジェクトになる。
Out[5]: <pandas.core.groupby.groupby.DataFrameGroupBy object at 0x10cb91a58>

In [6]: class_groupby.groups # グループの内訳を見ることができる
Out[6]:
{'A': Int64Index([0, 1, 2], dtype='int64'),
 'B': Int64Index([3, 4, 5], dtype='int64'),
 'C': Int64Index([6, 7, 8], dtype='int64')}

In [7]: class_groupby.get_group('A') # get_groupでグループ名を指定するとグループ内のデータを確認できる
Out[7]:
  class sex  weight  height  time
0     A   F      45     150    85
1     A   M      50     160    80
2     A   F      55     155    74

GroupByオブジェクトをイテレータとして扱う

イテレータとして使うことも可能です。

In [39]: for name, group in class_groupby: # nameでグループ名を受け取り、groupでグループの中身を受け取る
    ...:     print(name)
    ...:     print(group)
    ...:     
A
  class sex  weight  height  time
0     A   F      45     150    85
1     A   M      50     160    80
2     A   F      55     155    74
B
  class sex  weight  height  time
3     B   M      78     180    90
4     B   F      51     158    65
5     B   M      40     155    68
C
  class sex  weight  height  time
6     C   F      80     185    90
7     C   M      86     175    81
8     C   F      52     162    73

特定の列データを指定する

複数の列データが存在しているので、1つだけに指定します。これは通常のDataFrameにおいて列データを指定する場合と変わりません。

In [49]: class_groupby['weight'].mean() # classでグループ分けしたデータの'weight'だけ取ってくる
Out[49]:
class
A    50.000000
B    56.333333
C    72.666667
Name: weight, dtype: float64

グループごとに処理を実行する(Applying)

では次はグループごとに処理を実行させていきます。

Pandasの組み込み関数を使う

簡単なものとしてmean、max、min、count、stdでデータの概要を取得する関数があります。 .(関数)ですぐ使えます。

引き続き、以下のデータを使います。

In [40]: df
Out[40]:
  class sex  weight  height  time
   A   F      45     150    85
   A   M      50     160    80
   A   F      55     155    74
   B   M      78     180    90
   B   F      51     158    65
   B   M      40     155    68
   C   F      80     185    90
   C   M      86     175    81
   C   F      52     162    73

では"class"をキーにしてグループ分けをし、これらの関数を適用させていきます。

In [41]: class_groupby = df.groupby("class")

In [42]: class_groupby.mean()
Out[42]:
          weight      height       time
class                                  
A      50.000000  155.000000  79.666667
B      56.333333  164.333333  74.333333
C      72.666667  174.000000  81.333333

In [43]: class_groupby.max()
Out[43]:
      sex  weight  height  time
class                          
A       M      55     160    85
B       M      78     180    90
C       M      86     185    90

In [44]: class_groupby.count()
Out[44]:
       sex  weight  height  time
class                           
A        3       3       3     3
B        3       3       3     3
C        3       3       3     3

describe関数を使えば一挙に取得できます。

In [46]: class_groupby.describe().stack() # データを縦に並べるためにstack()関数を使った
Out[46]:
                 height       time     weight
class                                        
A     count    3.000000   3.000000   3.000000
      mean   155.000000  79.666667  50.000000
      std      5.000000   5.507571   5.000000
      min    150.000000  74.000000  45.000000
      25%    152.500000  77.000000  47.500000
      50%    155.000000  80.000000  50.000000
      75%    157.500000  82.500000  52.500000
      max    160.000000  85.000000  55.000000
B     count    3.000000   3.000000   3.000000
      mean   164.333333  74.333333  56.333333
      std     13.650397  13.650397  19.553346
      min    155.000000  65.000000  40.000000
      25%    156.500000  66.500000  45.500000
      50%    158.000000  68.000000  51.000000
      75%    169.000000  79.000000  64.500000
      max    180.000000  90.000000  78.000000
C     count    3.000000   3.000000   3.000000
      mean   174.000000  81.333333  72.666667
      std     11.532563   8.504901  18.147543
      min    162.000000  73.000000  52.000000
      25%    168.500000  77.000000  66.000000
      50%    175.000000  81.000000  80.000000
      75%    180.000000  85.500000  83.000000
      max    185.000000  90.000000  86.000000

複数ラベルがついているものについても同様です。以下のGroupByオブジェクトを使用します。 “class”と”sex”の2つのキーを元にグループ分けされたものです。

In [50]: multi_in_group.groups
Out[50]:
{('A', 'F'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[0, 0], [0, 0]],
            names=['class', 'sex']),
 ('A', 'M'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[0], [1]],
            names=['class', 'sex']),
 ('B', 'F'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[1], [0]],
            names=['class', 'sex']),
 ('B', 'M'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[1, 1], [1, 1]],
            names=['class', 'sex']),
 ('C', 'F'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[2, 2], [0, 0]],
            names=['class', 'sex']),
 ('C', 'M'): MultiIndex(levels=[['A', 'B', 'C'], ['F', 'M']],
            labels=[[2], [1]],
            names=['class', 'sex'])}

平均値とdescribe関数を適用させてみます。

In [51]: multi_in_group.mean()
Out[51]:
           weight  height  time
class sex
A     F      50.0   152.5  79.5
      M      50.0   160.0  80.0
B     F      51.0   158.0  65.0
      M      59.0   167.5  79.0
C     F      66.0   173.5  81.5
      M      86.0   175.0  81.0

In [52]: multi_in_group.describe().stack()
Out[52]:
                    weight      height       time
class sex
A     F   count   2.000000    2.000000   2.000000
          mean   50.000000  152.500000  79.500000
          std     7.071068    3.535534   7.778175
          min    45.000000  150.000000  74.000000
          25%    47.500000  151.250000  76.750000
          50%    50.000000  152.500000  79.500000
          75%    52.500000  153.750000  82.250000
          max    55.000000  155.000000  85.000000
      M   count   1.000000    1.000000   1.000000
          mean   50.000000  160.000000  80.000000
          min    50.000000  160.000000  80.000000
          25%    50.000000  160.000000  80.000000
          50%    50.000000  160.000000  80.000000
          75%    50.000000  160.000000  80.000000
          max    50.000000  160.000000  80.000000
B     F   count   1.000000    1.000000   1.000000
          mean   51.000000  158.000000  65.000000
          min    51.000000  158.000000  65.000000
          25%    51.000000  158.000000  65.000000
          50%    51.000000  158.000000  65.000000
          75%    51.000000  158.000000  65.000000
          max    51.000000  158.000000  65.000000
      M   count   2.000000    2.000000   2.000000
          mean   59.000000  167.500000  79.000000
          std    26.870058   17.677670  15.556349
          min    40.000000  155.000000  68.000000
          25%    49.500000  161.250000  73.500000
          50%    59.000000  167.500000  79.000000
          75%    68.500000  173.750000  84.500000
          max    78.000000  180.000000  90.000000
C     F   count   2.000000    2.000000   2.000000
          mean   66.000000  173.500000  81.500000
          std    19.798990   16.263456  12.020815
          min    52.000000  162.000000  73.000000
          25%    59.000000  167.750000  77.250000
          50%    66.000000  173.500000  81.500000
          75%    73.000000  179.250000  85.750000
          max    80.000000  185.000000  90.000000
      M   count   1.000000    1.000000   1.000000
          mean   86.000000  175.000000  81.000000
          min    86.000000  175.000000  81.000000
          25%    86.000000  175.000000  81.000000
          50%    86.000000  175.000000  81.000000
          75%    86.000000  175.000000  81.000000
          max    86.000000  175.000000  81.000000

使える組み込み関数の一覧は以下の通りです。

関数名	説明
mean()	平均を計算します
sum()	合計を計算します
size()	グループの大きさを計算します
count()	グループのデータの個数を計算します
std()	標準偏差を計算します
var()	分散を計算します
sem()	平均値の標準誤差を計算します
describe()	グループ内の統計量を返します
first()	グループ内の先頭の値を返します
last()	グループ内の最後の値を返します
nth()	n番目の要素を返します。リストで指定することも可
min()	最小値を返します
max()	最大値を返します

apply関数を使って適用させる

apply関数を使って処理を実行します。 apply関数はグループ全体を引数として関数に渡すので注意してください。

In [53]: def max_min(group):
    ...:     return group.max() - group.min()
    ...:

In [55]: df.groupby("class")[['weight','height']].apply(max_min)
Out[55]:
       weight  height
class                
A          10      10
B          38      25
C          34      23

辞書形式で出力させるとMultiIndexが出来上がります。

In [56]: def stats(group):
    ...:     return {"mean" : group.mean(), "max": group.max(),
    ...:             "min" : group.min(), "count" : group.count()}
    ...:     

In [57]: df.groupby("sex")["time"].apply(stats)
Out[57]:
sex       
F    count     5.00
     max      90.00
     mean     77.40
     min      65.00
M    count     4.00
     max      90.00
     mean     79.75
     min      68.00
Name: time, dtype: float64

複数の関数を一度に適用させる

複数関数を適用したい時はagg関数が使えます。

In [58]: import numpy as np

In [59]: df.groupby("class")["weight"].agg([np.sum,np.mean])
Out[59]:
       sum       mean
class                
A      150  50.000000
B      169  56.333333
C      218  72.666667

列ごとに処理を指定する

agg関数を使えば列ごとに処理を指定することも可能です。

辞書形式で指定していき、キーで列を指定し、値で処理を実行したい関数を指定します。

In [60]: df.groupby("class").agg({"weight": np.mean, "height": np.max,
    ...:                          "time": lambda x: np.std(x)})
    ...:                          
Out[60]:
          weight       time  height
class                              
A      50.000000   4.496913     160
B      56.333333  11.145502     180
C      72.666667   6.944222     185

transform関数を使ったデータ整形

transform関数を使ってデータの中身を処理します。

zscoreを計算してみましょう。

In [72]: zscore = lambda x : (x - x.mean())/x.std()

In [73]: df.groupby("class")["weight"].transform(zscore) # グループ内で処理
Out[73]:
 -1.000000
  0.000000
  1.000000
  1.108080
 -0.272758
 -0.835322
  0.404095
  0.734718
 -1.138813
Name: weight, dtype: float64

In [74]: df["weight"].transform(zscore) # データ全体で処理
Out[74]:
 -0.866123
 -0.570854
 -0.275585
  1.082654
 -0.511800
 -1.161393
  1.200762
  1.555085
 -0.452746
Name: weight, dtype: float64

フィルタリング

グループごとにフィルターをかけていきましょう。それぞれのグループの最大値の一定割合より最小値が大きいグループだけを表示させます。

In [118]: df.groupby("class")["weight"].filter(lambda x: x.min() > x.max()/1.3)
Out[118]:
0    45
1    50
2    55
Name: weight, dtype: int64

グラフにプロットする

最後に、GroupByオブジェクトに対して処理を施した結果をグラフにしてみやすくしましょう。

.plotで可能です。

In [120]: fig = plt.figure(figsize=(12,8))
<Figure size 576x864 with 0 Axes>

In [121]: ax = fig.add_subplot(1, 1, 1)

In [122]: df.groupby("class")[["weight","height","time"]].max().plot.bar(ax=ax)
Out[122]: <matplotlib.axes._subplots.AxesSubplot at 0x1136b11d0>

In [123]: fig.savefig("group_sum.png")

以下のようなグラフが保存されます。

まとめ

今回はグルーピングの処理についてまとめました。グルーピングの処理ではデータを分けるSplitting、処理を実行するSpplying、結果を結合するCombiningの3つのステップに分かれていると冒頭で説明しました。この処理の流れが頭の中で把握しているとGroupByオブジェクトを利用する際にあまり混乱が生じずに済むかと思います。

groupby関数を使ったグループ分けの処理は色々な使い道があり、これを使いこなせるようになるとデータ処理がかなり楽にできるようになるはずです。

参考

Python for Data Analysis 2nd edition –Wes McKinney(書籍)
Group By: split-apply-combine — pandas 0.23.4 documentation
Pandas の groupby の使い方
pandasのplotメソッドでグラフを作成しデータを可視化 - note.nkmk.me