DataFrameの条件抽出はデータ分析において必須の作業です。
この記事では、条件に合致する手法のなかから、
- 関数を使わない方法
- query関数を使う方法
について解説します。
今回は以下のデータsample_extract.csvを使います。
name,age,state,id
Satoh,32,Kanagawa,1021
Takahashi,28,NaN,2152
Egawa,NaN,Ohsaka,1432
Maeda,25,Hiroshima,1104
Satoh,29,Ohsaka,2413
Egawa,32,Kanagawa,NaN
関数を使わずに条件検索
まずは関数を使わない方法から解説します。nameがSatohの行を抽出します。
In [1]: import pandas as pd
In [2]: df = pd.read_csv("sample_extract.csv")
In [3]: df
Out[3]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
1 Takahashi 28.0 NaN 2152.0
2 Egawa NaN Ohsaka 1432.0
3 Maeda 25.0 Hiroshima 1104.0
4 Satoh 29.0 Ohsaka 2413.0
5 Egawa 32.0 Kanagawa NaN
In [4]: df["name"] == "Satoh" # 名前がSatohの行がどれかをみる
Out[4]:
0 True
1 False
2 False
3 False
4 True
5 False
Name: name, dtype: bool
In [5]: bool_list = df["name"] == "Satoh"
In [6]: df[bool_list] # boolリストで行指定するとTrueの行だけ返ってくる
Out[6]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
4 Satoh 29.0 Ohsaka 2413.0
これを1行でまとめると、以下のように書くことができます。
In [7]: df[df["name"] == "Satoh"]
Out[7]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
4 Satoh 29.0 Ohsaka 2413.0
dfの文字列が2回出てくるなど、若干見にくさはありますが、素直な実装と言えるかもしれません。次は年齢が30を超える人を抽出してみます。
In [8]: df[df["age"]>30]
Out[8]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
5 Egawa 32.0 Kanagawa NaN
and, or, notは &, |, ~
Pandasでの複数条件指定のとき、Pythonの通常の条件指定で使うand、or、notはつかうことができず、代わりに&、|、~を使います。
名前がEgawaで都市が大阪の人を探してみます。
それぞれの条件をカッコで囲った上で&を繋げる必要があることに注意しましょう。(条件1)&(条件2)のように書けば複数の条件を同時に満たすように指定することができます。
In [10]: df[(df["name"] == "Satoh") & (df["state"] == "Ohsaka")]
Out[10]:
name age state id
4 Satoh 29.0 Ohsaka 2413.0
では逆に名前がEgawaではない人を探してみます。
In [11]: df[~(df["name"] == "Egawa")]
Out[11]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
1 Takahashi 28.0 NaN 2152.0
3 Maeda 25.0 Hiroshima 1104.0
4 Satoh 29.0 Ohsaka 2413.0
EgawaかSatohを探します。
In [13]: df[(df["name"] == "Egawa") | (df["name"] == "Satoh")]
Out[13]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
2 Egawa NaN Ohsaka 1432.0
4 Satoh 29.0 Ohsaka 2413.0
5 Egawa 32.0 Kanagawa NaN
複雑な条件で検索してみましょう。条件演算子には順位がついており自分が意図したものではない条件で検索されることがあります。
多少面倒ですが、まとまりごとに括弧で囲うと読みやすくなります。
In [14]: df[(~(df["name"]=="Satoh") | df["age"] < 30 ) & (df["state"] == "Ohsaka")]
Out[14]:
name age state id
2 Egawa NaN Ohsaka 1432.0
4 Satoh 29.0 Ohsaka 2413.0
関数queryを使った方法
同様のことがquery関数で行うことができます。ただし、先ほどの関数を使わない例と違い、ある程度シンプルに条件を指定できます。
In [17]: df.query("name=='Satoh'") # 名前がSatohの行を探す
Out[17]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
4 Satoh 29.0 Ohsaka 2413.0
In [18]: df.query("name=='Satoh'&age>25") # 名前がSatohで年齢が25より上の人
Out[18]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
4 Satoh 29.0 Ohsaka 2413.0
In [19]: df.query("~(name=='Satoh') & age > 25 ") # 名前がSatohではない人で年齢が25より上の人
Out[19]:
name age state id
1 Takahashi 28.0 NaN 2152.0
5 Egawa 32.0 Kanagawa NaN
In [20]: df.query("~(name=='Satoh') | age > 30 ") # 名前Satohではないか、年齢が30を超える人
Out[20]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
1 Takahashi 28.0 NaN 2152.0
2 Egawa NaN Ohsaka 1432.0
3 Maeda 25.0 Hiroshima 1104.0
5 Egawa 32.0 Kanagawa NaN
条件指定のところで変数を使いたかったらqueryの記述の中で@を頭につければ使えるようになります。
In [21]: age = 25
In [22]: df.query("age > @age")
Out[22]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
1 Takahashi 28.0 NaN 2152.0
4 Satoh 29.0 Ohsaka 2413.0
5 Egawa 32.0 Kanagawa NaN
in演算子を使うことで複数の値を指定することが可能です。
In [26]: df.query("id in [1021, 2152]")
Out[26]:
name age state id
0 Satoh 32.0 Kanagawa 1021.0
1 Takahashi 28.0 NaN 2152.0
inplace=Trueにすると元のDataFrameの中身が条件検索の結果と入れ替わります。
In [23]: df_cp = df.copy()
In [24]: df_cp.query("name=='Egawa'", inplace=True)
In [25]: df_cp
Out[25]:
name age state id
2 Egawa NaN Ohsaka 1432.0
5 Egawa 32.0 Kanagawa NaN
まとめ
今回は条件検索の方法を、関数を特に使わないやり方と、関数queryを使ったやり方とに分けて解説しました。
queryのやり方とDataFrameに直接書き込むやり方でも記述の仕方は似ているところがあるので、コードが煩雑にならないqueryのやり方に慣れられると見た目もすっきりして後で見返しても意味がわかりやすいコードになるかと思います。
参考
- Python for Data Analysis 2nd edition –Wes McKinney(書籍)
- pandasで複数条件のand, or, notから行を抽出（選択） note.nkmk.me
- pandas.DataFrame.query — pandas 0.23.4 documentation
- Python pandas データ選択処理をちょっと詳しく <後編> StatsFragme