NumPyの配列要素を複製した際のオブジェクトはコピー(copy)とビュー(view)に分類することができます。この2つについての理解が深まると、メモリ効率や速度を意識したコードが書けるようになります。
本記事を通して、copyとviewについての理解を深めましょう。
そもそもcopyとviewとは何なのか
copy
とview
というのはオブジェクトであり、元となる配列との関係性で定まります。両者の特徴をまとめると以下のようになります。
- copy:元の配列と違うメモリを使用しているが要素が同一の意味を持つもの
- view:元の配列と同じメモリを参照しているもの
と呼びます。view
は同じメモリを参照しているためview
にあたる配列の要素が変更されると元の配列にも変更が反映されることになります。
copy
だと変更は反映されません。
メモリ効率という観点では大きな配列になればなるほど、view
をなるべく使った方が良いことになります。しかし、元の配列のデータを変えてしまう可能性が非常に高く、元のデータを保持しておきたいという場合にはcopy
を使いましょう。
操作による違い
NumPyの操作ではcopy
とview
が使い分けられています。内部操作がcopy
となるのかview
を生成するのかを知っていることで、さらに効率を意識したコードを書くことができるのでまとめます。
代入
まずは変数に配列そのものを格納する場合についてです。
=
を使って代入していくわけですが、Pythonにおける変数への代入というのはオブジェクトへの参照を格納するということになります。つまり、代入された変数がオブジェクトになるのではなく、変数はあくまでオブジェクトがある場所を示すものとなっています。
id
関数はオブジェクトの’識別値’を返す関数です。
ここで、変数へ代入するときにa
をa[:]
と表記を変えてみます。PythonのlistだとcopyになりますがNumPyのndarrayではviewとなります。
このように、スライス表記ですと元の配列と異なるオブジェクトが生成されますがそのオブジェクトの要素は元の配列のviewとなります。もちろん、スライス表記なので一部の配列を抜き出すようにしてもviewが生成されます。
代入でコピーを作成するには元の配列のコピーを代入します。
base
属性(attribute)はベースとなるオブジェクトが存在した場合そのベースとなるオブジェクトを表示するものです。オブジェクトがviewでない限りこれの値はNone
となります。
コピーを作成したい場合は、copy
関数を使いましょう。
演算
演算結果について、表記の仕方でコピーが作られる場合と作られない場合が存在します。
例えば、足し算をする場合を考えてみます。a = a + 1
とするとaのcopyが生成され、各要素に1を加算した新たな配列がaに代入されます。
a
のviewとなるc
に変更が反映されていません。a
の参照しているオブジェクトが新しく生成されたため、a
とc
のviewの参照先が異なることを意味します。
a += 1
の形にするとどうなるでしょうか。この場合はa
のコピーが作られることなく、配列の値が1ずつ加算される形で更新されます。
これは四則演算子である+
,-
,*
,/
や累乗を計算する**
においても同様のことが言えます。
コピーを作らずに演算を行う方法として演算を行う関数を使うこともできます。加算ならadd
関数、減算ならsubtract
関数が使えます。
数学的関数については以下の記事で色々紹介しているので参考にしてみてください。
NumPyの数学関数・定数まとめ - DeepAge /features/numpy-math.html
これらの演算関数の引数にはout
というものがあり、ここに元となる配列を指定すると配列の値を上書きすることができ、メモリ効率をあげることができます。コピーを作らないだけで計算パフォーマンスも向上します。
では、計算速度を比較してみましょう。2つの配列X
、Y
を作り以下のように表されるA
の値を計算するとします。
様々なやり方で計算してみましょう。以下のような関数test()を使って計測します。
これを実行します。
関数を使って計算した方が早く計算ができることがわかりますね。
配列の一次元化
配列を一次元化する関数としてflatten
関数とravel
関数が存在します。flatten
関数では配列の一次元化したcopyを作成してそれへの参照が返されます。一方、ravel
関数では読み込むメモリーの場所は元の配列と同じビュー(view)を返します。
ravel
関数はコピーを作成しないため、コピーを作成するflatten
関数より処理速度が速い特徴があります。詳しい解説は以下の記事で行なっているので使い方などが気になる方は参照してみてください。
配列を1次元に変換するNumPyのflatten関数の使い方 - DeepAge /features/numpy-flatten.html
flattenよりも高速に配列を一次元化するnumpy.ravel関数の使い方 - DeepAge /features/numpy-ravel.html
fancy indexing
特殊なインデックス指定を用いると基本的にコピーが生成されます。
copyかviewか確かめる方法
値を毎回代入してcopyかどうかを確かめるのは大変です。そうしなくても確かめる方法がいくつかあります。
may_share_memory
関数を使う方法
一番簡単な方法として、NumPyにあるmay_share_memory
関数で確かめる方法があります。
この関数は、引数として指定された2つの配列が同じメモリーを参照しているかどうかを確かめるものです。この判定は実は厳密なものではなく、True
が返ってきても必ずしもメモリを共有しているとは限りませんが基本的に信用して大丈夫です。
False
が出た場合、その結果は信頼できます(間違ったTrue
判定を出すときはあるが間違ったFalse
判定を出すことがない)。このようになっているのは恐らく、本来ビューのものをコピーと間違って扱う方が致命的なミスにつながりかねないが、逆にビューだと間違って扱う方が元のデータ構造を破壊するなどのミスをすることはないからだと思われます。
より厳密に知りたいかたはshare_memory
関数が実装されているのでそちらを使うことをオススメします。デメリットとしてmay_share_memory
関数より処理時間がかかるというものがありますが。
base属性(attribute)を使う方法
他にも、その配列がviewであるなら参照元の配列を返すbase
属性(attribute)というものがあります。これは1つ上の配列を返すだけなのでviewのviewのbase
はオリジナルの配列と一致せず、1つ前のビューを返すことになってしまいます。
そのため、若干使い勝手が悪くなります。
copyかviewかを確かめるためだけであったらbase
を使って確かめる方法はあまりオススメできません。
参考