np.loadtxtとnp.savetxtでテキストファイルを読み書きする方法

In [1]: import numpy as np

In [3]: a = np.random.randn(3,4) # 標準正規分布に従った乱数を2次元配列で生成

In [5]: np.savetxt('sample.txt', a) # 特に何も指定しない状態で保存してみる。

In [6]: b = np.loadtxt('sample.txt') # 保存したデータを読み込む。

In [7]: a
Out[7]:
array([[-0.98495064, -0.54105417,  1.05258227,  1.0710156 ],
       [ 1.31193658,  1.09343955, -1.2977759 ,  0.78322404],
       [-1.54344345, -1.46554656,  0.40285187,  0.1302892 ]])

In [8]: b
Out[8]:
array([[-0.98495064, -0.54105417,  1.05258227,  1.0710156 ],
       [ 1.31193658,  1.09343955, -1.2977759 ,  0.78322404],
       [-1.54344345, -1.46554656,  0.40285187,  0.1302892 ]])

In [9]: np.savetxt('sample.csv', a) # csv形式でも対応してる。

In [10]: c = np.loadtxt('sample.csv')

In [11]: c
Out[11]:
array([[-0.98495064, -0.54105417,  1.05258227,  1.0710156 ],
       [ 1.31193658,  1.09343955, -1.2977759 ,  0.78322404],
       [-1.54344345, -1.46554656,  0.40285187,  0.1302892 ]])

In [12]: np.savetxt('sample.dat', a) # dat形式でも大丈夫。

In [13]: d = np.loadtxt('sample.dat')

In [14]: d
Out[14]:
array([[-0.98495064, -0.54105417,  1.05258227,  1.0710156 ],
       [ 1.31193658,  1.09343955, -1.2977759 ,  0.78322404],
       [-1.54344345, -1.46554656,  0.40285187,  0.1302892 ]])

In [15]: np.savetxt('sample2.txt', a, delimiter=',')

In [16]: e = np.loadtxt('sample2.txt') # delimiterに何も指定しないとエラーが返ってくる
-------------------------------------------------------------------
(エラーメッセージが表示される)
ValueError: could not convert string to float: b'-9.849506405118685359e-01,-5.410541661151561099e-01,1.052582274254199479e+00,1.071015596176571272e+00'

In [17]: e = np.loadtxt('sample2.txt', delimiter=',')

In [18]: e
Out[18]:
array([[-0.98495064, -0.54105417,  1.05258227,  1.0710156 ],
       [ 1.31193658,  1.09343955, -1.2977759 ,  0.78322404],

In [19]: np.savetxt('sample3.txt', a, fmt ='%.2e')

In [20]: np.savetxt('sample4.txt', a, fmt ='%.2f')

In [21]: f = np.array([[10.1+3.21j,100+32.1j],[20.0+0.2j, 22.1-1j]]) # 複素数を要素とする配列を生成


In [22]: np.savetxt('sample6.txt', f, fmt= ['%.3e + %.3ej', '%.1e + %.1ej'])

In [44]: np.loadtxt('sample4.txt', usecols = (0,2)) # 0,2列目だけを使う。
Out[44]:
array([[-0.98,  1.05],
       [ 1.31, -1.3 ],
       [-1.54,  0.4 ]])

In [45]: np.loadtxt('sample4.txt', skiprows = 1) # 0行目をとばす
Out[45]:
array([[ 1.31,  1.09, -1.3 ,  0.78],
       [-1.54, -1.47,  0.4 ,  0.13]])

In [46]: np.savetxt('sample7.txt', a, fmt ='%.3e', header='this is a header',footer='this is a footer')

In [48]: np.savetxt('sample8.txt', a, fmt ='%.3e', header='this is a header',footer='this is a footer', comments='>>>')

In [49]: np.loadtxt('sample8.txt', comments='>>>') # loadtxtでちゃんと読み込めるか確かめる。
Out[49]:
array([[-0.985 , -0.5411,  1.053 ,  1.071 ],
       [ 1.312 ,  1.093 , -1.298 ,  0.7832],
       [-1.543 , -1.466 ,  0.4029,  0.1303]])

In [10]: np.loadtxt('foo.csv', dtype=[('col1', 'i8'), ('col2', 'S10'), ('col3', 'f8'), ('col4', 'S10')]) # 8バイトのint、10バイトのstr, 8バイトのfloat,１０バイトのstrの順に指定している。
Out[10]:
array([(18, b'female',  154., b'No'), (21, b'male',  172., b'Yes'),
       (22, b'female',  160., b'Yes'), (23, b'male',  180., b'Yes'),
       (25, b'female',  145., b'No')],
      dtype=[('col1', '<i8'), ('col2', 'S10'), ('col3', '<f8'), ('col4', 'S10')])

In [11]: np.loadtxt('foo.csv', dtype=[('col1', 'i8'), ('col2', 'S10'), ('col3','f8'), ('col4', 'S10')], unpack =True) # unpack=Trueにすると転置が起こる。  
Out[11]:
[array([18, 21, 22, 23, 25]),
 array([b'female', b'male', b'female', b'male', b'female'],
       dtype='|S10'),
 array([ 154.,  172.,  160.,  180.,  145.]),
 array([b'No', b'Yes', b'Yes', b'Yes', b'No'],
       dtype='|S10')]

In [12]: age, gender, tall, driver_lisense = np.loadtxt('foo.csv', dtype=[('col1', 'i8'), ('col2', 'S10'), ('col3', 'f8'), ('col4', 'S10')], unpack =True)

In [13]: age
Out[13]: array([18, 21, 22, 23, 25])

In [14]: gender
Out[14]:
array([b'female', b'male', b'female', b'male', b'female'],
      dtype='|S10')

In [15]: tall
Out[15]: array([ 154.,  172.,  160.,  180.,  145.])

In [16]: driver_lisense
Out[16]:
array([b'No', b'Yes', b'Yes', b'Yes', b'No'],
      dtype='|S10')

In [20]: def driver_lisense(str): # 関数を２つ定義する。
    ...:     if str == b'Yes' : return 1
    ...:     else: return -1
    ...:     

In [21]: def gender(str):
    ...:     if str == b'male': return 1
    ...:     else: return -1
    ...:     

In [22]: np.loadtxt('foo.csv', converters={1: lambda s: gender(s), 3: lambda s: driver_lisense(s)}) # 文字列のデータを関数を使って数値に変換。
Out[22]:
array([[  18.,   -1.,  154.,   -1.],
       [  21.,    1.,  172.,    1.],
       [  22.,   -1.,  160.,    1.],
       [  23.,    1.,  180.,    1.],
       [  25.,   -1.,  145.,   -1.]])

In [33]: def gender2(str): # 関数を改めて設定する
    ...:     if not str: return 0 # 何も入力されていないときは0を返すようにする
    ...:
    ...:     elif  str == b'male': return 1
    ...:     else: return -1
    ...:     

In [34]: np.loadtxt('foo.csv', converters={1: lambda s: gender2(s), 3: lambda s:
    ...:  driver_lisense(s)}, delimiter =',')
Out[34]:
array([[  18.,    0.,  154.,   -1.],
       [  21.,    1.,  172.,   -1.],
       [  22.,    0.,  160.,   -1.],
       [  23.,    0.,  180.,    1.],
       [  25.,   -1.,  145.,   -1.]])

In [3]: np.genfromtxt('bar.txt', delimiter=',')
Out[3]:
array([[ 1.1,  nan,  nan],
       [ 2.3,  5.2, -9.1],
       [ 0.1,  nan,  2. ]])

In [4]: np.genfromtxt('bar.txt', delimiter=',', dtype=('int', 'float', 'int')) # int, float, intと交互にした。  
Out[4]:
array([(-1,  nan, -1), (-1,  5.2, -1), (-1,  nan, -1)],
      dtype=[('f0', '<i8'), ('f1', '<f8'), ('f2', '<i8')])