【Pandas入門】データ分析のサンプル集

この記事では、Pythonとデータ分析ライブラリPandas」を行う方法についてサンプルコード付きで入門者向けに使い方を解説します。

【はじめに】Pandasとは

Pandasは、Python向けデータ分析用ライブラリです。
Pythonには様々なデータ分析ライブラリがありますが、このライブラリの大きな特徴は「R言語のデータフレームのような型」を持たせることができる点です。
つまり、R言語に似た使い方ができます。

【配列作成】Series、DataFrame

Seriesとは、ラベルが付いた1次元配列です。
※ラベル付き2次元配列の場合は、データフレームラベルにより、データの操作が可能である点が普通の1次元配列と異なる点です。
データをSeriesに変換することで統計解析がやりやすくなります。
Pandasでは、Seriesメソッドを用いることで、ラベル付きの配列を生成できます。

Series

# -*- coding: utf-8 -*-
import pandas as pd

# 1次元
data = pd.Series([158, 157, 157], index=['miho','saori','yukari'])

print(data)

"""
miho      158
saori     157
yukari    157
dtype: int64
"""

DataFrame

DataFrameとは各行・列に対してラベルが付いた2次元配列です。
各行・列のラベルにより、データの操作が可能である点が普通の配列と異なる点です。
そのため、データをデータフレームに変換することで統計解析がやりやすくなります。

Pandasでは、DataFrameメソッドを用いることで、データフレームを生成できます。

# -*- coding: utf-8 -*-
import pandas as pd

# データフレームの初期化
df = pd.DataFrame({
        'miho'  : [158, 82, 56, 84],
        'yukari': [157, 78, 58, 83],
        'saori' : [157, 85, 60, 86]
})

# 表示
print(df)
"""
    miho  saori  yukari
0   158    157     157
1    82     85      78
2    56     60      58
3    84     86      83
"""

miho,saori,yukariは各列のラベルです。
今回は各行のラベルは設定しなかったため、「0, 1, 2, 3」という行ラベルが自動で付加されています。

Pandasでは、DataFrameメソッドを用いることで、インデックスやラベルを付けたデータフレームを生成できます。

# -*- coding: utf-8 -*-
import pandas as pd

# データフレームの初期化
df = pd.DataFrame({
    '名前' : ['西住みほ', '秋山優花里', '武部沙織'],
    '身長' : [158, 157, 157]},
    index = ['車長', '装填手', '通信手']
)

# 表示
print(df)
"""
        名前   身長
車長    西住みほ  158
装填手  秋山優花里  157
通信手   武部沙織  157
"""

「車長、装填手、通信手」が各行のラベルです。

Pandasでは、date_rangeメソッドを用いることで、日付インデックス・ラベルを生成できます。

【書式】

pd.date_range(開始日付, 終了日付, オプション) 

【オプション】
freq : 周期（1日おきの日次データが欲しい場合は”D”を指定）
periods : 取得したい要素の数(21日間欲しい場合は21、終了日付を指定してる場合は不要)

【返り値】
開始～終了日付のインデックス

2017年2月1日から21日分のラベル・インデックスを生成しました。

# -*- coding: utf-8 -*-
import pandas as pd

# 日時のインデックス作成
date = pd.date_range("20170201", periods=21)

# 表示
print(date)
"""
class 'pandas.tseries.index.DatetimeIndex'
[2017-02-01 00:00:00, ..., 2017-02-21 00:00:00]
Length: 21, Freq: D, Timezone: None
"""

date_rangeメソッドを用いることで、日付インデックス・ラベルを生成できます。
今回はこれを用いて、データフレームに生成した日付インデックスを追加してみました。

【書式】

pd.date_range(開始日付, 終了日付, オプション) 

【オプション】
freq : 周期（1日おきの日次データが欲しい場合は”D”を指定）
periods : 取得したい要素の数(21日間欲しい場合は21、終了日付を指定してる場合は不要)

【返り値】
開始～終了日付のインデックス

# -*- coding: utf-8 -*-
import pandas as pd

data = {
    'miho'  : [158, 82, 56, 84],
    'yukari': [157, 78, 58, 83],
    'saori' : [157, 85, 60, 86]
}

# 日時のインデックス作成
date = pd.date_range("20170201", periods=4)
df = pd.DataFrame(data,index = date)

# 表示
print(df)

"""
            miho  saori  yukari
2017-02-01   158    157     157
2017-02-02    82     85      78
2017-02-03    56     60      58
2017-02-04    84     86      83
"""

【ファイル処理】CSV、Excelファイルの読み書き

Excelファイル、CSVファイルの読み書きを行います。

CSV読込

# -*- coding: utf-8 -*-
import pandas as pd

# CSVファイルの読み込み
df = pd.read_csv("anko.csv", index_col=0)

# 表示
print(df)

Excel読込

# -*- coding: utf-8 -*-
import pandas as pd

# Excelファイルの読み込んでデータフレームに格納
df = pd.read_excel("test.xls")

# データフレームを表示
print(df)

CSV書込

# -*- coding: utf-8 -*-
import pandas as pd

# データフレームの初期化
df = pd.DataFrame({
    '名前' : ['西住みほ', '秋山優花里', '武部沙織', '五十鈴華', '冷泉麻子'],
    '身長' : [158, 157, 157, 163, 145]},
    index = ['車長', '装填手', '通信手', '砲手', '操縦手']
)

# ファイル出力
df.to_csv("anko.csv")

Excel書込

# -*- coding: utf-8 -*-
import pandas as pd

# データフレームの初期化
df = pd.DataFrame({
    '名前' : ['西住みほ', '秋山優花里', '武部沙織'],
    '身長' : [158, 157, 157]},
    index = ['車長', '装填手', '通信手']
)

# データフレームをExcelファイルに書き込む
df.to_excel("test.xlsx")

【DataFrame操作】ソート、入れ替え、情報取得など

【統計処理】基本統計量、多変量解析

DataFrameから基本統計量の計算、多変量解析を行います。

# -*- coding: utf-8 -*-
import pandas as pd

# CSVファイルの読み込み
df = pd.read_csv("artoria.csv", index_col=0)

# 合計
sum = df['ATK'].sum()
print("sum:", sum) # sum:93566

# 平均
mean = df['ATK'].mean()
print("mean:", mean) # mean:10396.2222222

# 中央値
median = df['ATK'].median()
print("median:", median) # median: 10995.0

# 最大値
dfmax = df['ATK'].max()
print("max:", dfmax) # max: 11761

# 最小値
dfmin = df['ATK'].min()
print("min:", dfmin) # min: 7726

# データ数
N = df['ATK'].count()
print("N:", N) # N: 9

# 標準偏差
std = df['ATK'].std()
print("std:", std) # std: 1265.9073601351895

# 分散
var = df['ATK'].var()
print("var:", var) # var: 1602521.4444444445

artoria.csv

鯖名,クラス,ATK,HP,レアリティ
アルトリア,剣,11221,15150,5
アルトリア(オルタ),剣,10248,11589,4
アルトリア(リリイ),剣,7726,10623,4
アルトリア(槍),槍,10995,15606,5
アルトリア(槍オルタ),槍,9968,11761,4
アルトリア(水着),弓,11276,14553,5
アルトリア(サンタオルタ),騎,9258,11286,4
謎のヒロインX,殺,11761,12696,5
謎のヒロインX(オルタ),狂,11113,14175,5

多変量解析を行うには、機械学習ライブラリ「Scikit-learn」を組み合わせます。

【応用例】Excel処理、株価