EeBlog(テクニカルブログ)

AI（人工知能）実践 第6回　TensorFlow(アヤメの分類)1

AI関連 第6回です。
第4回、第5回ではNumpyについて触れてきました。
第6回では機械学習ライブラリで有名なTensorFlowを触れていきます。
 

TensorFlowの中身に入る前に、前提知識として、Tensor(読み方:テンソル)についてお話します。
 
Tensorとは、wikipedia(https://ja.wikipedia.org/wiki/)によると

テンソル（英: tensor, 独: Tensor）とは、線形的な量または線形的な幾何概念を一般化したもので、
基底を選べば、多次元の配列として表現できるようなものである。
しかし、テンソル自身は、特定の座標系によらないで定まる対象である。個々のテンソルについて、
対応する量を記述するのに必要な配列の添字の組の数は、そのテンソルの階数とよばれる。

とあります。
プログラマの方であれば、単純に多次元配列の事を指していると考えるとイメージしやすいかと思います。
 
テンソルに関連するものとして頻出する単語として、スカラー・ベクトル・行列がありますが、
それぞれ下記のようになります。
 
スカラーとは、大きさを示すものであり、0階のテンソルとも表現出来ます。
つまり、距離や速さ(速度はベクトル)、重さ、時間等が該当します。
プログラマであれば、配列ではなく、単純なint等のオブジェクトとして表現されるものとすると、
イメージしやすいかと思います。
 
ベクトルとは、大きさと方向を示すものであり、１階のテンソルとも表現できます。
つまり、速度や加速度、運動量等が該当します。
プログラマであれば、１次元の配列で表現されるものとするとイメージしやすいかと思います。
 
行列とは、数あるいは式(関数)を長方形状に並べて括弧で囲んだものであり、
2階のテンソルとも表現出来ます。つまり、行と列で構成されたものです。
Microsft Excelや表をイメージするとわかりやすいかもしれません。
 
 
では、ざっくりとした説明が終わったところで、TensorFlowを使った機械学習へ移っていきます。
今回からはチュートリアルにもあるアヤメの分類のコードをベースに、複数回に分けて説明していきます。
尚、TensorFlowのバージョンについては、2018/6時点で最新の1.8を使用する想定をしています。
※下記のコードは古いバージョン(1.3)のチュートリアル
(https://www.tensorflow.org/versions/r1.3/get_started/estimator#load_the_iris_csv_data_to_tensorflow)
にあるコードをベースにしていますが、TensorFlowバージョン1.8段階で非推奨部分は、
違うやり方に書き換えてあります。
 

ソース全文

import pandas as pd
import os
import urllib

import tensorflow as tf
import numpy as np

IRIS_TRAINING = "iris_training.csv"
IRIS_TRAINING_URL = "http://download.tensorflow.org/data/iris_training.csv"

IRIS_TEST = "iris_test.csv"
IRIS_TEST_URL = "http://download.tensorflow.org/data/iris_test.csv"

#データファイルが無い場合ダウンロード
if not os.path.exists(IRIS_TRAINING):
    raw = urllib.urlopen(IRIS_TRAINING_URL).read()
    with open(IRIS_TRAINING,'w') as f:
        f.write(raw)

if not os.path.exists(IRIS_TEST):
    raw = urllib.urlopen(IRIS_TEST_URL).read()
    with open(IRIS_TEST,'w') as f:
        f.write(raw)
    
#データ読み込み用のメソッド作成
def read_file(file_name):
    data=pd.read_csv(file_name, usecols = [0, 1, 2, 3])
    label = pd.read_csv(file_name, usecols = [4])
    return data.values, label.values

#データ読み込み
training_x, training_y = read_file(IRIS_TRAINING)
test_x, test_y = read_file(IRIS_TEST)

# すべてのfeatureが実数値データであることを指定する
feature_columns = [tf.feature_column.numeric_column("x", shape=[4])]

# 10, 20, 10のノードを持つ3層のDNNを作成
classifier = tf.estimator.DNNClassifier(feature_columns=feature_columns,
                                        hidden_units=[10, 20, 10],
                                        n_classes=3,
                                        model_dir="./iris_model")

# 学習用データ(辞書)を返す関数の作成
train_input_fn = tf.estimator.inputs.numpy_input_fn(
    x={"x": np.array(training_x)},
    y=np.array(training_y),
    num_epochs=None,
    shuffle=True)

# 学習の実行。stepsを分割して実行しても同様の結果を得られる
classifier.train(input_fn=train_input_fn, steps=2000)

# 評価用データ(辞書)を返す関数の作成
test_input_fn = tf.estimator.inputs.numpy_input_fn(
    x={"x": np.array(test_x)},
    y=np.array(test_y),
    num_epochs=1,
    shuffle=False)

# 評価
accuracy_score = classifier.evaluate(input_fn=test_input_fn)["accuracy"]

print("\nTest Accuracy: {0:f}\n".format(accuracy_score))

解説

前述のソースコードを順に説明していきます。

ライブラリインポート

import pandas as pd
import os
import urllib

import tensorflow as tf
import numpy as np

必要となるライブラリのインポートを行っています。
上から順に

pandas : 高性能で使いやすいデータ構造とデータ解析ツールを提供するオープンソースのライブラリ
os : OS 依存の機能を利用するポータブルな方法を提供するPython標準モジュール
usllib: URL を扱う幾つかのモジュールを集めたPython標準パッケージ
tensorflow : Googleの開発した機械学習用のオープンソースのライブラリ
numpy :数値計算を効率的に行うためのオープンソースの拡張モジュール

です。
 

学習・評価用データのダウンロード元・保存ファイル名定義

IRIS_TRAINING = "iris_training.csv"
IRIS_TRAINING_URL = "http://download.tensorflow.org/data/iris_training.csv"

IRIS_TEST = "iris_test.csv"
IRIS_TEST_URL = "http://download.tensorflow.org/data/iris_test.csv"

学習・評価用データファイルダウンロードや、データ読み込みの際に使うため、
ファイル名とダウンロード元を定義しています。
 

学習・評価用のデータのダウンロード

#データファイルが無い場合ダウンロード
if not os.path.exists(IRIS_TRAINING):
    raw = urllib.urlopen(IRIS_TRAINING_URL).read()
    with open(IRIS_TRAINING,'w') as f:
        f.write(raw)

if not os.path.exists(IRIS_TEST):
    raw = urllib.urlopen(IRIS_TEST_URL).read()
    with open(IRIS_TEST,'w') as f:
        f.write(raw)

os.path.exsistsメソッドにて、前述のデータファイルが存在するかチェックしています。
ファイルが存在しない場合、urllib.urlopenメソッド及びreadメソッドにて、
ダウンロード元にアクセスし、データの読み込みを行っています。
その後、with openでファイルを上書きモードで開き(ファイルが存在しなければ新規作成される)、
writeで読み込んだデータをファイルに書き込んでいます。
 
次回に続きます。

2018年7月18日 | カテゴリー：AI（人工知能）

│トップ│