TensorFlowやってみた Softmax Regressions

これは以下のチュートリアルをやってみたログである。
http://www.tensorflow.org/tutorials/mnist/beginners/index.html#mnist-for-ml-beginners

分類問題には古典的にはSoftmax Regressionsを使用するのが自然である。

あるクラスは入力値にそれぞれの重みをかけて足し合わせたものだとする。これをevidenceと呼べば

evidence_i = w_ij x_j + b_i

ここでb_iはバイアスである。ここで同一添字の和を省略した。

これを確率に変化させるためにsoftmax関数を使う。

y_i = softmax(x)_i = e^(x_i)/Σ_je^(x_j)

よって

y_i = softmax(evidence_i)_i

これを単に

y = softmax(Wx+b)

と書くことにする。

Regression部分の実装

以下コードのまとめ

#coding:UTF-8

import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

import tensorflow as tf

## ネットワーク

# 入力
x = tf.placeholder(tf.float32, [None, 784])
# 重み
W = tf.Variable(tf.zeros([784, 10]))
# バイアス
b = tf.Variable(tf.zeros([10]))
# ソフトマックス活性化関数
y = tf.nn.softmax(tf.matmul(x, W) + b)



## Tarining ##

# 予測した確率分布
y_ = tf.placeholder(tf.float32, [None, 10])

# クロスエントロピー
cross_entropy = -tf.reduce_sum(y_*tf.log(y))

# バックプロパゲーション(誤差逆伝播法)
# 学習比率 0.01
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

#初期化
init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)

# train
for i in range(1000):
    # データを取得 １回で１００個のデータ(バッチ)を持ってくる
    batch_xs, batch_ys = mnist.train.next_batch(100)
    # ステップを実行
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})


## 結果表示 ##

# 正解かの添削 ??
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))

# 0,1に変換
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

# 精度表示
print sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels})