4.5 학습 알고리즘의 실현

4.5
학습 알고리즘의 실현
4.4까지 신경 네트워크 학습에 관한 모든 기본 지식을 갖추었다.
지금까지 나온'손실함수','소량','사다리꼴','사다리꼴하강법'네 단어를 복습하기 위해 신경망의 학습 절차를 소개한다.
※ 전제
'공부'·신경 네트워크는 적응 가능한 권중과 편압을 가지고 있으며, 이 권중과 편압을 조정하여 훈련 데이터에 적응시킨다

확률 경도 하강법··"무작위로 선택한 데이터의 경도 하강법"
4.5.12층 신경망류
TwoLayerNet이라는 클래스로서 다음과 같이 실현된다
qiita.rb

import sys, os
sys.path.append(os.pardir)
from common.functions import *
from common.gradient import numerical_gradient
class TwoLayerNet:
def __init__(self, input_size, hidden_size, output_size,
weight_init_std=0.01):
# 重みの初期化
self.params = {}
self.params['W1'] = weight_init_std * \
np.random.randn(input_size, hidden_size)
self.params['b1'] = np.zeros(hidden_size)
self.params['W2'] = weight_init_std * \
np.random.randn(hidden_size, output_size)
self.params['b2'] = np.zeros(output_size)
def predict(self, x):
W1, W2 = self.params['W1'], self.params['W2']
b1, b2 = self.params['b1'], self.params['b2']
a1 = np.dot(x, W1) + b1
z1 = sigmoid(a1)
a2 = np.dot(z1, W2) + b2
y = softmax(a2)
return y
# x:入力データ, t:教師データ
def loss(self, x, t):
y = self.predict(x)
return cross_entropy_error(y, t)
def accuracy(self, x, t):
y = self.predict(x)
y = np.argmax(y, axis=1)
t = np.argmax(t, axis=1)
accuracy = np.sum(y == t) / float(x.shape[0])
return accuracy
# x:入力データ, t:教師データ
def numerical_gradient(self, x, t):
loss_W = lambda W: self.loss(x, t)
grads = {}
4.5 学習アルゴリズムの実装 115
grads['W1'] = numerical_gradient(loss_W, self.params['W1'])
grads['b1'] = numerical_gradient(loss_W, self.params['b1'])
grads['W2'] = numerical_gradient(loss_W, self.params['W2'])
grads['b2'] = numerical_gradient(loss_W, self.params['b2'])
return grads

4.5.2 소량 학습의 실시
소량 학습///훈련 데이터에서 일부 데이터를 무작위로 추출하여 소량을 대상으로 계단법으로 파라미터를 업데이트합니다
qiita.rb

import numpy as np
from dataset.mnist import load_mnist
from two_layer_net import TwoLayerNet
(x_train, t_train), (x_test, t_test) = \
load_mnist(normalize=True, one_hot_label=True)
train_loss_list = []
# ハイパーパラメータ
iters_num = 10000
train_size = x_train.shape[0]
batch_size = 100
learning_rate = 0.1
network = TwoLayerNet(input_size=784, hidden_size=50, output_size=10)
for i in range(iters_num):
# ミニバッチの取得
batch_mask = np.random.choice(train_size, batch_size)
x_batch = x_train[batch_mask]
t_batch = t_train[batch_mask]
# 勾配の計算
grad = network.numerical_gradient(x_batch, t_batch)
# grad = network.gradient(x_batch, t_batch) # 高速版!
# パラメータの更新
for key in ('W1', 'b1', 'W2', 'b2'):
network.params[key] -= learning_rate * grad[key]
# 学習経過の記録
loss = network.loss(x_batch, t_batch)
train_loss_list.append(loss)

4.5.3 테스트 데이터를 통한 평가
그림4-11의 결과를 보면 반복 학습은 손실 함수의 값을 점점 떨어뜨린다
확인했습니다.
마지막으로'공부'가 있었는지 확인해야 한다.
qiita.rb

train_acc_list = []
test_acc_list = []
# 1 エポックあたりの繰り返し数
iter_per_epoch = max(train_size / batch_size, 1)

qiita.rb

# 1 エポックごとに認識精度を計算
if i % iter_per_epoch == 0:
train_acc = network.accuracy(x_train, t_train)
test_acc = network.accuracy(x_test, t_test)
train_acc_list.append(train_acc)
test_acc_list.append(test_acc)
print("train acc, test acc | " + str(train_acc) + ", " + str(test_acc))