머신 러닝 - Iris Classification(3)
◾데이터 나누기(Decision Tree)
1. 과적합
과적합(Overfitting)
: 기계 학습(machine learning)에서 학습 데이터를 과하게 학습(overfitting)하는 것을 뜻한다. 일반적으로 학습 데이타는 실제 데이타의 부분 집합이므로 학습데이타에 대해서는 오차가 감소하지만 실제 데이터에 대해서는 오차가 증가하게 된다.지도 학습
: 학습 대상이 되는 데이터에 정답을 붙여서 학습시키고 모델을 얻어 완전히 새로운 데이터에 대한 '답'을 얻고자 하는 것- 학습, 추론(학습된 모델을 사용하는 것)
- 이전 포스트에서 만든 Decision Tree를 확인하면 복잡한 규칙으로 이루어진 것을 볼 수 있다.
# decision tree 그래프
from sklearn.tree import plot_tree
plt.figure(figsize=(12, 8))
plot_tree(iris_tree)
plt.show()
- mlxtend : sklearn에 없는 몇몇 기능을 가지고 있다.
# 결정나무 모델이 어떻게 데이터를 분류했는지 확인할 수 있다.
from mlxtend.plotting import plot_decision_regions
plt.figure(figsize=(14, 8))
plot_decision_regions(X=iris.data[:, 2:], y=iris.target, clf=iris_tree, legend=2)
plt.show()
- 조건이 복잡하게 결정된 것을 알 수 있다.
- 모든 IRIS에 대해 맞는 경계선을 가질 수 있는가?
- 이 결과를 내가 가진 데이터를 벗어나서 일반화할 수 있는가
- 얻은 데이터는 유한하고 얻은 데이터를 이용해 일반화를 추구하게 된다.
- 복잡한 경계면은 모델의 성능을 결국 나쁘게 만든다.
2. 데이터 분리(나누기)
- 데이터의 분리 : 훈련(Training), 검증(Validation), 평가(Testing)
- 확보한 데이터 중에서 모델 학습에 사용하지않고 빼둔 데이터를 이용해 모델 테스트
import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
iris = load_iris()
features = iris.data[:, 2:]
labels = iris.target
# 랜덤으로 데이터를 선택하기 때문에 라벨간 비율이 맞지않을 수 있다.
# X_train, X_test, Y_train, Y_test = train_test_split(features, labels, test_size=0.2, random_state=318)
# 라벨간 비율을 맞추기 위해 stratify 옵션 사용
X_train, X_test, Y_train, Y_test = train_test_split(features, labels,
test_size=0.2,
stratify=labels,
random_state=13)
# train 데이터를 대상으로 결정 나무 모델 생성
# 학습의 일관성을 위해 random_state 고정
# 모델의 단순화를 위해 max_depth 조정 => 규제
iris_tree = DecisionTreeClassifier(max_depth=2, random_state=13)
iris_tree.fit(X_train, Y_train)
# 트리(모델) 확인
import matplotlib.pyplot as plt
from sklearn.tree import plot_tree
plt.figure(figsize=(12, 10))
plot_tree(iris_tree)
plt.show()
# 정확성 계산
# iris 데이터가 단순해서 높은 정확성을 보인다.
from sklearn.metrics import accuracy_score
y_pred_tr = iris_tree.predict(X_train)
accuracy_score(Y_train, y_pred_tr)
# 결정 경계 확인
import matplotlib.pyplot as plt
from mlxtend.plotting import plot_decision_regions
plt.figure(figsize=(12, 8))
plot_decision_regions(X=X_train, y=Y_train, clf=iris_tree, legend=2)
plt.show()
# 테스트 데이터에 대한 accuracy
y_pred_test = iris_tree.predict(X_test)
accuracy_score(Y_test, y_pred_test)
# 테스트 데이터 결정 경계 확인
import matplotlib.pyplot as plt
from mlxtend.plotting import plot_decision_regions
scatter_highlight_kwargs = {'s' : 150, 'label' : 'Test data', 'alpha' : 0.9}
scatter_kwargs = {'s' : 120, 'edgecolor' : None, 'alpha' : 0.9}
plt.figure(figsize=(12, 8))
plot_decision_regions(X=features, y=labels,
X_highlight=X_test, clf=iris_tree, legend=2,
scatter_highlight_kwargs = scatter_highlight_kwargs,
scatter_kwargs = scatter_kwargs,
contourf_kwargs={'alpha' : 0.2}
)
plt.show()
# feature 4개 사용
features = iris.data
labels = iris.target
x_train, x_test, y_train, y_test = train_test_split(features, labels,
test_size = 0.2,
stratify = labels,
random_state=13)
iris_tree = DecisionTreeClassifier(max_depth = 2, random_state = 13)
iris_tree.fit(x_train, y_train)
# 결정 트리 확인
plt.figure(figsize=(12, 10))
plot_tree(iris_tree)
plt.show()
- 구현한 모델 테스트
- 구현 모델의 특성
Author And Source
이 문제에 관하여(머신 러닝 - Iris Classification(3)), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://velog.io/@skarb4788/머신-러닝-Iris-Classification3저자 귀속: 원작자 정보가 원작자 URL에 포함되어 있으며 저작권은 원작자 소유입니다.
우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)