( 목차는 이쪽 )

여기까지 요약

TensorFlow의 Deep Neural Networks (1) ~ (9) 에서,
로지스틱 회귀 → 다항 로지스틱 회귀 → 다층 퍼셉트론 → 고정 필터 컨벌루션 뉴럴 네트워크 → 컨벌루션 뉴럴 네트워크
그리고 발전시켜 왔습니다.

Convolutional Neural Networks/Deep Learning은 잘 듣기 때문에 신경이 쓰여 처음부터 스스로를 조사하기 시작하면 여러 가지 수학적 사전 지식이 없으면 이해가 진행되지 않는 벽에 직면하지만 결국은 곳곳에서 잘 보이는,

y = f\Biggl(\sum_{i=1}^n w_i x_i + b \Biggr)

이해하고 위의 단계를 밟으면 나름대로 이해할 수 있습니다.

실장면에서는 뉴럴 네트워크의 최적화를 스스로 실장한다는 것은, 우선 하지 않아도 되므로, 매우 문턱은 낮다고 생각합니다. 이번에는 TensorFlow를 사용했지만 Caffe 등을 사용해도 구현 난이도적으로는 거의 같은 느낌일까 생각합니다. 이런 라이브러리 덕분에, 신경망 모델을 쉽게 깎아내는 것은 정말 좋은 세상이라고 생각합니다.

또한 실행 환경에 대해서도 AWS와 GCP 덕분에 매우 쉽게 시도할 수 있습니다. 저는 EC2(AWS) c4.2xlarge(vCPU: 8, Mem: 15GB) ~ c4.8xlarge(vCPU: 32, Mem: 60GB)를 사용하고 있지만 스팟 인스턴스라면 c4.2xlarge의 경우 , 10 엔/hour 정도로 사용할 수 있습니다. (가끔 튀어 오르지만..) 나는 아직도 MacBookPro late 2011입니다만, AWS가 있기 때문에 그다지 곤란하지 않습니다.

덧붙여서, 제대로 CNN을 한다면, GPU는 필수라고 생각합니다. c4.2xlarge에서 하고 있던 것을 g2.2xlarge로 시도하면 7배 정도 빨라졌습니다. 사람 손으로 결정하는 파라미터도 비교적 있기 때문에, 시행 착오하기 위해서는 처리 속도가 빨리 넘은 적 없기 때문에.

라고 하는 것으로, 다음 기사 그럼, 인스턴스별의 속도 비교해 보자고 생각합니다.