딥 러닝이란?

5810 단어 DeepLearning
대단하다고 해도 모르는 사람을 향해.(이런 몸의 사내 학습회 자료)
기계 학습에서 시작된 다리다.

Deep Learning(as TL;DR)

  • 머신러닝(Machine Learning)의 일종
  • 다층신경망 사용
  • 특징량 추출 자동화
  • 학습 비용은 높지만 사람의 노동력을 억제할 수 있다
  • 단, 훈련 데이터는 여전히 수작업으로 제작해야 한다
  • 기계 학습에서의 포지셔닝


    기계 학습의 구성 요소

  • 학습 데이터
  • 특징량
  • 알고리즘
  • '공부'방법은 세 가지가 있습니다.

  • 교사학습(Supervised learning)
  • 교사 학습 없음
  • Deep Learning은 주로 이거
  • 학습 강화
  • 전형적인 알고리즘

  • 결정 트리
  • 벡터 머신 지원
  • 클러스터링
  • 신경망
  • Deep Learning 이 코너
  • 베일스 네트워크
  • 학습 강화
  • 유전 알고리즘
  • 신경 네트워크가 더욱 정교하다


    구성 요소

  • 레이어 입력
  • 숨겨진 레이어
  • 출력층
  • 레이어 간 연결 방법

  • 전체 키
  • 부분 결합

  • ※ 그림은 대략적인 개념일 뿐

    전형적인 방법

  • 권적신경망(CNNN)
  • 이미지 인식에 많이 사용
  • 부분 결합
  • 귀환신경망(RNN)
  • 음성인식에 사용
  • 전체 키
  • 롱, 단기 기억(LSTM)(RNN의 일종)
  • 볼레즈만 기계
  • 대표적인 기교

  • 브로콜리(정방향 전파법)
  • 직관적이지만 계산량은 거대해지기 쉽다
  • 사다리 하강법
  • 오차 역방향 전파법
  • 미리 배우기
  • 함매의 초기 파라미터를 설정하는 방법
  • 푸르닌
  • 계산량을 줄이기 위해 학습된 네트워크의 연결 감소
  • 볼륨 신경 네트워크(Deep Learning의 예제)

  • Deep Learning이 널리 알려지는 계기가 되는 방법.
  • 숨겨진 층이 많은 네트워크를 이용하여 이미지 식별의 성공률을 비약적으로 높였다
  • 이미지 인식에 많이 사용
  • 서로 다른 필터를 하나하나 응용하여 이미지 처리를 하는 이미지
  • Deep Learning의 장단점


    이점

  • 특징량 추출을 하지 않아도 된다
  • 학습된 모델을 식별하는 데 사용하는 계산 비용은 매우 적다
  • 결점

  • 대량의 학습 데이터 필요
  • 학습 계산 원가가 크다
  • 층이 많을수록 블랙박스화되기 쉽다
  • 단락


    진짜 블랙박스야?


    CNN에 관해서는 다소 의미를 부여할 수 있다.
  • 이미 배운 인터넷은 인류가 물건을 볼 때의 인식과 매우 비슷하다
  • (수입층에 가까운 층)과 시각장의 V2의 활성화 모드가 비슷하다
  • 학습 모드 예
    https://devblogs.nvidia.com/parallelforall/deep-learning-computer-vision-caffe-cudnn/

    Deep Learning을 시작하려면


    하드웨어 필요

  • TESLA(NVIDIA GPGPU)
  • NVIDIA의 GPU를 사용할 수 있는 AWS

  • TPU (Tensor Processing Unit)
  • GPU도 AMD를 내놓았고, Deep Learning은 CUDA의 독주였다.
    2016/06 시에는 TPU 사용이 일반 사용자에게 개방되는지 알 수 없습니다.

    소프트웨어 추가


    (학습용) 프레임워크

  • TensorFlow(C/Python)
  • 확장성 중요
  • Chainer(Python)
  • 유연성 중요
  • Torch7(Lua/C)
  • 고속
  • Caffe(C/Python/Matlab)
  • CNN 특화
  • 학습된 네트워크(실제 추리 엔진)

  • 자체 학습 네트워크 구축

  • CLOUD VISION API(Google)(유상)
  • 일단 입문부터 해보고 싶어요!


    NVIDIA Deep Learning 학습 과정

  • 일본어 내용

  • https://nvidia.qwiklab.com/focuses/preview/223(등록 페이지만 영어)
  • 기본 게임 무료
  • AWS의 GPU 학습 과정을 무료로 이용할 수 있습니다.
  • 프레임워크를 선택하고 Deep Learning을 실제로 실행하는 것은 무료입니다.
  • 더 자세한 내용은 유상 제공(단, 실제로는 AWS 사용료만으로 학습가능)
  • 참고 자료

  • Deep learning 시작
    http://qiita.com/icoxfog417/items/65e800c3a2094457c3a0
  • 「Deep learning」
    http://www.slideshare.net/kazoo04/deep-learning-15097274
  • "지금 들리지 않는 Deep Learning 초입문(1)"
    http://www.atmarkit.co.jp/ait/articles/1510/27/news008.html
  • "딥러닝이 뭐예요?"
    https://thinkit.co.jp/story/2015/08/31/6364
  • Deep learning(wikipedia 영어)
    https://en.wikipedia.org/wiki/Deep_learning
  • '머신러닝'(wikipedia 영어)
    https://en.wikipedia.org/wiki/Machine_learning
  • "일반인을 위한 Deep Learning"
    http://www.slideshare.net/pfi/deep-learning-22350063
  • Mark 2016 "Convolutional Neural Network 입문"
    https://drive.google.com/file/d/0B04ol8GVySUuMUx2MHJUWjVGQ2s/view
  • "NVIDIA Deep Learning Day 2016 Spring의 개인 요약"
    http://qiita.com/it__ssei/items/822101c25568229fd3cd
  • '심층학습'(강의사 기계학습 전공 시리즈)
    http://www.kspub.co.jp/book/detail/1529021.html
  • 좋은 웹페이지 즐겨찾기