논문: AN ANALYSIS OF DEEP NEURAL NETWORK MODELS FOR PRACTICAL APPLICATIONS를 읽었을 때의 메모

3365 단어 CNN

소개



AN ANALYSIS OF DEEP NEURAL NETWORK MODELS
FOR PRACTICAL APPLICATIONS를 읽었을 때의 메모입니다.
정확한 곳은 원문을 부탁드립니다. <(_ _)>
htps : // 아 rぃ v. rg / pdf / 1605. 07678. pdf

논문 개요


  • ImageNet과 같은 경쟁의 목적은 accuracy입니다.
  • 한편으로, 실운용에서는 생각해야 할, 추론 시간은? 메모리 사용량은? 명령 수는? 소비 전력은? 에도 주목하여 주요 CNN에 대해 비교했다.

    • 논문에는 쓰지 않았지만 알아야 할 사항


  • AlexNet, VGG는 전체 결합 층이 어쨌든 무겁다.
  • NIN 이후 Global Average Poolong으로 극적으로 개선
  • AlexNet이라면, 전체 결합층이 전체 파라미터수의 93%를 차지한다.
  • Keras에서는 VGG도 인수 하나로 GAP로 할 수 있습니다


    • 비교 결과❶accuracy


  • 새로운 기법인 Resnet과 Inception이 좋은 accuracy를 내고 있다.
  • VGG는 정확도에 대한 명령 수를 압도적으로 필요합니다. (많은 어플리케이션에서 사용되고 있음에도 불구하고)


    • 비교결과❷추론시간과 소비전력


  • VGG가 한 장의 추론에 0.2초 가까이 걸렸다.
  • Alexnet은 배치 크기를 변경하면 추론 시간이 3배 빨라진다. (AlexNet에서 지배적 인 것은 전체 결합 층이고 새로운 CNN에서 지배적 인 것은 컨벌루션 층이기 때문입니까?)
  • 전력 소비는 종종 배치 크기와 관련이 있습니다.


    • 비교 결과 ❸ 메모리 사용료


  • 메모리 사용량은 처음에 모델 자체가 메모리를 확보 한 다음 배치 크기에 따라 증가합니다
  • 모델의 크기가 100M 미만이라면, 확보하는 메모리의 크기는 200M 미만이 아니다. 또한 모델의 종류에 관계없이 파라미터 수에 대한 기울기는 1.3.


    • 비교 결과 ❹ 명령 수


  • 명령 수와 추론 시간은 비례 관계에 있습니다. (배치 크기 16에서는)
  • 따라서 설계시 실시간 애플리케이션 및 리소스가 제한된 환경에서 허용 가능한 추론 시간을 충족시키기위한 명령 수를 추정 할 수 있습니다.


    • 비교 결과 ❺ 명령 수와 소비 전력


  • 모델 유형에 따라 전력 소비가 크게 변하지 않는다.
  • 배터리 등에 불안이 있는 경우는, 어플리케이션의 요건을 만족하는 범위에서 처리 시간이 느린 모델을 선택하면 된다


    • 비교 결과 ❻accuracy 및 처리량


  • 예측 정확도와 속도는 절충


    • 비교 결과 ❼ 파라미터 수


  • VGG는 AlexNet보다 정밀도는 좋지만 매개 변수 당 정밀도는 낮습니다
  • 필자의 ENet가 가장 파라미터당의 정밀도 밀도가 있어, 우수하다?


    • 결론


  • 예측 정확도와 추론 시간은 hyperbolic relationship. 조금이라도 예측 정밀도를 올리려고 하면 computational time이 크게 걸린다.
  • 모델의 명령 수로부터 추론 시간을 추정할 수 있다.
  • energy constraint가 accuracy and model complexity, in terms of operations counts의 상한을 결정한다.
  • ENet은 매개 변수 당 정보량이 가장 많습니다. AlexNet의 13배. VGG-19의 24배.
    • 데이터가 적고, GPU도 없는 환경에서 CNN에 도전(전이 학습)
    [Pytorch] QATM : Quality-Aware Template Matching For Deep Learning을 다시 구현해 보았습니다.

    좋은 웹페이지 즐겨찾기

    개발자 우수 사이트 수집

    개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
    best100-homepage