소개

NVIDIA Visual Profiler라는 CUDA에 관한 드로잉이 조금 풍부한 Profiler가 있습니다.
이런 느낌입니다.



병목 현상을 분석하고 최적화하는 데 유용합니다.
리모트 머신으로 Install 해 두고 nvvp 라고 하면 기동해, 이하와 같이 터미널 단말로부터 X11라든지로 기동할 수도 있습니다만



동작이 무거워지기 쉽기 때문에, nvprof 로 profiling만 리모트 머신으로 행해, scp 로 로컬 머신에 결과를 날려,
로컬 NVIDIA Visual Profiler를 사용하는 일련의 흐름을 소개하고 싶습니다.
(또한 원격 컴퓨터는 nvprof를 사용할 수 있다고 가정합니다)

공식 문서는 여기에 있습니다. (영어)
htp // // cs. 응아아. 코 m/쿠다/p로후ぇぇr-우세 rs-구이데/그리고 x. html
htp://cs. 이 lby. 에즈 / 이렇게 rs s / S14 / cs336 / 온 네_ 마테리아 ls / 쿠다 _ P 로후 ぇ r _ 우세 rs _ 구이. pdf
h tp // w w. 그래. 에 s/wp 콘텐트 t/우 p아아 ds/2015/12/쿠다-p 로후페 g-와 ls. pdf
ぺtp ://ぺ오 pぇ. 마 ths. x. 아 c. 우 k / 기 sm / 쿠다 / 〇 cs / n V_P 로후 ぃ ぃ g_ ぉ w 레 s. pdf
이쪽도 참고가 되었습니다.
h tp : // / p pc t. hpc. 이. jp/우우키/그리고 x. php/쿠다_5%에 3%81%아에%에6%96%B0%에6%아9%9F%에8%83%BD(4):_응 vp로 f%에3%83%97% 에 3% 83% 에 D% 에 3% 83% 95% 에 3% 82% 에 1% 에 3% 82% 에 4% 에 3% 83% 에9

로컬 컴퓨터 설정

우선 여기에서 로컬 머신에 다운로드 & 설치
htps : //에서 ゔぇぺぺr. 응아아. 코 m / 응 ぃ ぢ ぃ ゔ

왼쪽 다운로드 CUDA Toolkit 8.0 선택

이번에는 로컬 컴퓨터가 OSX이므로 최신 버전의 OSX를 선택하고 dmg 및 patch 다운로드

우선, 용량이 큰 쪽의 dmg를 열어, 인스톨러를 기동해, 이 때 패스워드를 요구된다

Accept and Proceed 선택

Install Complete하면 Finish

마찬가지로 patch를 열고 CUDA Patch를 선택한 상태로 Next

Install Complete하면 Finish

이것으로 준비는 완료.

nvvp 응용 프로그램을 찾아서 시작하면 NVIDIA Visual Profiler를 로컬 환경에서 사용할 수 있습니다.

사용해보기

nvprof로 프로필을 가져옵니다.

예를 들어 Caffe2 등에서 다음과 같은 명령을 앞에 nvprof -o profile.nvp 를 붙이는 형태로 profiling 합니다.nvprof의 경우 다음 사이트
htp // // cs. 응아아. 코 m/쿠다/p로후ぇぇr-우세 rs-구이데/그리고 x. html # n vp 로 f - 오 ぇ r ゔ ぃ w

nvprof -o profile.nvp \
      python \
          ${CAFFE2_HOME}/caffe2/python/examples/resnet50_trainer.py  \
          --train_data $TRAIN_DATA \
          --num_gpus $NUM_GPUS \
          --batch_size 32 \
          --epoch_size 90 \
          --num_epochs 1 \
          --base_learning_rate 1.0 \
          --weight_decay 0.0001

이 방법으로 nvprof 결과를 profile.nvp로 저장합니다.

scp 등으로 로컬 컴퓨터로 결과 전송

이 profile.nvp를 scp 명령 등을 사용하여 로컬 컴퓨터에 다운로드하고 NVIDIA Visual Profiler에서 살펴 보겠습니다.

$ scp username@XXX_Cluster:/hoge/profile.nvp /hoge/Desktop

NVIDIA Visual Profiler에서 profile.nvp 열기

먼저 NVIDIA Visual Profiler를 시작하고 가져 오기에서 profile.nvp를 엽니 다

nvprof를 선택하고 이번에는 단일 프로세스를 선택합니다.

타임 라인 데이터 파일에서 찾아보기를 선택하고 profile.nvp 경로 지정

선택한 후 Finish로로드

그러면 다음과 같은 화면이 표시됩니다.

참고