히로시마 대학에서 사회 기반(토목)을 전공하고 있는 3학년입니다.
현재는 1년간 휴학해 건설계의 IT기업에서 인턴을 하고 있습니다.
이번은 Semantic Segmentation의 PSPNet에서 뇌의 MRI 이미지의 데이터 세트를 학습시켜 가시화까지 실시했습니다.

이번 학습에 사용한 데이터 세트에 대해서

kagge에서 공개된 뇌의 MRI 데이터 세트( htps //w w. 꺄gぇ. 코 m / mateu sz buda / l g-m rise g 멘 타타 온 )를 사용했습니다.
PSPNet으로 뇌 종양을 검출합니다.

PSPNet(Pyramid Scene Parsing Network)이란?

PSPNet은 시맨틱 세그멘테이션 모델 중 하나입니다.
간단하게 모델의 개요를 설명하면

Feature Map(이번 Resnet50을 사용)으로 3×475×475로 리사이즈한 화상의 특징량을 추출.

추출된 2048×60×60의 특징 맵을 5개로 분기시켜 1개는 그대로 나머지는 4개는
이하의 처리를 행한다.

1. 다른 크기의 커널로 풀링

2. 컨벌루션으로 채널 수를 2048에서 512로 줄입니다.

3. 업 샘플링하여 4 개의 특징 맵을 512 × 60 × 60으로 설정

하나 놓은 2048×60×60의 특징 맵과 4개의 512×60×60의 맵을 결합시켜 4096×60×60의 특징 맵으로 한다.

Decoder 모듈로 특징 맵으로부터 추론 결과(클래스수+1, 475, 475)를 낸다
이러한 처리는 추론 처리에서 수행됩니다.

이번의 개요 설명으로는 불충분하다고 느끼는 분도 많다고 생각합니다.
자세한 모델의 내용은 이쪽( htps : // 아 rぃ v. rg / pdf / 1612. 01105v2. pdf )과 「만들면서 배운다! PyTorch에 의한 발전 딥 러닝」 ( https://www.amazon.co.jp/%E3%81%A4%E3%81%8F%E3%82%8A%E3%81%AA%E3%81%8C%E3%82%89%E5 %AD%A6%E3%81%B6%EF%BC%81PyTorch%E3%81%AB%E3%82%88%E3%82%8B%E7%99%BA%E5%B1%95%E3%83 %87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0 -%E5%B0%8F%E5%B7%9D-%E9%9B%84%E5%A4%AA%E9%83%8E-ebook/dp/B07VPDVNKW ) 가 대단히 참고가 되었습니다.

구현 정보

실장도 「만들면서 배운다! PyTorch에 의한 발전 딥 러닝」을 참고로 했습니다.
자신이 구현한 코드의 github 링크가 여기입니다.
( htps : // 기주 b. 코 m / 아키토 - 후지하라 / M 리 - B 라이언 - PSP 네 t475 )
jupyter 노트북과 py 파일을 넣습니다.
데이터세트, weight 파일 등은 다운로드하여 다음 구성으로 해 주십시오.

MRI-Brain-PSPNet475-model/
┣ kaggle_3m(kaggle에서 다운로드한 데이터세트※ htps //w w. 꺄gぇ. 코 m / mateu sz buda / l g-m rise g 멘 타타 온 )
┣ log_output.csv (학습의 loss 기록)
┣ PSPNet_test.ipynb (추론 · 시각화)
┣ PSPNet_train.ipynb (학습)
┣ result_image (추론 결과를 시각화 한 이미지를 저장하는 파일)
┣ utils
┃ ┣ init.py(이 파일이 존재하는 디렉토리를 패키지가 된다.)
┃ ┣ data_augumentation.py (전처리)
┃ ┣ dataloader.py (pytorch dataloader 만들기)
┃ ┣ pspnet.py (모델)
┃ ┗pspnet475_show.py(가시화)
┗weights(weight 파일 저장)
   ┗pspnet50_ADE20K.pth( h tps://d ゔぇ. 오, ぇ. 코 m/후에/d/12엔 6Sp인 w 유 QmD1k9VgVW3QSgPR6 히 c/ぃぃ에 w 에서 다운로드)

학습·추론 결과와 고찰

가시화한 이미지는 하늘색이 교사 데이터, 노란색이 추론 결과입니다.

잘 추론할 수 있는 예
  
잘 추론 할 수 없었던 예
  

결과로부터 이미지의 농담이 적은 것의 결과가 특히 나쁜 것을 알았습니다. (당연하지만,,,)
( htps : // Pape rsu th 여기. 코 m / Pape r / 및 r Chio-a-py-on-b-b ry-fu-r-e-fu-shien t 등) 전처리에 대해서도 여러가지 조사해 보고 싶습니다.
또, ( htps //w w. s에서 멋지다. 네 t / mi t m l / uno fu shia l py 라미 d s 네 네 r r gin g 네와 rk-cvpr-2017 )에도 쓰여져 있습니다만 crop size, batch size(colab라고 바꿀 수 없을지도,,), 등 파라미터가 중요해 보이기 때문에 바꾸어 보는 것도 재미있는 것이 아닐까 생각합니다. ( htps //w w. st-하 ky-bぉg. 코m/엔트리/2017/11/16/161805 참고로)