PyTorch에서 큰 네트워크를 여러 GPU에 분산 학습 (모델 병렬)

통상의 GPU에 의한 병렬화는 Data Parallel(데이터 병렬)이며, 데이터 배치를 복수의 GPU로 병렬로 처리하는 것입니다. PyTorch라면 nn.DataParallel을 사용하는 방법입니다. (참고: ) 이제 학습 속도를 빠르게 할 수 있습니다. 그러나 데이터 병렬로는 하나의 GPU 용량을 넘은 네트워크를 학습할 수 없습니다. 그래서 또 다른 병렬화 방법으로 하나의 네트워크를 여러...

PyTorchModelParellelDeepLearningGPU