PyTorch 튜 토리 얼 5 데이터 병행(선택)

%matplotlib inline

데이터 병렬(선택)
Authors: Sung Kim and Jenny Kang
이 튜 토리 얼 에서 우 리 는 다 중 GPU 를 어떻게 사용 하 는 지 배 울 것 이다.
PyTorch 는 여러 GPU 를 쉽게 사용 할 수 있 습 니 다.다음 과 같은 방식 으로 하나의 모델 을 GPU 에 올 릴 수 있 습 니 다.

    device = torch.device("cuda:0")
    model.to(device)

GPU:그리고 모든 장 량 을 GPU 에 복사 합 니 다.

    mytensor = my_tensor.to(device)

호출DataParallel만 GPU 에 복사 되 지 않 고 copy 를 되 돌려 주 었 음 을 주의 하 십시오.그래서 새로운 장 량 에 값 을 부여 하고 GPU 에서 이 장 량 을 사용 해 야 합 니 다.
다 중 GPU 에서 실행 전 방향 과 역방향 전 파 는 자 연 스 러 운 일이 다.하지만 PyTorch 는 기본적으로 하나의 GPU 만 사용 합 니 다.
사용my_tensor.to(device)은 모델 을 여러 GPU 에서 쉽게 병행 할 수 있다.

    model = nn.DataParallel(model)

이것 이 야 말로 이 튜 토리 얼 의 핵심 이 며,이어서 우 리 는 그것 을 더욱 상세 하 게 소개 할 것 이다.
가 져 오기 및 인자
PyTorch 모듈 과 정의 파 라미 터 를 가 져 옵 니 다.

import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader

# Parameters and DataLoaders
input_size = 5
output_size = 2

batch_size = 30
data_size = 100

Device

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

가상 데이터 세트
가상(랜 덤)데이터 세트 를 만 들 려 면DataParallel

class RandomDataset(Dataset):

    def __init__(self, size, length):
        self.len = length
        self.data = torch.randn(length, size)

    def __getitem__(self, index):
        return self.data[index]

    def __len__(self):
        return self.len

rand_loader = DataLoader(dataset=RandomDataset(input_size, data_size), batch_size=batch_size, shuffle=True)

단순 모형
시범 으로 우리 의 모델 은 하나의 입력 만 받 아들 이 고 하나의 선형 조작 을 실행 한 후에 결 과 를 얻 을 수 있다.설명:__getitem__어떤 모델(CNN,RNN,Capsule Net 등)에서 도 사용 할 수 있다.
우 리 는 입력 과 출력 벡터 의 크기 를 인쇄 하기 위해 모델 내부 에 인쇄 문 구 를 설치 했다.
차례 가 0 일 때 인쇄 되 는 내용 에 주의 하 세 요.

class Model(nn.Module):
    # Our model

    def __init__(self, input_size, output_size):
        super(Model, self).__init__()
        self.fc = nn.Linear(input_size, output_size)

    def forward(self, input):
        output = self.fc(input)
        print("\tIn Model: input size", input.size(),
              "output size", output.size())

        return output

모델 과 데이터 병행 만 들 기
이것 은 본 튜 토리 얼 의 핵심 부분 이다.
우선,우 리 는 모델 인 스 턴 스 를 만 들 고 우리 가 여러 개의 GPU 가 있 는 지 확인 해 야 한다.GPU 가 여러 개 있 으 면DataParallel로 우리 의 모형 을 포장 합 니 다.그리고 mnn.DataParallel를 통 해 모델 을 GPU 에 올 려 놓 습 니 다.

model = Model(input_size, output_size)
if torch.cuda.device_count() > 1:
  print("Let's use", torch.cuda.device_count(), "GPUs!")
  # dim = 0 [30, xxx] -> [10, ...], [10, ...], [10, ...] on 3 GPUs
  model = nn.DataParallel(model)

model.to(device)

Model(
  (fc): Linear(in_features=5, out_features=2, bias=True)
)

운행 모형
입력 과 출력 장 량 의 크기 를 볼 수 있 습 니 다.

for data in rand_loader:
    input = data.to(device)
    output = model(input)
    print("Outside: input size", input.size(),
          "output_size", output.size())

    In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

결실
GPU 가 없 거나 하나 밖 에 없 을 때 30 개의 입 출력 을 일괄 처리 하여 기대 하 는 것 처럼 30 개의 입 출력 을 얻 었 지만 여러 개의 GPU 가 있다 면 다음 과 같은 결 과 를 얻 을 수 있 습 니 다.
2 GPUs ~
If you have 2, you will see:
.. code:: bash

# on 2 GPUs
Let's use 2 GPUs!
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
    In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2])
    In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

3 GPUs ~
If you have 3 GPUs, you will see:
.. code:: bash

Let's use 3 GPUs!
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
    In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

8 GPUs ~~
If you have 8, you will see:
.. code:: bash

Let's use 8 GPUs!
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
    In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2])
Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])

총결산
DataParallel 은 자동 으로 데 이 터 를 구분 하고 여러 GPU 의 여러 모델 에 작업 을 보 냅 니 다.그리고 각 모델 이 작업 을 마 친 후에 합병 결 과 를 수집 하고 되 돌려 줍 니 다.
더 많은 정 보 는 여 기 를 보십시오.https://pytorch.org/tutorials/beginner/former\_torchies/parallelism\_tutorial.html.
다음으로 전송:https://www.cnblogs.com/chenxiangzhen/p/10963655.html