Pytorch의nn.Dropout 실행 안정성 테스트

결론:Pytorch의nn.Dropout이 호출될 때마다dropout에서 떨어지는 매개 변수는 같지 않습니다. 같은 forward라도 다릅니다.모델에 여러 번 사용된dropout의dropout rate 크기가 같으면 같은dropout층을 사용하면 됩니다.코드와 같이

import torch
import torch.nn as nn


class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.dropout_1 = nn.Dropout(0.5)
        self.dropout_2 = nn.Dropout(0.5)

    def forward(self, input):
        # print(input)
        drop_1 = self.dropout_1(input)
        print(drop_1)
        drop_1 = self.dropout_1(input)
        print(drop_1)
        drop_2 = self.dropout_2(input)
        print(drop_2)

if __name__ == '__main__':
    i = torch.rand((5, 5))
    m = MyModel()
    m.forward(i)
   

결과는 다음과 같습니다.

*\python.exe */model.py
tensor([[0.0000, 0.0914, 0.0000, 1.4095, 0.0000],
        [0.0000, 0.0000, 0.1726, 1.3800, 0.0000],
        [1.7651, 0.0000, 0.0000, 0.9421, 1.5603],
        [1.0510, 1.7290, 0.0000, 0.0000, 0.8565],
        [0.0000, 0.0000, 0.0000, 0.0000, 0.0000]])
tensor([[0.0000, 0.0000, 0.4722, 1.4095, 0.0000],
        [0.0416, 0.0000, 0.1726, 1.3800, 1.3193],
        [0.0000, 0.3401, 0.6550, 0.0000, 0.0000],
        [1.0510, 1.7290, 1.5515, 0.0000, 0.0000],
        [0.6388, 0.0000, 0.0000, 1.0122, 0.0000]])
tensor([[0.0000, 0.0000, 0.4722, 0.0000, 1.2689],
        [0.0416, 0.0000, 0.0000, 1.3800, 0.0000],
        [0.0000, 0.0000, 0.6550, 0.0000, 1.5603],
        [0.0000, 0.0000, 1.5515, 1.4596, 0.0000],
        [0.0000, 0.0000, 0.0000, 0.0000, 0.0000]])

Process finished with exit code 0