심층 학습과 같은 CUDA 오류 "Attempting to fetch value instead of handling error Internal: failed to get device attribute 13 for device 0: CUDA_ERROR_UNKNOWN: unknown error"에 대한 해결책
목적
GPU를 사용하여 심층 학습으로 학습하려는 경우,
다음과 같은 오류가 발생할 수 있습니다.
2019-11-18 04:16:42.405806: F tensorflow/stream_executor/lib/statusor.cc:34] Attempting to fetch value instead of handling error Internal: failed to get device attribute 13 for device 0: CUDA_ERROR_UNKNOWN: unknown error
이 오류의 원인을 인터넷에서 검색하더라도,
별로 좋은 정보가 없습니다.
단순히 영어라든지 중국어를 이해할 수 없을 뿐일지도 모르지만.
나름대로 이해할 수 있었음을 나타낸다.
참고 정도로 환경을 나타낸다
tensorflow 1.14.0
tensorflow-estimator 1.14.0
tensorflow-gpu 1.14.0
오류 대책
tensorflow 버전의 가능성이있을 수 있지만,
하나의 경우로서,
단순한 메모리 부족(이 경우 GPU의 메모리가 아니라 CPU의 메모리)
그래서이 오류는
나오는 것을 확인하고 있다.
만약,
CPU 메모리 사용량을 줄일 수 있다면,
시도해보십시오.
그건 그렇고,
이 오류가 어떤 오류인지는 전혀 이해할 수 없습니다.
(아마도 이해할 수있는 오류가 아니라면 상상할 것입니다.)
또 다른 오류 (전혀 미해결.)
다음과 같은 오류가 발생할 수 있습니다.
원래 오류 메시지의 의미를 잘 이해할 수 없습니다.
인터넷에서 조사해도 도움이 될 정보가 없다.
오류 발췌
RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0; 4.00 GiB total capacity; 2.90 GiB already allocated; 30.80 MiB free; 9.54 MiB cached)
전체
D:\_mish1\Mish-master\Mish-master\Examples and Benchmarks>python _res50_1.py
Files already downloaded and verified
Files already downloaded and verified
Traceback (most recent call last):
File "_res50_1.py", line 329, in <module>
logps = model.forward(inputs)
File "_res50_1.py", line 242, in forward
x = self.conv2(x)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\container.py", line 92, in forward
input = module(input)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "_res50_1.py", line 208, in forward
return f_mish(self.split_transforms(x) + self.shortcut(x))
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\container.py", line 92, in forward
input = module(input)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\batchnorm.py", line 81, in forward
exponential_average_factor, self.eps)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\functional.py", line 1656, in batch_norm
training, momentum, eps, torch.backends.cudnn.enabled
RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0; 4.00 GiB total capacity; 2.90 GiB already allocated; 30.80 MiB free; 9.54 MiB cached)
요약
이것을 보고, 문제 해결하는 사람이 있으면, 행복.
관련(본인)
파이썬을 스트레스없이 사용하십시오! (generator에 자세해진다. since1975인것 같다.)
파이썬을 스트레스없이 사용하십시오! (Python에서는 모든 것이 객체로 구현되었습니다)
파이썬을 스트레스없이 사용하십시오! (Pylint에 붙어있다)
파이썬을 스트레스없이 사용하십시오! (Expression 및 Statement)
영어와 일본어를 모두 사용하여 파이썬을 정중하게 배우십시오.
미래
코멘트 등 있으면 부탁드립니다.
공부합니다,
Reference
이 문제에 관하여(심층 학습과 같은 CUDA 오류 "Attempting to fetch value instead of handling error Internal: failed to get device attribute 13 for device 0: CUDA_ERROR_UNKNOWN: unknown error"에 대한 해결책), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다
https://qiita.com/enoughspacefor/items/0d9b562edb126e1f2a6e
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
2019-11-18 04:16:42.405806: F tensorflow/stream_executor/lib/statusor.cc:34] Attempting to fetch value instead of handling error Internal: failed to get device attribute 13 for device 0: CUDA_ERROR_UNKNOWN: unknown error
tensorflow 1.14.0
tensorflow-estimator 1.14.0
tensorflow-gpu 1.14.0
tensorflow 버전의 가능성이있을 수 있지만,
하나의 경우로서,
단순한 메모리 부족(이 경우 GPU의 메모리가 아니라 CPU의 메모리)
그래서이 오류는
나오는 것을 확인하고 있다.
만약,
CPU 메모리 사용량을 줄일 수 있다면,
시도해보십시오.
그건 그렇고,
이 오류가 어떤 오류인지는 전혀 이해할 수 없습니다.
(아마도 이해할 수있는 오류가 아니라면 상상할 것입니다.)
또 다른 오류 (전혀 미해결.)
다음과 같은 오류가 발생할 수 있습니다.
원래 오류 메시지의 의미를 잘 이해할 수 없습니다.
인터넷에서 조사해도 도움이 될 정보가 없다.
오류 발췌
RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0; 4.00 GiB total capacity; 2.90 GiB already allocated; 30.80 MiB free; 9.54 MiB cached)
전체
D:\_mish1\Mish-master\Mish-master\Examples and Benchmarks>python _res50_1.py
Files already downloaded and verified
Files already downloaded and verified
Traceback (most recent call last):
File "_res50_1.py", line 329, in <module>
logps = model.forward(inputs)
File "_res50_1.py", line 242, in forward
x = self.conv2(x)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\container.py", line 92, in forward
input = module(input)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "_res50_1.py", line 208, in forward
return f_mish(self.split_transforms(x) + self.shortcut(x))
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\container.py", line 92, in forward
input = module(input)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\batchnorm.py", line 81, in forward
exponential_average_factor, self.eps)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\functional.py", line 1656, in batch_norm
training, momentum, eps, torch.backends.cudnn.enabled
RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0; 4.00 GiB total capacity; 2.90 GiB already allocated; 30.80 MiB free; 9.54 MiB cached)
요약
이것을 보고, 문제 해결하는 사람이 있으면, 행복.
관련(본인)
파이썬을 스트레스없이 사용하십시오! (generator에 자세해진다. since1975인것 같다.)
파이썬을 스트레스없이 사용하십시오! (Python에서는 모든 것이 객체로 구현되었습니다)
파이썬을 스트레스없이 사용하십시오! (Pylint에 붙어있다)
파이썬을 스트레스없이 사용하십시오! (Expression 및 Statement)
영어와 일본어를 모두 사용하여 파이썬을 정중하게 배우십시오.
미래
코멘트 등 있으면 부탁드립니다.
공부합니다,
Reference
이 문제에 관하여(심층 학습과 같은 CUDA 오류 "Attempting to fetch value instead of handling error Internal: failed to get device attribute 13 for device 0: CUDA_ERROR_UNKNOWN: unknown error"에 대한 해결책), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다
https://qiita.com/enoughspacefor/items/0d9b562edb126e1f2a6e
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0; 4.00 GiB total capacity; 2.90 GiB already allocated; 30.80 MiB free; 9.54 MiB cached)
D:\_mish1\Mish-master\Mish-master\Examples and Benchmarks>python _res50_1.py
Files already downloaded and verified
Files already downloaded and verified
Traceback (most recent call last):
File "_res50_1.py", line 329, in <module>
logps = model.forward(inputs)
File "_res50_1.py", line 242, in forward
x = self.conv2(x)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\container.py", line 92, in forward
input = module(input)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "_res50_1.py", line 208, in forward
return f_mish(self.split_transforms(x) + self.shortcut(x))
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\container.py", line 92, in forward
input = module(input)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\module.py", line 547, in __call__
result = self.forward(*input, **kwargs)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\modules\batchnorm.py", line 81, in forward
exponential_average_factor, self.eps)
File "C:\Users\XYZZZ\AppData\Roaming\Python\Python37\site-packages\torch\nn\functional.py", line 1656, in batch_norm
training, momentum, eps, torch.backends.cudnn.enabled
RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0; 4.00 GiB total capacity; 2.90 GiB already allocated; 30.80 MiB free; 9.54 MiB cached)
이것을 보고, 문제 해결하는 사람이 있으면, 행복.
관련(본인)
파이썬을 스트레스없이 사용하십시오! (generator에 자세해진다. since1975인것 같다.)
파이썬을 스트레스없이 사용하십시오! (Python에서는 모든 것이 객체로 구현되었습니다)
파이썬을 스트레스없이 사용하십시오! (Pylint에 붙어있다)
파이썬을 스트레스없이 사용하십시오! (Expression 및 Statement)
영어와 일본어를 모두 사용하여 파이썬을 정중하게 배우십시오.
미래
코멘트 등 있으면 부탁드립니다.
공부합니다,
Reference
이 문제에 관하여(심층 학습과 같은 CUDA 오류 "Attempting to fetch value instead of handling error Internal: failed to get device attribute 13 for device 0: CUDA_ERROR_UNKNOWN: unknown error"에 대한 해결책), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다
https://qiita.com/enoughspacefor/items/0d9b562edb126e1f2a6e
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
코멘트 등 있으면 부탁드립니다.
공부합니다,
Reference
이 문제에 관하여(심층 학습과 같은 CUDA 오류 "Attempting to fetch value instead of handling error Internal: failed to get device attribute 13 for device 0: CUDA_ERROR_UNKNOWN: unknown error"에 대한 해결책), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://qiita.com/enoughspacefor/items/0d9b562edb126e1f2a6e텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)