[Pytorch]docker 공유 메모리 문제
ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm)
문제
ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm)
이 오류가 발생한 경우 서버에 있는docker에서 트레이닝 코드를 실행할 때batchsize가 너무 커서sharedmemory가 부족합니다. (docker가shm를 제한했기 때문입니다.)
PyTorch README 기준:
Please note that PyTorch uses shared memory to share data between processes, so if torch multiprocessing is used (e.g. for multithreaded data loaders) the default shared memory segment size that container runs with is not enough, and you should increase shared memory size either with --ipc=host or --shm-size command line options to nvidia-docker run.
솔루션
1. 여기서 PyTorch의 IPC는 공유 메모리를 이용하기 때문에 공유 메모리는 충분히 커야 통과할 수 있다docker run --shm-size 수정 2.설정을 통해--ipc=host 3.Dataloader의num_workers를 0으로 설정합니다.근데 훈련이 느려져요.
yolov3 issue#283
PyTorch On K8S 공유 메모리 문제 포지셔닝
Pytorch의 12개의 구덩이
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Qiita의 API를 부를 때 끝에 슬래시를 붙이면 http://~로 리디렉션되므로 조심합시다.
제목대로.
curl 결과는 .
예전에 보았던 오류에 근거한 박자를 만났습니다
이것은 메시지처럼 HTTP 통신을 시도할 때 iOS가 차단하는 사람입니다.
URLSession 에 건네주고 있는 url는 확실히 https...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm)이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Qiita의 API를 부를 때 끝에 슬래시를 붙이면 http://~로 리디렉션되므로 조심합시다.제목대로. curl 결과는 . 예전에 보았던 오류에 근거한 박자를 만났습니다 이것은 메시지처럼 HTTP 통신을 시도할 때 iOS가 차단하는 사람입니다. URLSession 에 건네주고 있는 url는 확실히 https...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
