Python 오류 알림:[Errno 24]Too many open files 의 분석 과 해결

1271 단어 pythonerrno24
배경
최근 작업 중 오류 가 발생 했 습 니 다.다 중 스 레 드 스 캔 스 크 립 트 를 실행 할 때 다음 오류 가 자주 발생 합 니 다.

HTTPConnectionPool(host=‘t.tips', port=80): Max retries exceeded with url: /index.php (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x7f29d4081150>: Failed to establish a new connection: [Errno 24] Too many open files',))
이상 한데..
분석 하 다.
블 로 거들 이 가지 고 있 는 작은 프로젝트 들 은 항상 다 중 스 레 드 의 대량 스 캔 을 통 해 데 이 터 를 수집 해 야 한다.예 를 들 어 데 이 터 를 수집 하 는 기능 은 당연히 스 레 드 가 많 을 수록 좋다.그래서 보통 상황 에서 저 는 3000 개의 스 레 드 를 사용 하여 스 캔 을 합 니 다.대역 폭 이 충분 하고 시스템 하 드 부품 의 배치 가 높 은 상황 에서 상기 문제 가 발생 할 수 있 습 니 다.시스템 의 제한 때 문인 지 생각 난다.
검색엔진 을 통 해 시스템 제한 에 대한 소 개 를 찾 았 습 니 다.

$ ulimit -n
1024
얻 은 결 과 는 1024 로 시스템 이 1024 개의 파일 을 동시에 여 는 것 으로 제한 되 어 있 는데 이것 은 분명히 너무 적다.
해결 하 다.
이 문제 의 해결 방법 은 매우 간단 하 니,아래 의 문 서 를 직접 수정 해라.

sudo vim /etc/security/limits.conf
이 파일 의 마지막 에 두 줄 코드 를 추가 합 니 다.

* soft nofile 10240
* hard nofile 10240
물론 이 숫자 는 자신의 필요 에 따라 수정 하면 되 며 저장 후 로그아웃 하고 다시 로그 인하 면 됩 니 다.
총결산
이상 은 이 글 의 전체 내용 입 니 다.본 논문 의 내용 이 여러분 의 학습 이나 업무 에 어느 정도 도움 이 되 기 를 바 랍 니 다.궁금 한 점 이 있 으 면 댓 글 을 남 겨 주 십시오.

좋은 웹페이지 즐겨찾기