YisouSipder 로 인 한 사이트 문제

1203 단어 nginxSpiderYisouweb
한 고객 은 자신의 사이트 가 수시로 방문 할 수 없 거나 열 리 는 것 이 느 리 고 서버 나 서 비 스 를 다시 시작 한 후에 정상적으로 방문 할 수 있다 는 것 을 나타 내 고 그 후에 또 문제 가 발생 할 수 있다.먼저 서버 의 상황 을 살 펴 보면 이 서버 는 nginx + phopfpm 의 구조 입 니 다. top 은 서버 부하 가 높 지 않 은 것 을 보고 nginx 의 debug 로 그 를 열 었 습 니 다. 많은 YisouSipder 의 방문 로 그 를 보 았 습 니 다. 30% 의 기록 을 초보 적 으로 선별 한 것 은 모두 그의 것 입 니 다. 게다가 다른 파충류 기록 도 있 습 니 다. 실제 사용자 의 방 문 량 이 적 고 YisouSipder 에 의 해 끌 린 것 이 분명 합 니 다.
    인터넷 의 해결 방법 에 따라 우 리 는 nginx 설정 에 추가 합 니 다.
 if ($http_user_agent ~* "YisouSpider") {
        return 403;
     }

user 라면에이전트 가 YisouSpider 를 위 한 방문 은 403 오류 로 되 돌아 갑 니 다. 테스트 해 보 겠 습 니 다.
curl -I -A "YisouSpider" http://localhost

403 오류 로 돌아 가면 성공 했다 는 뜻 이다.(사실 이렇게 해서 문 제 를 철저히 해결 할 수 없 을 것 같 아!!)
그러나 로 그 를 보면 그의 방문 기록 이 있 을 것 입 니 다. 생각해 보 니 그 가 방문 할 때 phopcgi 프로 세 스 를 차지 한 것 입 니 다. 저 는 phopfpm 의 프로 세 스 수 를 많이 설정 하면 문 제 를 해결 할 수 있 습 니까? 저 는 phopfpm 의 pm. max 를children = 20, 서비스 재 개, 2 시간 동안 큰 문제 없 이 운 영 했 습 니 다. 가끔 씩 끊 기 는 경우 가 있 었 지만 예전 보다 많이 좋아 졌 습 니 다. 잠시 이렇게 하 겠 습 니 다.
마지막 으로 yisouspider, 정말 깡패 야. robots. txt 를 거들 떠 보지 도 않 아. 나 는 이미 robots. txt 에서 그 가 내 사이트 에 오 르 는 것 을 금 지 했 어, 들 어 오 는 것 을 금 지 했 어!!

좋은 웹페이지 즐겨찾기