nginx 를 이용 하여 지정 한 user 를 차단 합 니 다.에이전트 접근
1. nginx 설정 디 렉 터 리 에 들 어 갑 니 다. 예 를 들 어 cd / usr / local / nginx / conf
2, 에이전트 추가deny. conf 프로필 vim agent_deny.conf
이하
# Scrapy
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
return 403;
}
# UA UA
if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$" )
{
return 403;
}
# GET|HEAD|POST
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}
그리고 특수 한 user에이전트 접근
if ($http_user_agent ~ "Mozilla/4.0\ \(compatible;\ MSIE\ 6.0;\ Windows\ NT\ 5.1;\ SV1;\ .NET\ CLR\ 1.1.4322;\ .NET\ CLR\ 2.0.50727\)") { return 404; }
이것 은 어떻게 자주 방문 하 는 user 를 얻 을 수 있 습 니까?에이전트 는 nginx 로 그 를 분석 하면
tail -n 1000 /usr/local/nginx/logs/access.log | awk -F\" '{A[$(NF-1)]++}END{for(k in A)print A[k],k}' | sort -n | tail
이상 명령 을 수행 하면 가장 많이 방문 한 user 를 얻 을 수 있 습 니 다.에이전트, 정상 여 부 를 인위적으로 판단 하여 차단 합 니 다.그리고 ngix. conf 의 location 에 include agent 를 추가 합 니 다.deny.conf;
부 드 럽 게 다시 시작 nginx
/usr/local/nginx/sbin/nginx –s reload
그리고 설정 이 성 공 했 는 지 테스트 해 보 세 요.
curl -I -A "BaiduSpider" www.test.com
HTTP/1.1 200 OK
Server: nginx
Date: Mon, 09 Feb 2015 03:37:20 GMT
Content-Type: text/html; charset=UTF-8 Connection: keep-alive
Vary: Accept-Encoding
X-Powered-By: PHP/5.5.19 Vary: Accept-Encoding, Cookie
Cache-Control: max-age=3, must-revalidate
WP-Super-Cache: Served supercache file from PHP
curl -I -A "JikeSpider" www.test.com
HTTP/1.1 403 Forbidden
Server: nginx Date: Mon, 09 Feb 2015 03:37:44 GMT
Content-Type: text/html
Content-Length: 162 Connection: keep-alive
여기까지 nginx 는 User - agent 거미 차단 사이트 방문 이 완료 되 었 음 을 판단 하여 실제 상황 에 따라 agentdeny. conf 의 거 미 를 증가, 삭제 또는 수정 합 니 다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
간단! Certbot을 사용하여 웹 사이트를 SSL(HTTPS)화하는 방법초보자가 인프라 주위를 정돈하는 것은 매우 어렵습니다. 이번은 사이트를 간단하게 SSL화(HTTP에서 HTTPS통신)로 변경하는 방법을 소개합니다! 이번에는 소프트웨어 시스템 Nginx CentOS7 의 환경에서 S...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.