awstats+jawstats 자동 분석 로그 2

나의 환경 은:
1.여러 개의 역방향 에이전트(VPS)가 타지 에 있 습 니 다.
2.모든 역방향 에이전트 가 여러 도 메 인 이름 을 부담 합 니 다.
3.모든 도 메 인 이름 에 사용자 가 방문 하 는 것 은 아 닙 니 다.
 
요구:로그 자동 분석 실현.
 
주의해 야 할 것 은 각 도 메 인 이름 의 awstats 분석 결과 에 대한 저장 위치 계획 입 니 다.본인 의 대본 은 보통 이 고,대신 은 생략 합 니 다.허허
 
나의 방법:
역방향 에이전트:매일 정 해진 시간 에 로 그 를 고정된 디 렉 터 리 로 압축 하고 파일 이 8M 이상 이면 로 그 를 썼 다 고 생각 하고 압축 을 시작 합 니 다.
http://myhat.blog.51cto.com/391263/980220  도 메 인 이름 이 여러 개 있 습 니 다.도 메 인 이름 마다 매일 로 그 를 바 꿉 니 다.
 
매일 자동 으로 로 그 를 압축 하 는 계획 작업 을 합 니 다.

  
  
  
  

   
   
   
   
#!/bin/bash -x 
   
   
   
   
#used for zip nginx log 
   
   
   
   
logs_path="/usr/local/nginx/logs" 
   
   
   
   
temp_path="/nginx_log_temp" 
   
   
   
   
YESTERDAY=`date +%Y%m%d -d "yesterday" ` 
   
   
   
   
 
   
   
   
   
test -e $temp_path || mkdir $temp_path  
   
   
   
   
 
   
   
   
   
rm -rf $temp_path/* 
   
   
   
   
 
   
   
   
   
cd ${logs_path}/$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/ 
   
   
   
   
 
   
   
   
   
for i in domain1 domain2 domain3  
   
   
   
   
do 
   
   
   
   
    if [ `du  $i.log.$YESTERDAY|awk '{if($1>8208){print $NF}}'` ];then 
   
   
   
   
        tar -czf $i.log.$YESTERDAY.tar.gz $i.log.$YESTERDAY 
   
   
   
   
        mv  $i.log.$YESTERDAY.tar.gz $temp_path 
   
   
   
   
    fi 
   
   
   
   
done 
  
  
  
  

 
로그 분석 서버:(포트 암시 가 없습니다.)
a.매일 정시 sftp 에서 어제 로 그 를 다운로드 하고 고정된 디 렉 터 리 로 자동 으로 압축 을 풀 수 있 습 니 다.
 

  
  
  
  

   
   
   
   
#!/bin/bash -x 
   
   
   
   
#used for donwload logfile 
   
   
   
   
down_tmp="/tmp/down_tmp" 
   
   
   
   
test -e $down_tmp || mkdir $down_tmp 
   
   
   
   
 
   
   
   
   
for i in domain1 domain2 domain3
   
   
   
   
do 
   
   
   
   
    test -e /tmp/$i || mkdir /tmp/$i 
   
   
   
   
done 
   
   
   
   
 
   
   
   
   
for i in a.a.a.a b.b.b.b c.c.c.c d.d.d.d 
   
   
   
   
do 
   
   
   
   
    cd  /tmp/down_tmp/$i 
   
   
   
   
    test -e /tmp/unzip_tmp/$i || mkdir -p /tmp/unzip_tmp/$i 
   
   
   
   
    sftp root@$i:/nginx_log_temp/ << EOF 
   
   
   
   
        get *.tar.gz 
   
   
   
   
        exit     
   
   
   
   
EOF 
   
   
   
   
    for a in ` ls -l | grep .tar.gz | awk '{print $NF}'` 
   
   
   
   
    do 
   
   
   
   
         
   
   
   
   
        tar -xzf $a -C /tmp/unzip_tmp/$i 
   
   
   
   
    done 
   
   
   
   
done 
  
  
  
  

b.매일 정시 분석 로그    

  
  
  
  

   
   
   
   
[root@localhost ~]# crontab -l 
   
   
   
   
0 9 * * *  /bin/bash  /root/sftp_autodown_nginx_log > /dev/null 
   
   
   
   
30 9 * * *   /usr/local/awstats/tools/awstats_updateall.pl now > /dev/null