이제 fluentd 처음 보자 3

MongoDB 이것도 전부터 신경이 쓰여 있었기 때문에 조사해 보았다. EPEL 패키지로 인스톨 하는 것으로 그 근처는 알고 있다고 생각하지만 잘 부탁드립니다. 그리고 「맛있어?

마침내이 구성을 만들 수 있습니다.

MongoDB는

이른바 noSQL로 분류되는 것입니다. 특히 이 MonogoDB는, 문서 지향형 데이타베이스로 해 특필해야 할 점으로서 「JSON의 오브젝트 그대로 DB에」라고 하는 것. 이것 대단한 일. 그리고 이름의 유래가, “humongous”(바보로 괴롭다)라고 시작해 알았습니다. 그럼 빅데이터는 어구로 많이 걸릴 거야.

MongoDB의 얇은 책(The Little MongoDB Book)
최초의 mongoDB 입문편 구축·설정·툴 정리
초보자용 MongoDB의 키폰! - SlideShare

MongoDB 설치

/etc/yum.repos.d/mongodb.repo를 만들고 MongoDB를 설치합니다.

/etc/yum.repos.d/mongodb.repo

[mongodb]
name=MongoDB Repository
baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/
gpgcheck=0
enabled=1

command

$ sudo yum -y install mongo-10gen mongo-10gen-server

부팅 및 자동 부팅 설정

약속 명령. 2014/06/21 현재의 버젼은 MongoDB shell version: 2.6.3같다.
그리고 MongoDB의 LISTEN 포트는 27017 ( netstat -a | grep mongo로 알 수 있습니다).

command

$ sudo /etc/init.d/mongod start
$ sudo chkconfig mongod on

MongoDB 도구 : htp://로보몽고. rg/

fluentd 설정

LTSV, MongoDB도 설정하고 있으므로 나머지는 fluentd 설정만.

송신측(에이전트측)

Apache 로그 (LTSV)를 모니터링하고 fluentd 서버로 전송하는 설정. fluentd를 다시 시작해야 합니다.

/etc/td-agent/td-agent.conf

<source>
  type tail
  path /var/log/httpd/access_log
  format ltsv
  time_key time
  time_format %d/%b/%Y:%H:%M:%S %z
  tag td.apache.access
  pos_file /var/log/td-agent/apache_access.pos
  tag mongo.apache
</source>

<match mongo.**>
  type forward
  buffer_chunk_limit 256m
  buffer_queue_limit 128
  flush_interval 5s
  <server>
    host 192.168.11.106
    port 24224
  </server>
</match>

수신측(컬렉터측)

전송된 정보를 MongoDB에 추가 & 파일에 내보내는 설정. fluentd를 다시 시작해야 합니다.

/etc/td-agent/td-agent.conf

<match mongo.**>
  type copy

  <store>
    type file
    time_slice_format %Y%m%d_%H%M
    time_slice_wait 1m
    path /var/log/td_log/td_access_test
    time_format %Y%m%dT%H%M%S%z
  </store>

  <store>
    type mongo
    database apache
    collection access
    host localhost
    port 27017
    flush_interval 10s
  </store>
</match>

MongoDB의 내용을 확인해보기

확실히 여기까지 주면 Good, 만만하고 싶다. MongoDB에 데이터가 저장되어 있어야 합니다. 그런 이유로 확인해 보자.
192.168.11.104(Apach) ⇒ 192.168.11.106(MongoDB)에 데이터가 들어가 있습니다! !

command

$ mongo
MongoDB shell version: 2.6.3
connecting to: test
> show dbs
admin   (empty)
apache  0.078GB
local   0.078GB
> use apache
switched to db apache
> show collections
access
system.indexes
> db.access.find();
{ "_id" : ObjectId("53a6bdcb297b502c2a000001"), "domain" : "192.168.11.104", "host" 

다음은

GrowthForecast를 사용한 방법을 공부해 봅시다 (그 4)의 예정 입니다w

참고 사이트

사쿠라 서버의 VPS 환경에 fluentd 및 MongoDB 설치
청취할 ip 지정