Flume 수집 네트워크 포트 데이터

1287 단어 빅 데이터
1. Flume 네트워크 포트 데이터 수집
1.1 flume 이벤트 설정 파일 정의
flume-nc.properties
# flume-nc.conf:          flume agent       
############################################
#           
#   a1 agent   
# r1 a1 source     
# c1 a1 channel     
# k1 a1 sink     
############################################
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#     source ,   netcat  
a1.sources.r1.type = netcat
# source     ip      
a1.sources.r1.bind = mini01
a1.sources.r1.port = 44444

#     sink,       
a1.sinks.k1.type = logger


#     channel,             
a1.channels.c1.type = memory
#            ,1000 events  
a1.channels.c1.capacity = 1000
#      100 events      
a1.channels.c1.transactionCapacity = 100

#  a1            , source sink       channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
  • 시작 에이전트 (flume 이벤트) flume - ng 에이전트 -- name a1 -- conf / opt / flue / conf -- conf - file / opt / flume / conf / flume - nc. properties - dflume. root. logger = INFO, console
  • 에이전트 시작 (flume 이벤트), flume - ng 에이전트 단순화 -- name a1 -- conf - file / opt / flume / conf / flume - nc. properties
  • 2. nc (스위스 군도) 설치
    rpm -ivh nc-1.84-22.el6.x86_64.rpm
    

    감청 포트: nc - lk 4444
           : nc host port
    

    좋은 웹페이지 즐겨찾기