《 빅 데이터 수집 과 예 처리 기 술 》 --- 전 3 장 개술

**           3    **
1.        
2.       
3.      

          “   ” ，    “   ”、 “   ” “   ”     

**      **：  ，  ，  ，  ，   ，  。

**       **：    ，     ，    ，       ，     。

**               ** 
*      *：      ，      ，   、             ，                         。
 *        *：         、       、        。

 **       **：    ，    ，    ，    。

 **    **                   ，         、  、  、        ，              、  、     。

 **                     **
 **           **
 1.   ：         ，    、  、  、                 。
 2.                 A/D       ，           ，            A/D   ，           。
 3.                    ，      A/D          。
 4.  /      ，                。
 5.a/d   ：           
 6.  ：                      ，            
 **         **
 1.     ：               ，        ，             ，                  。
 2.   ：   PC   ，          。                   ，                     ，            。  ，                     ，             。
     ：                                 

 **        **
 *    *：      ，      ，      
 *    *
 *    *：                 ，    。               。

 **        **：      ，       ，          ，      。      。

 **       **：
 1.      ，
 2.   ETL（  、  、     ）    ，
 3.    
 
 **       **
 Chukwa                         。     Hadoop   HDFS(  )   map/reduce （    ，           ）     ，   Hadoop          。		
 Flume Cloudera         ，    ，          、        ，Flume                 ，      ；  Flume           ，          (   )   。
 Apache Kafka  Apache             。        、   、          。
 Scribe Facebook         ， Facebook           。
 **Chukwa----------**
 Agent：Chukwa     Agent           
 Adaptor：      (               )        
 Collector ：            ，     ，          
 Demux :          、     
 Archive:                 ，                ，       ，           ，   Hadoop        
 Dbadmin:        
 HICC:   Chukwa         
 **Flume--------------**:
 *Agent*：
  Source：      ，        Flume event      ，               Channal。
  Channel（  ）          ，   Source     event         ，  Source Sink          。
  Sink                Agent        。	
  **Scribe----------**:Scribe Scribe Agent、Scribe          。
  Scribe Agent      thrift client。        thrift Scribe    ，          category   message，   Scribe     thrift   ，   3。
  Scribe   thrift client       ，        message queue，        ，Scribe     category            push          。
                Store  
  **Kafka-------------**:  Consumers、Broker、Producers    
	Consumers:      ，           ，  Broker     ；
	Broker     ，  Kafka  ，         ；	
	producers      ，       topics  ；
	Topics        。
	*Kafka       *  Producers      Broker，  Topics    ；Broker    Consumers，   Topics        Consumers。