표준 Hive 작업에 자주 사용되는 설정 항목

Hive 작업을 설정하거나 실행합니다.hql 작업 표준 구성 파일은 다음과 같습니다.
1. 설명 항목이 있어야 후기 유지보수를 편리하게 할 수 있다.
2. 흔히 볼 수 있는 작업에 대한 기술 파라미터 설정이 있어야 한다.
3. 코드 섹션
--@Name:SOR_EVT_TBL_FB_CUST
--@Description:        
--@Type:   
--@Target:FDM_SOR.SOR_EVT_TBL_FB_CUST
--@source:FDM_SSA.TSSA_SMFDB_TBL_FB_CUST
--@Author:robot
--@CreateDate:2018-05-18
--@ModifyBy:
--@ModifyDate:2018-04-18
--@ModifyDesc:     
--@Copyright suning

--      
set mapred.job.name = SOR_EVT_TBL_FB_CUST (${hivevar:statis_date});
--   Map      
set mapred.max.split.size = 300000000;
--   Map      
set mapred.min.split.size = 100000000;
--   Map        
set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
-- hive    sql,    common join  map join
set hive.auto.convert.join = false;
--  Map-only           
set hive.merge.mapfiles = true;
--  Map-Reduce            
set hive.merge.mapredfiles = false;
--        
set hive.merge.size.per.task = 300000000;


USE fdm_sor;
add jar /home/bigdata/software/hive/ext-lib/suning-hive-inputformat.jar;

insert overwrite table FDM_SOR.SOR_EVT_TBL_FB_CUST           
SELECT
       ID,
       FB_CUST_CODE,
       FBI_CUST_CODE,
       CUST_NAME,
       CUST_TYPE,
       CUST_GROUP,
       CUST_GROUPS,
       INDUSTRY,
       EMER_CONTACT,
      
       RESERVE_VARCHARA,
       RESERVE_VARCHARB,
       RESERVE_VARCHARC,
       SIGN_CODE_FLAG,
       from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') AS etl_create_time,
       from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') AS etl_update_time
FROM   fdm_ssa.TSSA_SMFDB_TBL_FB_CUST T1
where  statis_date='${statisdate}';

좋은 웹페이지 즐겨찾기