표준 Hive 작업에 자주 사용되는 설정 항목
1651 단어 Hive 프로그래밍 및 데이터 웨어하우스
1. 설명 항목이 있어야 후기 유지보수를 편리하게 할 수 있다.
2. 흔히 볼 수 있는 작업에 대한 기술 파라미터 설정이 있어야 한다.
3. 코드 섹션
--@Name:SOR_EVT_TBL_FB_CUST
--@Description:
--@Type:
--@Target:FDM_SOR.SOR_EVT_TBL_FB_CUST
--@source:FDM_SSA.TSSA_SMFDB_TBL_FB_CUST
--@Author:robot
--@CreateDate:2018-05-18
--@ModifyBy:
--@ModifyDate:2018-04-18
--@ModifyDesc:
--@Copyright suning
--
set mapred.job.name = SOR_EVT_TBL_FB_CUST (${hivevar:statis_date});
-- Map
set mapred.max.split.size = 300000000;
-- Map
set mapred.min.split.size = 100000000;
-- Map
set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
-- hive sql, common join map join
set hive.auto.convert.join = false;
-- Map-only
set hive.merge.mapfiles = true;
-- Map-Reduce
set hive.merge.mapredfiles = false;
--
set hive.merge.size.per.task = 300000000;
USE fdm_sor;
add jar /home/bigdata/software/hive/ext-lib/suning-hive-inputformat.jar;
insert overwrite table FDM_SOR.SOR_EVT_TBL_FB_CUST
SELECT
ID,
FB_CUST_CODE,
FBI_CUST_CODE,
CUST_NAME,
CUST_TYPE,
CUST_GROUP,
CUST_GROUPS,
INDUSTRY,
EMER_CONTACT,
RESERVE_VARCHARA,
RESERVE_VARCHARB,
RESERVE_VARCHARC,
SIGN_CODE_FLAG,
from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') AS etl_create_time,
from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') AS etl_update_time
FROM fdm_ssa.TSSA_SMFDB_TBL_FB_CUST T1
where statis_date='${statisdate}';