[Sqoop] 데이터 동기화

HDFS 데이터 가져오기 Mysql 실천
 
Squop을 기반으로 Mysql에 데이터를 동기화하는 SparkSQL job에서 생성된 소스 데이터
HDFS 파일 형식은 기본적으로 parquet
압축 형식은 snappy입니다.
 
SparkSQL은 HDFS에 기록되며 경로가 존재하지 않으면 자동으로 생성되고 department 디렉토리가 존재하지 않으면 다음과 같은 디렉토리가 자동으로 생성됩니다.
hdfs://clu:8020/dev/test/department
 

sqoop export \
--connect 'jdbc:mysql://localhost:3306/sqoop' \
--username 'root' \
--password 'root' \
--table 'user' \
--export-dir '/user.txt' \
--columns 'uname,vnum,fnumb' \
--mapreduce-job-name 'hdfs to mysql' \
--input-fields-terminated-by '\t' \
--input-lines-terminated-by '