Hadoop AWS EC2에 sqoop 설치

전제 조건: hadoop 설치 방법

이전 가이드에서 이미 OpenJDK 1.8과 함께 Hadoop을 설치했습니다.
이후 버전의 MySql 서버가 JDK 1.7 MySql 커넥터 드라이버와 제대로 작동하지 않기 때문에 JDK 1.8이 필요합니다. Cloudera는 JDK 1.7과 함께 도커 이미지를 제공했기 때문에 이 수동 설치의 목적은 sqoop이 특히 RDS에서 광범위한 MySql 서버 버전을 지원하는 JDK 8과 함께 작동하도록 하는 것입니다. 따라서 우리는 Cloudera 도커 이미지를 사용하지 않고 대신 수동으로 설치합니다.

홈 폴더로 이동
cd ~
Apache 웹 사이트에서 sqoop 다운로드
wget sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
홈 폴더에 파일 압축 해제
tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
/usr/lib에 sqoop 디렉토리 생성
cd /usr/libmkdir sqoop
sqoop-1.4.7.bin__hadoop-2.6.0 폴더를/usr/lib 폴더로 이동합니다.
mv ~/sqoop-1.4.7.bin__hadoop-2.6.0 .
~/.bashrc에 $SQOOP_HOME 환경 변수 추가
sudo nano ~/.bashrcexport SQOOP_HOME=/usr/lib/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0
그런 다음 $PATH 변수에도 추가하십시오.
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SQOOP_HOME/bin
.bashrc를 저장하고 소싱하십시오.
source .bashrc
그런 다음 Maven에서 sql-connector-j jar 파일을 다운로드합니다.
cd ~wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar
그런 다음 mysql-connector-java-8.0.30.jar를 $SQOOP_HOME/lib 폴더에 복사합니다.
cp mysql-connector-java-8.0.30.jar $SQOOP_HOME/lib
$SQOOP_HOME/conf 폴더로 이동하여 sqoop-env-template.sh의 이름을 sqoop-env.sh로 변경합니다.
mv sqoop-env-template.sh sqoop-env.sh
그런 다음 다음과 같이 파일을 편집하십시오.

export HADOOP_COMMON_HOME=/usr/lib/hadoop/hadoop-2.9.0
export HADOOP_MAPRED_HOME=/usr/lib/hadoop/hadoop-2.9.0
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64

그런 다음 sqoop 설치 버전을 확인하십시오.
sqoop version

22/10/05 04:50:30 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017

그런 다음 다음과 같이 RDS 또는 Mysql 원격 데이터베이스에서 가져오기를 시작할 수 있습니다.
sqoop import --connect jdbc:mysql://your_rds_dns_address/yourdatabase --table hr_users --username something --password 'something'
가져온 후 데이터는 hdfs에 csv 파트 파일로 저장됩니다. 위치는/user/ubuntu/hr_users입니다. 다음과 같이 확인할 수 있습니다.
hdfs dfs -ls /user/ububtu/hr_users
파일의 내용을 보려면.hdfs dfs -cat /user/ubuntu/hr_users/part-m-00001
그러면 Apache Hive를 설치할 준비가 된 것입니다.