AWS EC2에 Hadoop 단일 노드 클러스터 설치

Ubuntu 18, m3.large, 메모리 8GB

openjdk 설치(JRE 아님)
sudo apt-get install openjdk-8-jdk
하둡 2.9.0 받기wget https://archive.apache.org/dist/hadoop/core/hadoop-2.9.0/hadoop-2.9.0.tar.gz
홈 폴더에서 Hadoop 추출
tar -xvf hadoop-2.9.0.tar.gz
Hadoop용 폴더 생성
sudo mkdir /usr/lib/hadoop
추출된 Hadoop 폴더를/usr/lib/hadoop으로 이동
mv hadoop-2.9.0 /usr/lib/hadoop/
JDK 8 경로를 찾아 다음과 같이 기록해 둡니다.
EXPORT=/usr/lib/jvm/java-1.8.0-openjdk-amd64
~/.bashrc를 열고 위의 줄을 파일 끝에 넣습니다.
EXPORT=/usr/lib/jvm/java-1.8.0-openjdk-amd64
환경 환경 로드
source ~/.bashrc
SSH 생성
ssh-keygen -t rsacd ~sudo .ssh/id_rsa.pub >> .ssh/authorized_keysssh-copy-id -i .ssh/id_rsa.pub ubuntu@localhost
홈 디렉토리에 hadoopdata 폴더 생성cd ~mkdir hadoopdata
xml 파일로 이동
cd /usr/lib/hadoop/hadoop-2.9.0/etc/hadoop
core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
  <property>

 <name>dfs.namenode.name.dir</name>

 <value>/home/ubuntu/hadoopdata/hdfs/name</value>

 </property>

 <property>

 <name>dfs.datanode.data.dir</name>

 <value>/home/ubuntu/hadoopdata/hdfs/data</value>

 </property>
</configuration>

mapred-site.xml

<configuration>
 <property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

 </property>
</configuration>

원사 사이트.xml

<configuration>

<!-- Site specific YARN configuration properties -->
 <property>

 <name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

 </property>

 <property>

 <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

 <value>org.apache.hadoop.mapred.ShuffleHandler</value>

 </property>
</configuration>

이름 노드 포맷hdfs namenode -format
hadoop의 sbin 디렉토리로 이동합니다.cd $HADOOP_HOME/sbin
이름 노드 시작./hadoop-daemon.sh start namenode
HDFS 구성 요소 시작./start-dfs.sh
모두 중지./stop-all.sh
모두 시작./start-all.sh
그런 다음 다음 웹 페이지에서 Hadoop용 웹 UI에 액세스합니다.

네임노드 – aws_ip_address: 50070

데이터노드 – aws_ip_address: 50075

SecondaryNameNode – aws_ip_address: 50090

ResourceManager – aws_ip_address: 8088

다음 튜토리얼에서는 sqoop을 설치합니다.