hadoop 완전 분포식 구축

1. 방화벽 닫기
서비스 iptables status방화벽 상태 보기
서비스 iptables stop 방화벽 닫기
서비스 iptables start 방화벽 열기
chkconfig iptables off 방화벽 영구 닫기
2. 네트워크 켜기(외부 네트워크 연결)
　　ping www.baidu.com 테스트
　　vim/etc/sysconfig/network
3. 호스트 이름 수정
　　vim/etc/sysconfig/network
5. IP와 호스트 이름 사이의 맵 설정
　　vim/etc/hosts
예:192.168.118.101 hadoop101
　　192.168.118.102 hadoop102
　　192.168.118.103 hadoop103
6. 새 사용자 만들기
사용자 이름
7. 비밀번호 수정
　　passwd hadoop
8. 루트 사용자 아래에서 Hadoop 사용자에게 권한 설정
　　vim/etc/sudoers
9. Hadoop 사용자로 전환
　　su hadoop
10.hadoop(~) 사용자 아래 폴더 소프트웨어 만들기
　　mkdir software
11. jdk 설치
이전 jdk yum remove *openjdk* 제거
Windows에서 jdk 압축 파일을 linux에 업로드
jdk 압축 해제
tar -zxvf jdk 압축 패키지 이름
소프트 링크 만들기
ln-s jdk 압축 풀기 후명 소프트 연결 이름
12. 환경 변수 구성
　　vim ~/.bash_profile
　　export JAVA_HOME=jdk 경로
　　export PATH=$PATH:$JAVA_HOME/bin
13. jdk를 다른 두 대의 가상 기기에 각각 전송
scp -r jdk 경로hadoop102:/home/hadoop/소프트웨어
다른 두 VM으로 환경 변수 파일 보내기
　　scp -r ~/.bash_profile hadoop102:/home/hadoop/.bash_profile
14. 환경 변수 즉시 적용
　　source ~/.bash_profile
15. Hadoop 업로드
압축 해제 만들기 소프트 링크 설정 환경 변수
　　export HADOOP_HOME = 경로
　　export PATH=$PATH:$HADOOP_HOME/bin
　　export PATH=$PATH:$HADOOP_HOME/sbin
16. 프로필
　　cd/home/hadoop/software/hadoop/etc/hadoop
　　vim core-site.xml

<configuration>
    <property>
        
        <name>fs.defaultFSname>
        <value>hdfs://hadoop101:9000value>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>/home/hadoop/software/hadoop/data/tmpvalue>
    property>
configuration> 

 
　　vim hdfs-site.xml

<property>
    
    <name>dfs.replicationname>
    <value>3value>
property>

<property>
    <name>dfs.namenode.secondary.http-addressname>
    <value>hadoop103:50090value>
property>
configuration>

 
　　vim yarn-site.xml

<configuration>

<property>
    
    <name>yarn.nodemanager.aux-servicesname>
    <value>mapreduce_shufflevalue>
property>
<property>
    
    <name>yarn.resourcemanager.hostnamename>
    <value>hadoop102value>
property>
configuration>

　　vim mapred-site.xml

<configuration>

<property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
property>
configuration>

 
2단계: JAVA 수정HOME
　　vim hadoop-env.sh
　　vim mapred-env.sh
　　vim yarn-env.sh
17. 배포
Hadoop101의 Hadoop을 Hadoop102 Hadoop103 기계에 배포
scp-r 경로hadoop102:/home/hadoop/소프트웨어/
소프트 연결 생성
　　ln -s hadoop-2.7.3/hadoop
환경 변수 파일을 원격으로 ~/.bash_profile
　　scp ~/.bash_profile hadoop102:/home/hadoop/
즉시 적용:source~/.bash_profile
 
18. 포맷
처음 사용할 때는 포맷을 꼭 해야 돼요.
　　 hadoop namenode –format
주의: 만약 다시 포맷을 한다면 세 대의 기기의 데이터 logs를 모두 삭제해야 합니다
시작:단일 시작 namenode
　　hadoop-daemon.sh start namenode
hadoop101 hadoop102 hadoop103에서 Datanode 시작
　　hadoop-daemon.sh start datanode
secondarynamenode 시작
　　hadoop-daemon.sh start secondarynamenode
hadoop102에서 Resource 관리자 시작
　　yarn-daemon.sh start resourcemanager
Hadoop101 102 103 시작 nodemanager
　　yarn-daemon.sh start nodemanager
19.ssh 구성
군기 완전 분포식: Ssh의 비밀 로그인
압축 해제 만들기 소프트 링크 설정 환경 변수
　　export HADOOP_HOME = 경로
Hadoop101 Hadoop102 Hadoop103 기계 3대
 
공개 키 개인 키 쌍을 생성하려면:
ssh-keygen -t rsa
ssh-keygen -t rsa
ssh-keygen -t rsa
회차 세 대
[hadoop@hadoop101 .ssh]$ ll
 
다른 시스템으로 공개 키 복사하기
ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103
 
Hadoop 102 Hadoop3 기계에서 같은 조작...
 
authorized_keys
승인 목록
id_rsa
개인 키
id_rsa.pub
공개 키
known_hosts
ssh 방문 기록을 기록했습니다.
slavaes 파일 설정
vim slaves