Hadoop 프레임 워 크: 클 러 스 터 모드 에서 분포 식 환경 구축

본문 원본: GitHub · 점 여기 | | GitEE · 점 여기
1. 기초 환경 설정
1, 3 대 서비스
세 대의 Centos 7 서 비 스 를 준비 하고 기초 환경 은 위 분포 식 환경 에서 복 제 됩 니 다.

133 hop01，134 hop02，136 hop03

2. 호스트 이름 설정

##     
hostnamectl set-hostname hop01
##   
reboot -f

3. 호스트 이름 통신

vim /etc/hosts
#       
192.168.37.133 hop01
192.168.37.134 hop02
192.168.37.136 hop03

4 、 SSH 비밀 로그 인 면제
세 대의 서비스 SSH 비밀 로그 인 을 설정 합 니 다.

[root@hop01 ~]# ssh-keygen -t rsa
...      
[root@hop01 ~]# cd .ssh
...           
[root@hop01 .ssh]# ssh-copy-id hop01
[root@hop01 .ssh]# ssh-copy-id hop02
[root@hop01 .ssh]# ssh-copy-id hop03
... hop01     hop02
[root@hop01 ~]# ssh hop02

여 기 는 hop 01 서 비 스 를 위해 hop 02 와 hop 03 서비스 에서 모두 이 작업 을 수행 해 야 합 니 다.
5. 동기 화 시간
ntp 구성 요소 설치

#   
yum install ntpdate ntp -y
#   
rpm -qa|grep ntp

기본 관리 명령

#     
service ntpd status
#   
service ntpd start
#     
chkconfig ntpd on

수정 시간 서비스 hop 01

#   ntp  
vim /etc/ntp.conf
#     
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
server 127.0.0.1
fudge 127.0.0.1 stratum 10

hop 02 \ hop 03 시간 체 제 를 수정 하고 hop 01 동기 화 시간 에서 네트워크 에서 시간 을 얻 는 체 제 를 취소 합 니 다.

server 192.168.37.133
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst

정시 작업 작성

[root@hop02 ~]# crontab -e
*/10 * * * * /usr/sbin/ntpdate hop01

hop 02 와 hop 03 서비스 시간 수정

#     
date -s "2018-05-20 13:14:55"
#     
date

이러한 시간 은 hop 01 서비스의 시간 에 따라 끊임없이 수정 되 거나 동기 화 될 것 이다.
6. 환경 청소
의사 분포 식 환경 가상 컴퓨터 에서 세 대의 Centos 7 서 비 스 를 복제 하여 원래 hadop 환경 설정 의 data 와 log 폴 더 를 삭제 합 니 다.

[root@hop02 hadoop2.7]# rm -rf data/ logs/

2. 군집 환경 구축
1. 클 러 스 터 설정 개관
서비스 목록
HDFS 파일
YARN 스케줄 링
단일 서비스
hop01
DataNode
NodeManager
NameNode
hop02
DataNode
NodeManager
ResourceManager
hop03
DataNode
NodeManager
SecondaryNameNode
2. 설정 수정
vim core-site.xml

    fs.defaultFS
    hdfs://hop01:9000

이 세 대의 서 비 스 는 현재 호스트 이름 을 각각 지정 해 야 합 니 다.
vim hdfs-site.xml

    dfs.replication
    3



      dfs.namenode.secondary.http-address
      hop03:50090

여기 서 복사 본 수 를 3 으로 수정 하고 Secondary NameNode 서 비 스 를 지정 합 니 다. 세 대의 서 비 스 는 똑 같이 Secondary NameNode 를 hop 03 서비스 에 지정 합 니 다.
vim yarn-site.xml

    yarn.resourcemanager.hostname
    hop02

hop 02 에 ResourceManager 서 비 스 를 지정 합 니 다.
vim mapred-site.xml

mapreduce.jobhistory.address
hop01:10020




    mapreduce.jobhistory.webapp.address
    hop01:19888

관련 웹 사 이 드 보기 주 소 를 서비스 hop 01 에 지정 합 니 다.
3. 클 러 스 터 서비스 설정
경로: / opt / hadop 2.7 / etc / hadop
파일: vim slaves

hop01
hop02
hop03

세 대의 서비스 클 러 스 터 목록 을 설정 합 니 다.다른 서비스 와 같은 설정 을 동기 화하 여 수정 합 니 다.
4. NameNode 포맷
Name Node 가 hop 01 서비스 에 설정 되 어 있 습 니 다.

[root@hop01 hadoop2.7]# bin/hdfs namenode -format

5. HDFS 시작

[root@hop01 hadoop2.7]# sbin/start-dfs.sh
Starting namenodes on [hop01]
hop01: starting namenode
hop03: starting datanode
hop02: starting datanode
hop01: starting datanode
Starting secondary namenodes [hop03]
hop03: starting secondarynamenode

이곳 의 인쇄 정 보 를 주의 깊 게 보 세 요. 설정 과 완전히 일치 합 니 다.namenodes 는 hop 01 에서 시작 되 며, secondary - namenodes 는 hop 03 에서 시작 되 며, JPS 명령 을 통 해 각 서비스 에서 인증 을 볼 수 있 습 니 다.
6 、 YARN 시동
Yarn 이 hop 02 서비스 에 설정 되 어 있 기 때문에 hop 02 서비스 에서 시작 명령 을 실행 합 니 다.

[root@hop02 hadoop2.7]# sbin/start-yarn.sh
starting yarn daemons
starting resourcemanager
hop03: starting nodemanager
hop01: starting nodemanager
hop02: starting nodemanager,

이 곳 의 시작 인쇄 로 그 를 주의 하 십시오. 클 러 스 터 가 계획 한 서비스 가 모두 시작 되 었 습 니 다.

[root@hop01 hadoop2.7]# jps
4306 NodeManager
4043 DataNode
3949 NameNode
[root@hop02 hadoop2.7]# jps
3733 ResourceManager
3829 NodeManager
3613 DataNode
[root@hop03 hadoop2.7]# jps
3748 DataNode
3928 NodeManager
3803 SecondaryNameNode

각 서비스 에서 클 러 스 터 프로 세 스 를 보고 계획 설정 과 일치 합 니 다.
7. 웹 엔 드 인터페이스

NameNode：http://hop01:50070
SecondaryNameNode：http://hop03:50090

3. 소스 코드 주소

GitHub·  
https://github.com/cicadasmile/big-data-parent
GitEE·  
https://gitee.com/cicadasmile/big-data-parent

프로 그래 밍 시스템 정리
번호
항목 이름
GitHub 주소
GitEE 주소
추천 지수
01
자바 기술 디자인 모델, 알고리즘, 데이터 구조
GitHub · 여기 눌 러 주세요.
GitEE · 여기 눌 러 주세요.
☆☆☆☆☆
02
자바 기반, 병행, 대상 지향, 웹 개발
GitHub · 여기 눌 러 주세요.
GitEE · 여기 눌 러 주세요.
☆☆☆☆
03
SpringCloud 마이크로 서비스 기초 구성 요소 사례 상세 설명
GitHub · 여기 눌 러 주세요.
GitEE · 여기 눌 러 주세요.
☆☆☆
04
SpringCloud 마이크로 서비스 구조 실전 종합 사례
GitHub · 여기 눌 러 주세요.
GitEE · 여기 눌 러 주세요.
☆☆☆☆☆
05
SpringBoot 프레임 기초 응용 입문 부터 진급 까지
GitHub · 여기 눌 러 주세요.
GitEE · 여기 눌 러 주세요.
☆☆☆☆
06
SpringBoot 프레임 워 크 통합 개발 상용 미들웨어
GitHub · 여기 눌 러 주세요.
GitEE · 여기 눌 러 주세요.
☆☆☆☆☆
07
데이터 관리, 분포 식, 구조 설계 기초 사례
GitHub · 여기 눌 러 주세요.
GitEE · 여기 눌 러 주세요.
☆☆☆☆☆
08
빅 데이터 시리즈, 저장, 구성 요소, 계산 등 프레임 워 크
GitHub · 여기 눌 러 주세요.
GitEE · 여기 눌 러 주세요.
☆☆☆☆☆