yarn 집단 구축

클러스터 계획: NN-1: Namenode(active) NN-1: Namenode(standby) DN: Datanode ZK: Zookeeper ZKFC: Zookeeper Failover Controller JUN: Journalnode RS: ResourceManager NM: NodeManager
서버 이름
프로세스
node01
NN-1、ZKFC、JUN 、RS
node02
NN-2、DN、ZK、ZKFC、JUN 、RS、NM
node03
DN、ZK、JUN、NM
node04
DN、ZK、NM
우선 고가용 완전 분포식 HDFS를 구축하고 이를 바탕으로 yarn 집단을 구축해야 한다. 앞의 몇 편은 이미 썼지만 더 이상 설명하지 않겠다.

1.mapred-site를 설정합니다.xml 파일 ①mapred-site를 엽니다.xml 파일은/압축 해제 디렉터리/etc/hadoop/mapred-site에 있습니다.xml ② 프로필 수정

 
        mapreduce.framework.name
        yarn

2.yarn-site를 설정합니다.xml 파일

① mapred-site를 엽니다.xml 파일은/압축 해제 디렉터리/etc/hadoop/yarn-site에 있습니다.xml ② 프로필 수정

 
  yarn.nodemanager.aux-services
  mapreduce_shuffle
    

   yarn.resourcemanager.ha.enabled
   true
 
 
   yarn.resourcemanager.cluster-id
   cluster1
 
 
   yarn.resourcemanager.ha.rm-ids
   rm1,rm2
 
 
   yarn.resourcemanager.hostname.rm1
   node01
 
 
   yarn.resourcemanager.hostname.rm2
   node02
 
 
   yarn.resourcemanager.zk-address
   node02:2181,node03:2181,node04:2181

3.Zookeeper를 시작합니다

--명령:zkServer.sh start

4.클러스터 시작 - 명령:start-dfs.sh

5.yarn 시작 --명령:start-yarn.sh

6.다른 점에서 다른 ResourceManager를 별도로 시작합니다. 명령:yarn-daemon.sh start resourcemanager

7.계산 실행 - 명령:hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /input /output input:hdfs 파일 시스템에 데이터가 있는 디렉터리ouput:hdfs에 존재하지 않는 디렉터리입니다. 계산 프로그램이 실행한 결과는 이 디렉터리 이상으로 출력됩니다. 구축이 완료되었습니다..

미완성 미계속...

이 내용에 흥미가 있습니까?

현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:

yarn 집단 구축

클러스터 계획: NN-1: Namenode(active) NN-1: Namenode(standby) DN: Datanode ZK: Zookeeper ZKFC: Zookeeper Failover Controller J...

텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.

CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.

yarn 집단 구축

yarn 집단 구축

좋은 웹페이지 즐겨찾기