YARN 군집 구축

본 고 는 주로 클 러 스 터 구축 절 차 를 기록 하고 구체 적 인 세부 사항 은 비교적 간략 하 다.
1. YARN 안내
Apache Hadoop YARN (Yet Another Resource Negotiator, 또 다른 자원 코 디 네 이 터) 은 새로운 Hadoop 자원 관리자 로 서 유 니 버 설 자원 관리 시스템 으로 상부 응용 에 통 일 된 자원 관리 와 배 치 를 제공 할 수 있 으 며 이 를 도입 하여 클 러 스 터 가 이 용 률, 자원 통일 관리 와 데이터 공유 등에 큰 이익 을 가 져 왔 다.
2. 군집 계획
호스트 이름
역할.
hadoop11
NameNode & DataNode & NodeManager
hadoop12
DataNode & ResourceManager & NodeManager
hadoop13
NameNode & DataNode & NodeManager
3. 군집 을 구축한다.

호스트 이름과 host 맵 을 수정 하고 기 계 를 다시 시작 합 니 다

설정 ssh 비밀 로그 인 면제

환경 변수 설정 JAVA

Hadoop 설치 (1). 수정 hadoop-env.sh (2). 수정 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://hadoop11:9000value>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>/home/zhangjia/hadoop-2.9.2/datavalue>
    property>
configuration>

(3). 수정 hdfs-site.xml 수정 할 필요 가 없습니다. 기본 설정 으로 (4). mapred - site. xml 수정

<configuration>
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>

(5). 수정 yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
    <property>
        <name>yarn.resourcemanager.hostnamename>
        <value>hadoop12value>
    property>
configuration>

(6). 설정 slaves 파일

hadoop11
hadoop12
hadoop13

(7). NameNode 포맷

hdfs namenode -format

(8). HDFS 클 러 스 터 시작

start-dfs.sh

(9). YARN 클 러 스 터 시작 (리 소스 관리자 노드 에서 만 시작)

start-yarn.sh

(10).http://hadoop12:8088현재 YARN 시작 상황 보기

이 내용에 흥미가 있습니까?

현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:

spark 의 2: 원리 소개

Google Map/Reduce 를 바탕 으로 이 루어 진 Hadoop 은 개발 자 에 게 map, reduce 원 어 를 제공 하여 병렬 일괄 처리 프로그램 을 매우 간단 하고 아름 답 게 만 들 었 습 니 다.S...

텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.

CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.

YARN 군집 구축

좋은 웹페이지 즐겨찾기