hadop 클 러 스 터 및 단일 노드 설치 튜 토리 얼

1. hadop 다운로드
1. jdk 설치 참고: jdk 다운로드 2, hadop 다운로드, 원리 동일 1
2. 환경 수정
\ vi / etc / hostname 은 각각 세 대의 호스트 이름 을 수정 합 니 다: hadop 1, hadop 2, hadop 3
환경 변수 추가: HADOOPHOME=/usr/local/hadoop/hadoop-3.2.0 PATH=$HADOOP_HOME/bin
\ vi / etc / hosts 로그 인 서 비 스 는 세 대의 서비스 정 보 를 host 에 추가 합 니 다 192.168.101.88 hadop 01 192.168.101.89 hadop 02 192.168.101.90 hadop 03
ssh 비밀 로그 인 면제 설정: ssh 튜 토리 얼 주: 여 기 는 클 러 스 터 입 니 다. 단 노드 hadop 설치 라 도 ssh 를 설정 해 야 합 니 다. 그렇지 않 으 면 node 가 시작 할 수 없습니다.
3. 프로필 수정
폴 더 만 들 기:

mkdir  /usr/local/hadoop/tmp
mkdir  /usr/local/hadoop/var
mkdir  /usr/local/hadoop/dfs
mkdir  /usr/local/hadoop/dfs/name
mkdir  /usr/local/hadoop/dfs/data

#/usr/local/hadoop/hadoop-3.2.0/etc/hadoop core-site.xml

 
        hadoop.tmp.dir
        /usr/local/hadoop/tmp
   
   
        fs.default.name
        hdfs://hadoop01:9000
   

hadoop-env.sh

     export   JAVA_HOME=       JAVA_HOME

hdfs-site.xml

    
        dfs.name.dir
        /usr/local/hadoop/dfs/name
    
    
        dfs.data.dir
        /usr/local/hadoop/dfs/data
    
    
        dfs.replication
        2
    
    
        dfs.permissions
        false
    
    
        dfs.namenode.http.address
        hadoop01:50070
    

mapred-site.xml

    
        mapred.job.tracker
        hadoop01:49001
    
    
        mapred.local.dir
        /usr/local/hadoop/var
    
    
        mapreduce.framework.name
        yarn
    

workers: 이 파일 은 hadop 1 서버 에 만 추가 할 수 있 습 니 다.

hadoop01
hadoop02
hadoop03

yarn-site.xml

    
        yarn.resourcemanager.hostname
        hadoop01
    
    
        yarn.resourcemanager.address
        ${yarn.resourcemanager.hostname}:8032
    
    
        yarn.resourcemanager.scheduler.address
        ${yarn.resourcemanager.hostname}:8030
    
    
        yarn.resourcemanager.webapp.address
        ${yarn.resourcemanager.hostname}:8088
    
    
        yarn.resourcemanager.webapp.https.address
        ${yarn.resourcemanager.hostname}:8090
    
    
        yarn.resourcemanager.resource-tracker.address
        ${yarn.resourcemanager.hostname}:8031
    
    
        yarn.resourcemanager.admin.address
        ${yarn.resourcemanager.hostname}:8033
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.scheduler.maximum-allocation-mb
        1024
    
    
        yarn.nodemanager.vmem-pmem-ratio
        2.1
    
    
        yarn.nodemanager.resource.memory-mb
        2048
    
    
        yarn.nodemanager.vmem-check-enabled
        false
    

/ usr / local / hadop 폴 더 를 각 노드 / usr / local / 디 렉 터 리 에 복사 합 니 다.
4. 시동
hadop 1 기기 의 namenode 초기 화 (hadop 2 와 hadop 3 는 이 절차 가 필요 하지 않 습 니 다) cd / usr / local / hadop / hadop / hadop - 3.2.0 / bin. / hadop namenode - format 포맷 에 성공 한 후 / usr / local / hadop / dfs / name / 디 렉 터 리 에 current 디 렉 터 리 시작 명령 이 하나 더 있 습 니 다. / usr / local / hadop / hadop / 3.2.0 / sibn / start - all. sh 인증 방문 브 라 우 저,주소 입력:http://192.168.101.88:8088/ hadop 의 Nodes of the cluster 페이지 를 성공 적 으로 보 여 줍 니 다.정상 적 인 상황 은 3 개의 노드 를 표시 합 니 다.
5. 단일 노드
단일 노드 배 치 는 설정 파일 에 있 는 workers 를 이 컴퓨터 만 유지 하고 ssh 를 설정 하면 됩 니 다.