빅 데이터 분야 에서 Hadoop 의 중요성 에 대해 서 는 입문 부터 Hadoop 설치 가 필요 하 다.

8811 단어
지식 요점:
Hadoop 이 뭐야?
Hadoop 실행 선 결 조건
설치 설정 Hadoop
Hadoop (Hadoop 기술 공유 버 전: Apache Hadoop 2.8.5
) Hadoop 은 Apache 재단 이 개발 한 분포 식 시스템 기반 구조 이다.사용 자 는 분포 식 바 텀 디 테 일 을 모 르 고 분포 식 프로그램 을 개발 할 수 있다.군집 의 위력 을 충분히 이용 하여 고속 연산 과 저장 을 하 다.Hadoop 은 HDFS 라 고 부 르 는 분포 식 파일 시스템 (Hadoop Distributed File System) 을 실현 했다.HDFS 는 높 은 용 착 력 의 특징 을 가지 고 저렴 한 (low - cost) 하드웨어 에 배치 하도록 설계 되 었 다.또한 응용 프로그램의 데 이 터 를 방문 하기 위해 높 은 스루풋 (high throughput) 을 제공 합 니 다. 초대형 데이터 세트 (large data set) 를 가 진 응용 프로그램 에 적합 합 니 다.HDFS 는 (streaming access) 파일 시스템 의 데 이 터 를 스 트림 형식 으로 접근 할 수 있 도록 (relax) POSIX 요 구 를 완화 했다.Hadoop 의 프레임 워 크 의 가장 핵심 적 인 디자인 은:
  • HDFS 는 대량의 데이터 에 저장
  • 을 제공 했다.
  • MapReduce 는 대량의 데이터 에 계산
  • 을 제공 했다.
    준비 환경
  • Java Development Kit8(JDK8)
  • CentOS 7.4, 가상 컴퓨터 3 대 (분포 식) 또는 가상 컴퓨터 (단일 노드) 하드웨어 요구 16G 또는 16G + 메모리, 4 핵 - 8 핵 CPU, 200 GB 하 드 디스크 공간 선 결 조건 (버 전 선택) HBase 와 Hadoop 버 전 대응
  • Hadoop 버 전
    HBase-1.2.x,HBase-1.3.x
    HBase-1.4.x
    HBase-1.5.x
    HBase-2.0.x
    HBase-2.1.x
    HBase-2.2.x
    Hadoop-2.4.x
    지지 하 다.
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    Hadoop-2.5.x
    지지 하 다.
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    Hadoop-2.6.0
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    Hadoop-2.6.1+
    지지 하 다.
    지지 하지 않 음
    지지 하지 않 음
    지지 하 다.
    지지 하지 않 음
    지지 하지 않 음
    Hadoop-2.7.0
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    Hadoop-2.7.1+
    지지 하 다.
    지지 하 다.
    지지 하지 않 음
    지지 하 다
    지지 하지 않 음
    Hadoop-2.8.[0-2]
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    Hadoop-2.8.[3-4]
    테스트 되 지 않 음
    테스트 되 지 않 음
    지지 하지 않 음
    지지 하 다.
    지지 하 다.
    지지 하지 않 음
    Hadoop-2.8.5+
    테스트 되 지 않 음
    테스트 되 지 않 음
    지지 하 다.
    지지 하 다.
    지지 하 다.
    지지 하 다.
    Hadoop-2.9.[0-1]
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    Hadoop-2.9.2+
    테스트 되 지 않 음
    테스트 되 지 않 음
    지지 하 다.
    테스트 되 지 않 음
    테스트 되 지 않 음
    지지 하 다.
    Hadoop-3.0.[0-2]
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    Hadoop-3.0.3+
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하 다.
    지지 하 다.
    지지 하지 않 음
    Hadoop-3.1.0
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    Hadoop-3.1.1+
    지지 하지 않 음
    지지 하지 않 음
    지지 하지 않 음
    지지 하 다.
    지지 하 다.
    지지 하 다.
    HBase 와 JDK
    HBase 버 전
    JDK 7
    JDK 8
    JDK 9
    JDK 10
    JDK 11
    2.0+
    지지 하지 않 음
    지지 하 다.
    테스트 되 지 않 음
    테스트 되 지 않 음
    테스트 되 지 않 음
    1.2+
    지지 하 다.
    지지 하 다.
    테스트 되 지 않 음
    테스트 되 지 않 음
    테스트 되 지 않 음
    설치 설정 Hadoop
    Hadoop 설치 절 차 는 쉽게 기억 할 수 있 습 니 다. 442 진형 에 7 개의 드 워 프 가 있 습 니 다.이 절 차 는 다른 버 전의 Apache Hadoop 에 도 적용 된다.
    다운로드 및 압축 풀기
    #     
    $bin wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
    #     
    $bin tar xvzf hadoop-2.8.5.tar.gz
    #                 
    $bin mv ./hadoop-2.8.5 /path/to/      
    

    Linux 시스템 설정
  • 사용자 만 들 기
  • $bin useradd hadoop
    
  • Liux 프로필 수정
  • 192.168.56.105 master
    192.168.56.107 docker01
    192.168.56.109 docker02
    

    수정 / etc / sysconfig / network
    NETWORKING=yes
    HOSTNAME=     
    
  • 방화벽 닫 기
  • $bin systemctl stop firewalld.service
    $bin systemctl disable firewalld.service
    
  • 비밀 로그 인 면제 설정 sshd 서비스 편집 / etc / ssh / sshd 열기config
  • RSAAuthentication       yes
    PubkeyAuthentication    yes
    AuthorizedKeysFile      .ssh/authorized_keys
    

    sshd 서비스 다시 시작
    $bin systemctl restart sshd.service
    

    비밀 면제 설정
    $bin su hadoop
    #  master     RSA    
    $bin ssh-keygen -t rsa
    
    #  hadoop         .ssh  
    $bin cd ~/.ssh
    
    #   authorized_keys  
    $bin cat id_rsa.pub >> authorized_keys
    #  authorized_keys        
    $bin chmod 644 ./authorized_keys
    
    #   authorized_keys docker01 docker02
    $bin ssh-copy-id hadoop@docker01
    $bin ssh-copy-id hadoop@docker02
    
    #              ,                   
    # master        docker01
    $bin ssh docker01
    # master        docker02
    $bin shh docker02
    

    Hadoop 설정
  • 디 렉 터 리 권한 설정
  • $bin chown -R hadoop:hadoop /usr/local/bigdata/hadoop-2.8.5
    
  • Hadoop 데이터 디 렉 터 리 준비
  • $bin cd
    
    $bin mkdir -p ./hdfs/name ./hdfs/data
    
  • Hadoop 프로필 프로필 디 렉 터 리 경 로 를 수정 합 니 다. / path / to / hadop - 2.8.5 / etc / hadop ① hadop - env. sh ② yarn - env. sh ③ core - site. xml ④ hdfs - site. xml ⑤ mapred - site. xml ⑥ yarn - site. xml ⑦ slaves hadop - env. sh
  • export JAVA_HOME=/usr/local/jdk1.8.0_171
    export HADOOP_PREFIX=/usr/local/bigdata/hadoop-2.8.5
    

    yarn-env.sh
    export JAVA_HOME=/usr/local/jdk1.8.0_171
    

    core-site.xml
    
        
            fs.defaultFS
            hdfs://master:9000
        
        
            hadoop.home.dir
            file:/usr/local/bigdata/hadoop-2.8.5
            Abase for other temporary directories.
        
        
            hadoop.tmp.dir
            file:/home/hadoop/hdfs
        
    
    

    hdfs-site.xml
    
        
            dfs.namenode.secondary.http-address
            master:50090
        
        
            dfs.replication
            1
        
        
            dfs.namenode.name.dir
            file:/home/hadoop/hdfs/name
        
        
            dfs.datanode.data.dir
            file:/home/hadoop/hdfs/data
        
    
        
            dfs.hosts
            /usr/local/bigdata/hadoop-2.8.5/etc/hadoop/slaves
        
    
    

    mapred-site.xml
    
        
            mapreduce.framework.name
            yarn
        
        
            mapreduce.jobhistory.address
            master:10020
        
        
            mapreduce.jobhistory.webapp.address
            master:19888
        
        
            mapred.job.tracker.http.address
            master:50030
        
        
            mapred.task.tracker.http.address
            master:50060
        
    
    

    yarn-site.xml
    
        
            yarn.resourcemanager.hostname
            master
        
        
            yarn.nodemanager.aux-services
            mapreduce_shuffle
        
    
        
            yarn.resourcemanager.address
            master:8032
        
        
            yarn.resourcemanager.scheduler.address
            master:8030
        
        
            yarn.resourcemanager.resource-tracker.address
            master:8031
        
        
            yarn.resourcemanager.admin.address
            master:8033
        
        
            yarn.resourcemanager.webapp.address
            master:8088
        
    
    

    slaves
    docker01
    docker02
    
  • 노드 배포
  • $bin scp -r /usr/local/bigdata/hadoop-2.8.5 docker01:/usr/local/bigdata
    $bin scp -r /usr/local/bigdata/hadoop-2.8.5 docker02:/usr/local/bigdata
    

    검증 하 다.
  • Hadoop 을 초기 화하 여 namenode 를 포맷 합 니 다 (주 노드 에서 해 야 합 니 다)
  • hdfs namenode -format
    
  • 서비스 시작
  • #        
    $bin start-all.sh
    
    #        
    $bin start-dfs.sh
    $bin start-yarn.sh
    

    정상적으로 시작 하려 면 다섯 개의 프로 세 스 가 있 습 니 다:
    NameNode
    SecondaryNameNode
    ResourceManager
    NodeManager
    DataNode
    

    DFS WebUI 주소:http://192.168.56.105:50090/ Yarn WebUI 주소:http://192.168.56.105:8088/ 페이지 가 정상 적 이 고 서비스 가 정상적으로 시작 되 었 음 을 설명 합 니 다.hdfs 명령 을 실행 하면 다음 인증 을 진행 할 수 있 습 니 다.
    #   hdfs          
    $bin hdfs dfs -ls /
    

    주: 여러분 이 공부 할 때 반드시 버 전 을 대조 해 야 합 니 다. 그리고 만약 에 자신 이 연습 을 한다 면 제 노드 구조 와 똑 같 아야 공부 할 때 불필요 한 번 거 로 움 을 피 할 수 있 습 니 다!

    좋은 웹페이지 즐겨찾기