빅 데이터 분야 에서 Hadoop 의 중요성 에 대해 서 는 입문 부터 Hadoop 설치 가 필요 하 다.

지식 요점:
Hadoop 이 뭐야?
Hadoop 실행 선 결 조건
설치 설정 Hadoop
Hadoop (Hadoop 기술 공유 버 전: Apache Hadoop 2.8.5
) Hadoop 은 Apache 재단 이 개발 한 분포 식 시스템 기반 구조 이다.사용 자 는 분포 식 바 텀 디 테 일 을 모 르 고 분포 식 프로그램 을 개발 할 수 있다.군집 의 위력 을 충분히 이용 하여 고속 연산 과 저장 을 하 다.Hadoop 은 HDFS 라 고 부 르 는 분포 식 파일 시스템 (Hadoop Distributed File System) 을 실현 했다.HDFS 는 높 은 용 착 력 의 특징 을 가지 고 저렴 한 (low - cost) 하드웨어 에 배치 하도록 설계 되 었 다.또한 응용 프로그램의 데 이 터 를 방문 하기 위해 높 은 스루풋 (high throughput) 을 제공 합 니 다. 초대형 데이터 세트 (large data set) 를 가 진 응용 프로그램 에 적합 합 니 다.HDFS 는 (streaming access) 파일 시스템 의 데 이 터 를 스 트림 형식 으로 접근 할 수 있 도록 (relax) POSIX 요 구 를 완화 했다.Hadoop 의 프레임 워 크 의 가장 핵심 적 인 디자인 은:

HDFS 는 대량의 데이터 에 저장

을 제공 했다.

MapReduce 는 대량의 데이터 에 계산

을 제공 했다.
준비 환경

Java Development Kit8（JDK8）

CentOS 7.4, 가상 컴퓨터 3 대 (분포 식) 또는 가상 컴퓨터 (단일 노드) 하드웨어 요구 16G 또는 16G + 메모리, 4 핵 - 8 핵 CPU, 200 GB 하 드 디스크 공간 선 결 조건 (버 전 선택) HBase 와 Hadoop 버 전 대응

Hadoop 버 전
HBase-1.2.x,HBase-1.3.x
HBase-1.4.x
HBase-1.5.x
HBase-2.0.x
HBase-2.1.x
HBase-2.2.x
Hadoop-2.4.x
지지 하 다.
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.5.x
지지 하 다.
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.6.0
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.6.1+
지지 하 다.
지지 하지 않 음
지지 하지 않 음
지지 하 다.
지지 하지 않 음
지지 하지 않 음
Hadoop-2.7.0
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.7.1+
지지 하 다.
지지 하 다.
지지 하지 않 음
지지 하 다
지지 하지 않 음
Hadoop-2.8.[0-2]
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.8.[3-4]
테스트 되 지 않 음
테스트 되 지 않 음
지지 하지 않 음
지지 하 다.
지지 하 다.
지지 하지 않 음
Hadoop-2.8.5+
테스트 되 지 않 음
테스트 되 지 않 음
지지 하 다.
지지 하 다.
지지 하 다.
지지 하 다.
Hadoop-2.9.[0-1]
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.9.2+
테스트 되 지 않 음
테스트 되 지 않 음
지지 하 다.
테스트 되 지 않 음
테스트 되 지 않 음
지지 하 다.
Hadoop-3.0.[0-2]
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-3.0.3+
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하 다.
지지 하 다.
지지 하지 않 음
Hadoop-3.1.0
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-3.1.1+
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하 다.
지지 하 다.
지지 하 다.
HBase 와 JDK
HBase 버 전
JDK 7
JDK 8
JDK 9
JDK 10
JDK 11
2.0+
지지 하지 않 음
지지 하 다.
테스트 되 지 않 음
테스트 되 지 않 음
테스트 되 지 않 음
1.2+
지지 하 다.
지지 하 다.
테스트 되 지 않 음
테스트 되 지 않 음
테스트 되 지 않 음
설치 설정 Hadoop
Hadoop 설치 절 차 는 쉽게 기억 할 수 있 습 니 다. 442 진형 에 7 개의 드 워 프 가 있 습 니 다.이 절 차 는 다른 버 전의 Apache Hadoop 에 도 적용 된다.
다운로드 및 압축 풀기

#     
$bin wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
#     
$bin tar xvzf hadoop-2.8.5.tar.gz
#                 
$bin mv ./hadoop-2.8.5 /path/to/

Linux 시스템 설정

사용자 만 들 기

$bin useradd hadoop

Liux 프로필 수정

192.168.56.105 master
192.168.56.107 docker01
192.168.56.109 docker02

수정 / etc / sysconfig / network

NETWORKING=yes
HOSTNAME=

방화벽 닫 기

$bin systemctl stop firewalld.service
$bin systemctl disable firewalld.service

비밀 로그 인 면제 설정 sshd 서비스 편집 / etc / ssh / sshd 열기config

RSAAuthentication       yes
PubkeyAuthentication    yes
AuthorizedKeysFile      .ssh/authorized_keys

sshd 서비스 다시 시작

$bin systemctl restart sshd.service

비밀 면제 설정

$bin su hadoop
#  master     RSA    
$bin ssh-keygen -t rsa

#  hadoop         .ssh  
$bin cd ~/.ssh

#   authorized_keys  
$bin cat id_rsa.pub >> authorized_keys
#  authorized_keys        
$bin chmod 644 ./authorized_keys

#   authorized_keys docker01 docker02
$bin ssh-copy-id hadoop@docker01
$bin ssh-copy-id hadoop@docker02

#              ，                   
# master        docker01
$bin ssh docker01
# master        docker02
$bin shh docker02

Hadoop 설정

디 렉 터 리 권한 설정

$bin chown -R hadoop:hadoop /usr/local/bigdata/hadoop-2.8.5

Hadoop 데이터 디 렉 터 리 준비

$bin cd

$bin mkdir -p ./hdfs/name ./hdfs/data

Hadoop 프로필 프로필 디 렉 터 리 경 로 를 수정 합 니 다. / path / to / hadop - 2.8.5 / etc / hadop ① hadop - env. sh ② yarn - env. sh ③ core - site. xml ④ hdfs - site. xml ⑤ mapred - site. xml ⑥ yarn - site. xml ⑦ slaves hadop - env. sh

export JAVA_HOME=/usr/local/jdk1.8.0_171
export HADOOP_PREFIX=/usr/local/bigdata/hadoop-2.8.5

yarn-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_171

core-site.xml


    
        fs.defaultFS
        hdfs://master:9000
    
    
        hadoop.home.dir
        file:/usr/local/bigdata/hadoop-2.8.5
        Abase for other temporary directories.
    
    
        hadoop.tmp.dir
        file:/home/hadoop/hdfs

hdfs-site.xml


    
        dfs.namenode.secondary.http-address
        master:50090
    
    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/home/hadoop/hdfs/name
    
    
        dfs.datanode.data.dir
        file:/home/hadoop/hdfs/data
    

    
        dfs.hosts
        /usr/local/bigdata/hadoop-2.8.5/etc/hadoop/slaves

mapred-site.xml


    
        mapreduce.framework.name
        yarn
    
    
        mapreduce.jobhistory.address
        master:10020
    
    
        mapreduce.jobhistory.webapp.address
        master:19888
    
    
        mapred.job.tracker.http.address
        master:50030
    
    
        mapred.task.tracker.http.address
        master:50060

yarn-site.xml


    
        yarn.resourcemanager.hostname
        master
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
        yarn.resourcemanager.address
        master:8032
    
    
        yarn.resourcemanager.scheduler.address
        master:8030
    
    
        yarn.resourcemanager.resource-tracker.address
        master:8031
    
    
        yarn.resourcemanager.admin.address
        master:8033
    
    
        yarn.resourcemanager.webapp.address
        master:8088

slaves

docker01
docker02

노드 배포

$bin scp -r /usr/local/bigdata/hadoop-2.8.5 docker01:/usr/local/bigdata
$bin scp -r /usr/local/bigdata/hadoop-2.8.5 docker02:/usr/local/bigdata

검증 하 다.

Hadoop 을 초기 화하 여 namenode 를 포맷 합 니 다 (주 노드 에서 해 야 합 니 다)

hdfs namenode -format

서비스 시작

#        
$bin start-all.sh

#        
$bin start-dfs.sh
$bin start-yarn.sh

정상적으로 시작 하려 면 다섯 개의 프로 세 스 가 있 습 니 다:

NameNode
SecondaryNameNode
ResourceManager
NodeManager
DataNode

DFS WebUI 주소:http://192.168.56.105:50090/ Yarn WebUI 주소:http://192.168.56.105:8088/ 페이지 가 정상 적 이 고 서비스 가 정상적으로 시작 되 었 음 을 설명 합 니 다.hdfs 명령 을 실행 하면 다음 인증 을 진행 할 수 있 습 니 다.

#   hdfs          
$bin hdfs dfs -ls /

주: 여러분 이 공부 할 때 반드시 버 전 을 대조 해 야 합 니 다. 그리고 만약 에 자신 이 연습 을 한다 면 제 노드 구조 와 똑 같 아야 공부 할 때 불필요 한 번 거 로 움 을 피 할 수 있 습 니 다!

이 내용에 흥미가 있습니까?

현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:

다양한 언어의 JSON

JSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...

텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.

CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.

빅 데이터 분야 에서 Hadoop 의 중요성 에 대해 서 는 입문 부터 Hadoop 설치 가 필요 하 다.

좋은 웹페이지 즐겨찾기