빅 데이터 분야 에서 Hadoop 의 중요성 에 대해 서 는 입문 부터 Hadoop 설치 가 필요 하 다.
Hadoop 이 뭐야?
Hadoop 실행 선 결 조건
설치 설정 Hadoop
Hadoop (Hadoop 기술 공유 버 전: Apache Hadoop 2.8.5
) Hadoop 은 Apache 재단 이 개발 한 분포 식 시스템 기반 구조 이다.사용 자 는 분포 식 바 텀 디 테 일 을 모 르 고 분포 식 프로그램 을 개발 할 수 있다.군집 의 위력 을 충분히 이용 하여 고속 연산 과 저장 을 하 다.Hadoop 은 HDFS 라 고 부 르 는 분포 식 파일 시스템 (Hadoop Distributed File System) 을 실현 했다.HDFS 는 높 은 용 착 력 의 특징 을 가지 고 저렴 한 (low - cost) 하드웨어 에 배치 하도록 설계 되 었 다.또한 응용 프로그램의 데 이 터 를 방문 하기 위해 높 은 스루풋 (high throughput) 을 제공 합 니 다. 초대형 데이터 세트 (large data set) 를 가 진 응용 프로그램 에 적합 합 니 다.HDFS 는 (streaming access) 파일 시스템 의 데 이 터 를 스 트림 형식 으로 접근 할 수 있 도록 (relax) POSIX 요 구 를 완화 했다.Hadoop 의 프레임 워 크 의 가장 핵심 적 인 디자인 은:
준비 환경
HBase-1.2.x,HBase-1.3.x
HBase-1.4.x
HBase-1.5.x
HBase-2.0.x
HBase-2.1.x
HBase-2.2.x
Hadoop-2.4.x
지지 하 다.
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.5.x
지지 하 다.
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.6.0
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.6.1+
지지 하 다.
지지 하지 않 음
지지 하지 않 음
지지 하 다.
지지 하지 않 음
지지 하지 않 음
Hadoop-2.7.0
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.7.1+
지지 하 다.
지지 하 다.
지지 하지 않 음
지지 하 다
지지 하지 않 음
Hadoop-2.8.[0-2]
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.8.[3-4]
테스트 되 지 않 음
테스트 되 지 않 음
지지 하지 않 음
지지 하 다.
지지 하 다.
지지 하지 않 음
Hadoop-2.8.5+
테스트 되 지 않 음
테스트 되 지 않 음
지지 하 다.
지지 하 다.
지지 하 다.
지지 하 다.
Hadoop-2.9.[0-1]
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-2.9.2+
테스트 되 지 않 음
테스트 되 지 않 음
지지 하 다.
테스트 되 지 않 음
테스트 되 지 않 음
지지 하 다.
Hadoop-3.0.[0-2]
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-3.0.3+
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하 다.
지지 하 다.
지지 하지 않 음
Hadoop-3.1.0
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
Hadoop-3.1.1+
지지 하지 않 음
지지 하지 않 음
지지 하지 않 음
지지 하 다.
지지 하 다.
지지 하 다.
HBase 와 JDK
HBase 버 전
JDK 7
JDK 8
JDK 9
JDK 10
JDK 11
2.0+
지지 하지 않 음
지지 하 다.
테스트 되 지 않 음
테스트 되 지 않 음
테스트 되 지 않 음
1.2+
지지 하 다.
지지 하 다.
테스트 되 지 않 음
테스트 되 지 않 음
테스트 되 지 않 음
설치 설정 Hadoop
Hadoop 설치 절 차 는 쉽게 기억 할 수 있 습 니 다. 442 진형 에 7 개의 드 워 프 가 있 습 니 다.이 절 차 는 다른 버 전의 Apache Hadoop 에 도 적용 된다.
다운로드 및 압축 풀기
#
$bin wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
#
$bin tar xvzf hadoop-2.8.5.tar.gz
#
$bin mv ./hadoop-2.8.5 /path/to/
Linux 시스템 설정
$bin useradd hadoop
192.168.56.105 master
192.168.56.107 docker01
192.168.56.109 docker02
수정 / etc / sysconfig / network
NETWORKING=yes
HOSTNAME=
$bin systemctl stop firewalld.service
$bin systemctl disable firewalld.service
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
sshd 서비스 다시 시작
$bin systemctl restart sshd.service
비밀 면제 설정
$bin su hadoop
# master RSA
$bin ssh-keygen -t rsa
# hadoop .ssh
$bin cd ~/.ssh
# authorized_keys
$bin cat id_rsa.pub >> authorized_keys
# authorized_keys
$bin chmod 644 ./authorized_keys
# authorized_keys docker01 docker02
$bin ssh-copy-id hadoop@docker01
$bin ssh-copy-id hadoop@docker02
# ,
# master docker01
$bin ssh docker01
# master docker02
$bin shh docker02
Hadoop 설정
$bin chown -R hadoop:hadoop /usr/local/bigdata/hadoop-2.8.5
$bin cd
$bin mkdir -p ./hdfs/name ./hdfs/data
export JAVA_HOME=/usr/local/jdk1.8.0_171
export HADOOP_PREFIX=/usr/local/bigdata/hadoop-2.8.5
yarn-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_171
core-site.xml
fs.defaultFS
hdfs://master:9000
hadoop.home.dir
file:/usr/local/bigdata/hadoop-2.8.5
Abase for other temporary directories.
hadoop.tmp.dir
file:/home/hadoop/hdfs
hdfs-site.xml
dfs.namenode.secondary.http-address
master:50090
dfs.replication
1
dfs.namenode.name.dir
file:/home/hadoop/hdfs/name
dfs.datanode.data.dir
file:/home/hadoop/hdfs/data
dfs.hosts
/usr/local/bigdata/hadoop-2.8.5/etc/hadoop/slaves
mapred-site.xml
mapreduce.framework.name
yarn
mapreduce.jobhistory.address
master:10020
mapreduce.jobhistory.webapp.address
master:19888
mapred.job.tracker.http.address
master:50030
mapred.task.tracker.http.address
master:50060
yarn-site.xml
yarn.resourcemanager.hostname
master
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.address
master:8032
yarn.resourcemanager.scheduler.address
master:8030
yarn.resourcemanager.resource-tracker.address
master:8031
yarn.resourcemanager.admin.address
master:8033
yarn.resourcemanager.webapp.address
master:8088
slaves
docker01
docker02
$bin scp -r /usr/local/bigdata/hadoop-2.8.5 docker01:/usr/local/bigdata
$bin scp -r /usr/local/bigdata/hadoop-2.8.5 docker02:/usr/local/bigdata
검증 하 다.
hdfs namenode -format
#
$bin start-all.sh
#
$bin start-dfs.sh
$bin start-yarn.sh
정상적으로 시작 하려 면 다섯 개의 프로 세 스 가 있 습 니 다:
NameNode
SecondaryNameNode
ResourceManager
NodeManager
DataNode
DFS WebUI 주소:http://192.168.56.105:50090/ Yarn WebUI 주소:http://192.168.56.105:8088/ 페이지 가 정상 적 이 고 서비스 가 정상적으로 시작 되 었 음 을 설명 합 니 다.hdfs 명령 을 실행 하면 다음 인증 을 진행 할 수 있 습 니 다.
# hdfs
$bin hdfs dfs -ls /
주: 여러분 이 공부 할 때 반드시 버 전 을 대조 해 야 합 니 다. 그리고 만약 에 자신 이 연습 을 한다 면 제 노드 구조 와 똑 같 아야 공부 할 때 불필요 한 번 거 로 움 을 피 할 수 있 습 니 다!
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.