hadop 설치 및 HDFS 간단 한 조작
10869 단어 빅 데이터
학습 중인 배치
1. 리 눅 스 환경 1.0 을 준비 하고 가상 컴퓨터 의 네트워크 모드 를 NAT 로 선택
1.1
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=itcast ###
1.2 IP
：
： Linux （ ）
Linux -> -> Edit connections -> System eth0 -> edit -> IPv4 -> method manual -> add -> IP：192.168.1.101 ：255.255.255.0 ：192.168.1.1 -> apply
： （ ）
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.101" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.168.1.1" ###
1.3 IP
vim /etc/hosts
192.168.1.101 itcast
1.4
#
service iptables status
#
service iptables stop
#
chkconfig iptables --list
#
chkconfig iptables off
1.5 sudo
su root
vim /etc/sudoers
hadoop
linux 서버 의 그래 픽 인터페이스 닫 기: vi / etc / inittab
1.5 Linux
reboot
2. JDK 2.1 을 설치 하여 alt + p 를 업로드 한 후 sftp 창 이 나타 나 고 put d: \ xxx \ yy \ ll \ jdk - 7u65-i585.tar.gz
2.2 jdk
#
mkdir /home/hadoop/app
#
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
2.3 java
vim /etc/profile
#
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin
#
source /etc/profile
3. hadop 2.4.1 설치 후 서버 에 hadop 패 키 지 를 업로드 / home / hadop / 메모: hadop 2. x 설정 파일 $HADOOPHOME / etc / hadop 의사 분포 식 은 5 개의 프로필 3.1 설정 hadop 을 수정 해 야 합 니 다. 첫 번 째: hadop - env. sh vim hadop - env. sh \ # 27 번 째 줄 export JAVAHOME=/usr/java/jdk1.7.0_65
：core-site.xml
fs.defaultFS
hdfs://weekend-1206-01:9000
hadoop.tmp.dir
/home/hadoop/hadoop-2.4.1/tmp
：hdfs-site.xml
dfs.replication
1
dfs.secondary.http.address
192.168.1.152:50090
：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
mapreduce.framework.name
yarn
：yarn-site.xml
yarn.resourcemanager.hostname
weekend-1206-01
yarn.nodemanager.aux-services
mapreduce_shuffle
3.2 hadoop
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
3.3 namenode（ namenode ）
hdfs namenode -format (hadoop namenode -format)
3.4 hadoop
HDFS
sbin/start-dfs.sh
YARN
sbin/start-yarn.sh
3.5
jps
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
http://192.168.1.101:50070 （HDFS ）
http://192.168.1.101:8088 （MR ）
4. ssh 로그 인 면제 설정 \ # ssh 로그 인 면제 키 생 성 \ # 내 홈 디 렉 터 리 cd 에 들 어 갑 니 다 ~ /. ssh
ssh-keygen -t rsa （ ）
， id_rsa（ ）、id_rsa.pub（ ）
ssh-copy-id localhost
---------------------------
ssh ：
key:
ssh-keygen
A B :
ssh-copy-id B
：
ssh localhost/exit，ps -e|grep ssh
ssh A # B
방화벽 상 태 를 보 는 명령 은 sudo systemctl status firewalld 입 니 다.방화벽 을 여 는 방식 은 두 가지 가 있 습 니 다. 하 나 는 열 고 다시 시작 하면 원래 상태 로 돌아 갑 니 다. 명령 은 sudo systemctl start firewalld 입 니 다.다른 하 나 는 열 린 후에 다시 시작 하면 원래 상태 로 돌아 오지 않 습 니 다. sudo systemctl enable firewalld 는 명령 을 입력 한 후에 시스템 을 다시 시작 해 야 합 니 다.방화벽 을 닫 는 방식 도 두 가지 가 있 습 니 다. 열 림 과 대응 되 며 명령 은 각각 sudo systemctl stop firewalld sudo systemctl disable firewalld 입 니 다.hostnamectl set - hostname centos77. magedu. com \ # 이 명령 을 사용 하면 즉시 효력 이 발생 하고 재 부팅 도 적 용 됩 니 다.
5.vi core-site.xml fs.defaultFS hdfs://192.168.186.5:9000#파일 시스템 의 형식 및 namenode hadop. tmp. dir / home / hadop / hdpddata configuration > 을 지정 합 니 다.
8.mv mapred-site.xml.template mapred-site.xml 9. vi yarn-site.xml yarn.resourcemanager.hostname 192.168.186.5
yarn.nodemanager.aux-services
mapreduce_shuffle
10. 다른 기기 scp - r apps / 192.168.186.7: / home / hadop /... 11. 방화벽 을 닫 고 hadop 을 설정 하 는 환경 변수 sudo service iptables stop sudo service iptables status sudo chkconfig iptables off sudo chkconfig iptables -- list vi / etc / profile export PATH = P A T H: PATH: PATH: JAVAHOME/bin export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4 export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
12. / etc / profile 을 다른 기기 에 복사 합 니 다. 12. 1. datanode 에 salves 파일 을 설정 하고 hosts 파일 (hosts 파일 을 배치 해 야 salve 를 찾 을 수 있 습 니 다. salves 파일 은 스 크 립 트 를 자동 으로 시작 하 는 데 사 용 됩 니 다) 13. 포맷 파일 시스템 hadop namenode - format 14. 각각 namenode. datanode hadop - daemon. sh start namenode hadop - daemon. sh stop datanode 를 시작 합 니 다.
2. hadop 의 셸 작업 ~ / hdpdata / dfs / data / current / BP - 1375190175 - 192.168.186.5 - 1569144114991 / current / finalized / 이 경 로 는 데이터 의 저장 위치 / home / hadop / apps / hadop - 2.6.4 / bin / hadop 이 hadop 인 클 라 이언 트 hadop fs - pt / get 파일 이름 의 다른 작업 은 Liux 와 일치 합 니 다.MapReduce 의 인 스 턴 스
3.2 상용 명령 파라미터 소개 또는 hdfs dfs - help 기능: 이 명령 매개 변수 매 뉴 얼 출력 - ls 기능: 디 렉 터 리 정보 예시 보이 기: hadop fs - lshdfs://hadoop-server01:9000/비고: 이 매개 변수 들 중 모든 hdfs 경 로 를 간략하게 쓸 수 있 습 니 다 – > hadop fs - ls / 이전 명령 과 같은 효과 - mkdir 기능: hdfs 에 디 렉 터 리 예제 만 들 기: hadop fs -mkdir -p /aaa/bbb/cc/dd -moveFromLocal 기능: 로 컬 잘라 내기 에서 hdfs 예제 에 붙 여 넣 기: hadop fs - moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd-moveToLocal 기능: hdfs 잘라 내기 에서 로 컬 예제 에 붙 여 넣 기: hadop fs - moveToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt –appendToFile 기능: 이미 존재 하 는 파일 의 끝 에 파일 을 추가 합 니 다. 예제: hadop fs -appendToFile ./hello.txt hdfs://hadoop-server01:9000/hello.txtHadoop fs -appendToFile ./hello.txt /hello.txt -cat 기능: 파일 내용 보이 기 예제: hadop fs - cat /hello.txt -tail 기능: 파일 의 끝 예제 보이 기: hadop fs -tail /weblog/access_log.1-text 기능: 파일 을 문자 로 인쇄 하 는 내용 예제: hadop fs -text /weblog/access_log. 1 - chgrp - chmod - chown 기능: Liux 파일 시스템 의 용법 과 마찬가지 로 파일 에 속 하 는 권한 예제: hadop fs -chmod 666 /hello.txthadoop fs -chown someuser:somegrp /hello.txt -copyFromLocal 기능: 로 컬 파일 시스템 에서 hdfs 경로 로 파일 복사 예시: hadop fs -copyFromLocal ./jdk.tar.gz /aaa/-copyToLocal 기능: hdfs 에서 로 컬 예제 로 복사: hadop fs - copyToLocal / aa / jdk. tar. gz - cp 기능: hdfs 의 한 경로 에서 hdfs 를 복사 하 는 다른 경로 예제: hadop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2 -mv 기능: hdfs 디 렉 터 리 에서 파일 예제 이동: hadop fs -mv /aaa/jdk.tar.gz / -get 기능: copy ToLocal 과 같 습 니 다. hdfs 에서 파일 을 다운로드 하여 로 컬 예제: hadop fs - get /aaa/jdk.tar.gz-getmerge 기능: 여러 파일 예제 통합 다운로드: 예 를 들 어 hdfs 디 렉 터 리 / aa / 아래 에 여러 파일 이 있 습 니 다: log. 1, log. 2, log. 3, hadop fs - getmerge / aa / log. *. / log. sum - pt 기능: copy FromLocal 예제 와 같 습 니 다: hadop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2 -rm 기능: 파일 이나 폴 더 예제 삭제: hadop fs - rm - r / aa / bbb / -rmdir 기능: 빈 디 렉 터 리 삭제 예제: hadop fs -rmdir /aaa/bbb/ccc -df 기능: 통계 파일 시스템 의 사용 가능 한 공간 정보 예시: hadop fs -df -h / -du 기능: 통계 폴 더 의 크기 정보 예시: hadop fs -du -s -h /aaa/* -count 기능: 지정 한 디 렉 터 리 의 파일 노드 수량 예시: hadop fs - count / aa / -setrep 기능: hdfs 에서 파일 의 복사 본 수량 예제 설정: hadop fs - seetrep 3 / aaa / jdk. tar. gz
간단 한 HDFS 자바 작업: package hadop. hdfs;
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Before; import org.junit.Test;
import java.io.IOException; import java.net.URI;
/**
Configuration conf=new Configuration();
// conf.set(“fs.defaultFS”,“hdfs://master:9000"); / / 이 방식 은 실행 할 때 사용 자 를 지정 하 는 매개 변 수 를 추가 해 야 합 니 다. - DADOOP USER NAME = hadop fs = FileSystem. get (new URI (")hdfs://192.168.186.5:9000"), conf," hadop ");} @ Test public void testUpload () throws Exception {fs. copyFromLocalFile (new Path (" D: \ \ 빅 데이터 \ \ 빅 데이터 세트 (공유 됨)\ \ 문서 자료 \ \ day 06 \ \ day 06 \ hadop 2.4.1 클 러 스 터 구축. txt "), new Path (" / test 1. txt "); fs. close ();} @ Test public void testDownload () throws IOException {fs. copyToLocalFile (" / test 1. txt "), new Path (" d: \ 2. txt "), fs. close ();}}}
읽 기 동작 과 관련 이 있 으 면 로 컬 에 hadop 클 라 이언 트 가 있어 야 합 니 다. 다운로드 하 는 과정 에서 HADOOP 이 나타 나 면HOME and hadop. home. dir are unset, 그러면 windows 로 컬 hadop 환경 변 수 를 설정 하지 않 았 다 는 것 을 의미 합 니 다. 제 가 원 격 으로 Liux 의 hadop 을 호출 하 는 것 이 제 로 컬 hadop 과 무슨 관계 가 있다 고 생각 하 시 겠 습 니까?업로드, 디 렉 터 리 만 들 기, 파일 이름 바 꾸 기 (쓰기) 등 원 격 hadop 에 만 적용 된다 면 windows 로 컬 에 hadop 을 설정 할 필요 가 없습니다. 다운로드 (읽 기) 와 관련 되면 hadop 내부 캐 시 체 제 는 로 컬 에 도 hadop 이 있어 야 합 니 다. 또한 HADOOP 이 나타 날 수 있 습 니 다.HOME and hadop. home. dir are unset, 해결 방법 설정 HADOOPHOME 가입% HADOOPHOME% \ bin 을 PATH 에 넣 고 hadop version 명령 을 테스트 합 니 다. 효과 가 있 으 면 eclipse / my eclipse 를 다시 시작 합 니 다. 하지만 아직 부족 합 니 다. windows 의 hadop 은 winutils. exe 가 필요 합 니 다. 그렇지 않 으 면 Could not locate Hadoop executable: xxxx \ winutils. exe 에 보고 합 니 다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
spark 의 2: 원리 소개Google Map/Reduce 를 바탕 으로 이 루어 진 Hadoop 은 개발 자 에 게 map, reduce 원 어 를 제공 하여 병렬 일괄 처리 프로그램 을 매우 간단 하고 아름 답 게 만 들 었 습 니 다.S...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
