빅 데이터 의 길 - Hadop - 4 - hadop 셸 명령 기본 동작

1 HDFS 기본 개념

1 HDFS 선언

2 HDFS 의 개념 과 특성

파일 을 저장 하 는 데 사용 되 는 파일 시스템 입 니 다. 통 일 된 네 임 스페이스 디 렉 터 리 트 리 를 통 해 파일 을 찾 습 니 다

이것 은 분포 식 으로 많은 서버 가 연합 하여 그 기능 집단 중의 서버 가 각자 의 역할 을 실현 하 는 것 이다

중요 한 특성 은 다음 과 같다

2 HDFS 기본 조작

1 명령 행 클 라 이언 트 가 지원 하 는 명령 매개 변수

2 상용 명령 파라미터

HDFS 기본 개념
1.1 HDFS 선언

디자인 사상 을 나 누 어 다스 린 다. 큰 파일, 대량의 파일 을 분포 식 으로 대량의 서버 에 저장 하여 나 누 어 다스 리 는 방식 으로 대량의 데 이 터 를 연산 분석 할 수 있다.

빅 데이터 시스템 에서 의 응용 은 각종 분포 식 연산 프레임 워 크 (mapreduce, spark...) 에 데이터 저장 서비스

를 제공한다.

중점 개념 파일 컷, 사본 보관, 메타 데이터

1.2 HDFS 의 개념 과 특성
1. 파일 을 저장 하 는 데 사용 되 는 파일 시스템 입 니 다. 통 일 된 네 임 스페이스 인 디 렉 터 리 트 리 를 통 해 파일 을 찾 습 니 다.
2. 이것 은 분포 식 이 고 많은 서버 가 연합 하여 그 기능 을 실현 하 며 클 러 스 터 의 서버 는 각자 의 역할 을 가진다.
3. 중요 한 특성 은 다음 과 같다.
(1) HDFS 의 파일 은 물리 적 으로 블록 저장 소 (block) 입 니 다. 블록 크기 는 설정 매개 변수 (dfs. blocksize) 를 통 해 규정 할 수 있 습 니 다. 기본 크기 는 hadop 2. x 버 전에 서 128 M 이 고 이전 버 전에 서 64M 입 니 다.
(2) HDFS 파일 시스템 은 클 라 이언 트 에 게 추상 적 인 디 렉 터 리 트 리 를 제공 합 니 다. 클 라 이언 트 는 경 로 를 통 해 파일 에 접근 합 니 다. 예 를 들 어:

hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

(3) 디 렉 터 리 구조 및 파일 블록 정보 (메타 데이터) 의 관 리 는 namenode 노드 가 맡 습 니 다. namenode 는 HDFS 집합 그룹 메 인 노드 로 전체 hdfs 파일 시스템 의 디 렉 터 리 트 리 와 모든 경로 (파일) 에 대응 하 는 block 블록 정보 (block 의 id, 그리고 있 는 datanode 서버) 를 유지 합 니 다.
(4) 파일 의 각 block 의 저장 관 리 는 datanode 노드 에서 맡 습 니 다 - datanode 는 HDFS 클 러 스 터 노드 이 고 모든 block 은 여러 datanode 에 여러 개의 복사 본 을 저장 할 수 있 습 니 다 (복사 본 수량 도 매개 변 수 를 통 해 dfs. replication 을 설정 할 수 있 습 니 다)
(5) HDFS 는 한 번 의 기록 에 적응 하고 여러 번 읽 는 장면 으로 설계 되 었 으 며 파일 의 수정 을 지원 하지 않 습 니 다. (비고: 데이터 분석 에 적합 하고 네트워크 응용 에 적합 하지 않 습 니 다. 수정 하기 불편 하고 지연 이 많 으 며 네트워크 비용 이 많 고 원가 가 너무 높 기 때 문 입 니 다)
2. HDFS 기본 조작
2.1 명령 행 클 라 이언 트 가 지원 하 는 명령 매개 변수

   [-appendToFile  ... ]
   [-cat [-ignoreCrc]  ...]
   [-checksum  ...]
   [-chgrp [-R] GROUP PATH...]
   [-chmod [-R] ... | OCTALMODE> PATH...]
   [-chown [-R] [OWNER][:[GROUP]] PATH...]
   [-copyFromLocal [-f] [-p]  ... ]
   [-copyToLocal [-p] [-ignoreCrc] [-crc]  ... ]
   [-count [-q]  ...]
   [-cp [-f] [-p]  ... ]
   [-createSnapshot  []]
   [-deleteSnapshot  ]
   [-df [-h] [ ...]]
   [-du [-s] [-h]  ...]
   [-expunge]
   [-get [-p] [-ignoreCrc] [-crc]  ... ]
   [-getfacl [-R] ]
   [-getmerge [-nl]  ]
   [-help [cmd ...]]
   [-ls [-d] [-h] [-R] [ ...]]
   [-mkdir [-p]  ...]
   [-moveFromLocal  ... ]
   [-moveToLocal  ]
   [-mv  ... ]
   [-put [-f] [-p]  ... ]
   [-renameSnapshot   ]
   [-rm [-f] [-r|-R] [-skipTrash]  ...]
   [-rmdir [--ignore-fail-on-non-empty]  ...]
   [-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set  ]]
   [-setrep [-R] [-w]   ...]
   [-stat [format]  ...]
   [-tail [-f] ]
   [-test -[defsz] ]
   [-text [-ignoreCrc]  ...]
   [-touchz  ...]
   [-usage [cmd ...]]

2.2 상용 명령 파라미터
명령 하 다.
기능.
예시
-help
이 명령 매개 변수 매 뉴 얼 을 출력 합 니 다.
hadoop dfs -help
-ls
디 렉 터 리 정보 보이 기
hdfs dfs -ls/ hdfs dfs -ls hdfs://hadoop01:9000/
-mkdir
hdfs 에 디 렉 터 리 만 들 기
hdfs dfs -mkdir -p/aaa/bbb
-moveFromLocal
로 컬 잘라 내기 에서 hdfs 로 붙 여 넣 기
hdfs dfs -moveFromLocal/home/hadoop/test.txt/aaa/bbb/
-moveToLocal
hdfs 잘라 내기 에서 로 컬 로 붙 여 넣 기
hdfs dfs -moveToLocal/aaa/bbb/test.txt/home/hadoop/test.txt
-appendToFile
이미 존재 하 는 파일 의 끝 에 파일 을 추가 합 니 다.
hdfs dfs -appendToFile a.txt/b.txt
-cat
파일 내용 보이 기
hdfs dfs -cat/b.txt
-tail
파일 의 끝 보이 기
hdfs dfs -tail/b.txt
-text
파일 의 내용 을 문자 로 인쇄 합 니 다.
hdfs dfs -text/input/test.txt
-chgrp -chmod -chown
링크 ux 파일 시스템 의 용법 과 마찬가지 로 파일 에 대한 권한
hdfs dfs -chmod 666/b.txt
-copyFromLocal
로 컬 파일 시스템 에서 hdfs 경로 로 파일 복사
hdfs dfs -copyFromLocal a.txt/
-copyToLocal
hdfs 에서 로 컬 로 복사
hdfs dfs -copyToLocal/a.txt cc.txt
-cp
hdfs 의 한 경로 에서 hdfs 의 다른 경 로 를 복사 합 니 다.
hdfs dfs -cp/a.txt/aaa/
-mv
hdfs 디 렉 터 리 에서 파일 이동
hdfs dfs -mv/b.txt/aaa/
-get
copy ToLocal 과 같 습 니 다. hdfs 에서 파일 을 로 컬 로 다운로드 하 는 것 입 니 다.
hdfs dfs -get/aaa/b.txt
-getmerge
여러 파일 통합 다운로드
hdfs dfs -getmerge/aaa/*.txt c.txt
-put
copy FromLocal 과 같 습 니 다.
hdfs dfs -put c.txt/aaa/
-rm
파일 이나 폴 더 삭제
hdfs dfs -rm/a.txt
-rmdir
빈 디 렉 터 리 삭제
hdfs dfs -rmdir/cc
-df
통계 파일 시스템 의 사용 가능 한 공간 정보
hdfs dfs -df -h/
-du
폴 더 크기 정보 통계
hdfs dfs -du -s -h/aaa/*
-count
지정 한 디 렉 터 리 의 파일 노드 수 를 통계 합 니 다.
hdfs dfs -count/aaa/
-setrep
hdfs 파일 의 복사 본 수 설정
hdfs dfs - seetrep 3/aa/a. txt [여기 설 치 된 복사 본 수 는 namenode 의 메타 데이터 에 만 기록 되 어 있 습 니 다. 이렇게 많은 복사 본 이 있 는 지 여 부 는 datanode 의 수량 을 봐 야 합 니 다]