hadop HDFS 상용 파일 조작 명령

명령 기본 형식:

hadoop fs -cmd < args >

1.ls

hadoop fs -ls  /

hdfs 파일 시스템 루트 디 렉 터 리 의 디 렉 터 리 와 파일 을 보 여 줍 니 다.

hadoop fs -ls -R /

hdfs 파일 시스템 의 모든 디 렉 터 리 와 파일 을 보 여 줍 니 다.
2.put

hadoop fs -put < local file > < hdfs file >

hdfs file 의 부모 디 렉 터 리 가 반드시 존재 해 야 합 니 다. 그렇지 않 으 면 명령 이 실행 되 지 않 습 니 다.

hadoop fs -put  < local file or dir >...< hdfs dir >

hdfs dir 는 반드시 존재 해 야 합 니 다. 그렇지 않 으 면 명령 이 실행 되 지 않 습 니 다.

hadoop fs -put - < hdsf  file>

키보드 에서 hdfs file 로 입력 을 읽 고 Ctrl + D 를 누 르 면 hdfs file 이 존재 하지 않 습 니 다. 그렇지 않 으 면 명령 이 실행 되 지 않 습 니 다.
2.1.moveFromLocal

hadoop fs -moveFromLocal  < local src > ... < hdfs dst >

put 와 유사 합 니 다. 명령 이 실 행 된 후 원본 파일 local src 가 삭제 되 었 고 키보드 에서 hdfs 파일 로 읽 을 수도 있 습 니 다.
2.2.copyFromLocal

hadoop fs -copyFromLocal  < local src > ... < hdfs dst >

put 와 유사 하 며, 키보드 에서 hdfs file 로 읽 을 수도 있 습 니 다.
3.get

hadoop fs -get < hdfs file > < local file or dir>

local file 은 hdfs file 이름과 같 을 수 없습니다. 그렇지 않 으 면 파일 이 존재 하고 이름 이 바 뀌 지 않 은 파일 이 로 컬 로 복 사 됩 니 다.

hadoop fs -get < hdfs file or dir > ... < local dir >

여러 파일 이나 디 렉 터 리 를 로 컬 로 복사 할 때 로 컬 은 폴 더 경 로 를 주의해 야 합 니 다. 사용자 가 루트 가 아니라면 로 컬 경 로 는 사용자 폴 더 의 경 로 를 사용 해 야 합 니 다. 그렇지 않 으 면 권한 문제 가 발생 할 수 있 습 니 다.
3.1.moveToLocal
현재 버 전에 서 이 명령 이 실행 되 지 않 았 습 니 다.
3.2.copyToLocal

hadoop fs -copyToLocal < local src > ... < hdfs dst >

get 과 유사
4.rm

hadoop fs -rm < hdfs file > ...
hadoop fs -rm -r < hdfs dir>...

매번 여러 파일 이나 디 렉 터 리 를 삭제 할 수 있 습 니 다.
5.mkdir

hadoop fs -mkdir < hdfs path>

1 급 으로 만 디 렉 터 리 를 만 들 수 있 습 니 다. 부모 디 렉 터 리 가 존재 하지 않 으 면 이 명령 을 사용 하면 오류 가 발생 합 니 다.

hadoop fs -mkdir -p < hdfs path> 

만 든 디 렉 터 리 가 부모 디 렉 터 리 가 존재 하지 않 으 면 부모 디 렉 터 리 를 만 듭 니 다.
6.getmerge

hadoop fs -getmerge < hdfs dir >  < local file >

hdfs 지정 디 렉 터 리 에 있 는 모든 파일 을 정렬 한 후 local 에서 지정 한 파일 에 통합 합 니 다. 파일 이 존재 하지 않 을 때 자동 으로 생 성 되 고 파일 이 존재 할 때 내용 을 덮어 씁 니 다.

hadoop fs -getmerge -nl  < hdfs dir >  < local file >

nl 을 추가 하면 local file 에 합 쳐 진 hdfs 파일 사이 에 한 줄 이 비어 있 습 니 다.
7.cp

hadoop fs -cp  < hdfs file >  < hdfs file >

대상 파일 이 존재 할 수 없습니다. 그렇지 않 으 면 명령 을 실행 할 수 없습니다. 파일 이름 을 바 꾸 고 저장 하 는 것 과 같 습 니 다. 원본 파일 에는 hadop fs - cp < hdfs file or dir > 가 존재 합 니 다. < hdfs dir >
대상 폴 더 가 존재 해 야 합 니 다. 그렇지 않 으 면 명령 을 실행 할 수 없습니다.
8.mv

hadoop fs -mv < hdfs file >  < hdfs file >

대상 파일 이 존재 할 수 없습니다. 그렇지 않 으 면 명령 을 실행 할 수 없습니다. 파일 이름 을 바 꾸 고 저장 하 는 것 과 같 습 니 다. 원본 파일 이 존재 하지 않 습 니 다.

hadoop fs -mv  < hdfs file or dir >...  < hdfs dir >

원본 경로 가 여러 개 일 때 대상 경 로 는 디 렉 터 리 이 고 존재 해 야 합 니 다.메모: 크로스 파일 시스템 의 이동 (local 에서 hdfs 또는 반대로) 은 허용 되 지 않 습 니 다.
9.count

hadoop fs -count < hdfs path >

hdfs 대응 경로 의 디 렉 터 리 갯 수, 파일 갯 수, 파일 총 크기 는 디 렉 터 리 갯 수, 파일 갯 수, 파일 총 크기, 입력 경로 로 표 시 됩 니 다.
10.du

hadoop fs -du < hdsf path> 

hdfs 대응 경로 아래 폴 더 와 파일 크기 표시

hadoop fs -du -s < hdsf path> 

hdfs 대응 경로 의 모든 파일 과 크기 표시

hadoop fs -du - h < hdsf path> 

hdfs 대응 경로 아래 각 폴 더 와 파일 의 크기 를 표시 합 니 다. 파일 의 크기 는 읽 기 편 한 형식 으로 표시 합 니 다. 예 를 들 어 67108864 대신 64M 으로 표시 합 니 다.
11.text

hadoop fs -text < hdsf file>

텍스트 파일 이나 일부 형식의 비 텍스트 파일 을 텍스트 형식 으로 출력 합 니 다.
12.setrep

hadoop fs -setrep -R 3 < hdfs path >

hdfs 에 있 는 파일 의 복사 본 개 수 를 변경 합 니 다. 상기 명령 에서 숫자 3 은 설 정 된 복사 본 개수 입 니 다. - R 옵션 은 한 사람의 디 렉 터 리 에 있 는 모든 디 렉 터 리 + 파일 을 재 귀적 으로 복사 본 개 수 를 바 꾸 는 작업 을 수행 할 수 있 습 니 다.
13.stat

hdoop fs -stat [format] < hdfs path >

해당 경로 의 상태 정 보 를 되 돌려 줍 니 다 [format] 선택 할 수 있 는 매개 변 수 는 다음 과 같 습 니 다:% b (파일 크기),% o (Block 크기),% n (파일 이름),% r (던 전 개수),% y (마지막 수정 날짜 와 시간) 는 hadop fs - stat% b% o% n < hdfs path > 를 이렇게 쓸 수 있 습 니 다. 그러나 권장 하지 않 습 니 다. 모든 문자 출력 결 과 는 쉽게 구분 되 지 않 습 니 다.
14.tail

hadoop fs -tail < hdfs file >

표준 출력 에 파일 끝의 1KB 데 이 터 를 표시 합 니 다.
15.archive

hadoop archive -archiveName name.har -p < hdfs parent dir > < src >* < hdfs dst >

명령 의 인자 name: 파일 이름 을 압축 하고 임의로 가 져 옵 니 다. : 파일 이 있 는 부모 디 렉 터 리 를 압축 합 니 다. : 압축 할 파일 이름; : 압축 파일 저장 경로 * 예제: hadop archive - archiveName hadop. har - p / user 1. txt 2. txt / des 예제 에서 hdfs 중 / user 디 렉 터 리 에 있 는 파일 1. txt, 2. txt 를 hadop. har 라 는 파일 로 압축 하여 hdfs 에 / des 디 렉 터 리 에 저장 합 니 다. 1. txt 라면.2. txt 는 쓰 지 않 으 면 / user 디 렉 터 리 에 있 는 모든 디 렉 터 리 와 파일 을 hadop. har 라 는 파일 로 압축 하여 hdfs / des 디 렉 터 리 에 har 의 내용 을 표시 하 는 것 입 니 다. 다음 명령 을 사용 할 수 있 습 니 다.

hadoop fs -ls /des/hadoop.jar

har 압축 파일 을 표시 하 는 것 은 다음 명령 을 사용 할 수 있 습 니 다.

hadoop fs -ls -R har:///des/hadoop.har

메모: har 파일 은 2 차 압축 할 수 없습니다.. har 에 파일 을 추가 하려 면 원래 파일 을 찾 아서 다시 만 들 수 밖 에 없습니다.har 파일 에 있 는 원래 파일 의 데 이 터 는 변 하지 않 았 습 니 다. har 파일 의 진정한 역할 은 NameNode 와 DataNode 의 과도 한 공간 낭 비 를 줄 이 는 것 입 니 다.
16.balancer

hdfs balancer

관리자 가 일부 DataNode 가 데 이 터 를 너무 많이 저장 하고 일부 DataNode 는 데 이 터 를 상대 적 으로 적 게 저장 하 는 것 을 발견 하면 상기 명령 을 사용 하여 내부 의 균형 과정 을 수 동 으로 시작 할 수 있 습 니 다.
17.dfsadmin

hdfs dfsadmin -help 

관리 자 는 dfsadmin 을 통 해 HDFS 를 관리 할 수 있 으 며, 상기 명령 을 통 해 hdfs dfsadmin - report 를 볼 수 있 습 니 다.
파일 시스템 의 기본 데이터 보이 기

hdfs dfsadmin -safemode < enter | leave | get | wait >

enter: 안전 모드 로 들 어가 기;leave: 안전 모드 에서 벗 어 나 기;get: 안전 모드 를 열 었 는 지 알 수 있 습 니 다.wait: 보안 모드 에서 벗 어 날 때 까지 기다 리 기
18.distcp
두 HDFS 사이 에 데 이 터 를 복사 하 는 데 사용 합 니 다.