HDFS 상용 셸 명령

글 목록

1. 현재 디 렉 터 리 구 조 를 표시 합 니 다

2. 디 렉 터 리 만 들 기

3. 삭제 작업

4. 로 컬 에서 HDFS 로 파일 불 러 오기

5. HDFS 에서 로 컬 로 파일 내 보 내기

6. 파일 내용 보기

7. 파일 의 마지막 천 바이트 표시

8. 파일 복사

9. 파일 이동

10. 현재 디 렉 터 리 의 파일 크기 통계

11. 여러 파일 을 합 쳐 다운로드

12. 통계 파일 시스템 의 사용 가능 한 공간 정보

13. 파일 복사 인자 변경

14. 권한 제어

15. 파일 검사

1. 현재 디 렉 터 리 구조 보이 기

#         
hadoop fs -ls  <path>
#           
hadoop fs -ls  -R  <path>
#         
hadoop fs -ls  /

2. 디 렉 터 리 만 들 기

#     
hadoop fs -mkdir  <path> 
#       
hadoop fs -mkdir -p  <path>  

3. 삭제 작업

#     
hadoop fs -rm  <path>
#          
hadoop fs -rm -R  <path> 

4. 로 컬 에서 HDFS 로 파일 불 러 오기

#        
hadoop fs -put  [localsrc] [dst] 
hadoop fs - copyFromLocal [localsrc] [dst] 

5. HDFS 에서 로 컬 로 파일 내 보 내기

#        
hadoop fs -get  [dst] [localsrc] 
hadoop fs -copyToLocal [dst] [localsrc] 

6. 파일 내용 보기

#        
hadoop fs -text  <path> 
hadoop fs -cat  <path>  

7. 파일 의 마지막 천 바이트 보이 기

hadoop fs -tail  <path> 
#  Linux   ，                        
hadoop fs -tail -f  <path> 

8. 파일 복사

hadoop fs -cp [src] [dst]

9. 파일 이동

hadoop fs -mv [src] [dst] 

10. 현재 디 렉 터 리 의 파일 크기 통계

기본 단위 바이트

- s: 모든 파일 크기 의 합 계 를 표시 합 니 다.

- h: 파일 크기 를 더 우호 적 으로 표시 합 니 다 (예 를 들 어 64.0m 이지 67108864 가 아 닙 니 다)

hadoop fs -du  <path>  

11. 여러 파일 통합 다운로드

- nl 파일 의 끝 에 줄 바 꿈 문자 추가 (LF)

- skip - empty - file 빈 파일 건 너 뛰 기

hadoop fs -getmerge
#     HDFS  hbase-policy.xml hbase-site.xml           /usr/test.xml
hadoop fs -getmerge -nl  /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml

12. 통계 파일 시스템 의 사용 가능 한 공간 정보

hadoop fs -df -h /

13. 파일 복사 인자 변경

hadoop fs -setrep [-R] [-w] <numReplicas> <path>

파일 의 복사 인 자 를 변경 합 니 다.path 가 디 렉 터 리 라면 모든 파일 의 복사 인 자 를 변경 합 니 다

- w: 복사 완료 대기 명령 요청

#   
hadoop fs -setrep -w 3 /user/hadoop/dir1

14. 권한 제어

#      Linux       
#             。                 。
hadoop fs -chgrp [-R] GROUP URI [URI ...]
#                               。
hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
#                    。
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

15. 파일 검사

hadoop fs -test - [defsz]  URI

옵션 선택:

- d: 경로 가 디 렉 터 리 라면 0 을 되 돌려 줍 니 다.

- e: 경로 가 존재 하면 0 으로 돌아 갑 니 다.

- f: 경로 가 파일 이면 0 으로 돌아 갑 니 다.

- s: 경로 가 비어 있 지 않 으 면 0 으로 돌아 갑 니 다.

- r: 경로 가 존재 하고 읽 기 권한 이 부여 되면 0 으로 돌아 갑 니 다.

- w: 경로 가 존재 하고 쓰기 권한 이 부여 되면 0 으로 돌아 갑 니 다.

- z: 파일 길이 가 0 이면 0 으로 돌아 갑 니 다.

#   
hadoop fs -test -e filename