HDFS 상용 셸 명령

글 목록
  • 1. 현재 디 렉 터 리 구 조 를 표시 합 니 다
  • 2. 디 렉 터 리 만 들 기
  • 3. 삭제 작업
  • 4. 로 컬 에서 HDFS 로 파일 불 러 오기
  • 5. HDFS 에서 로 컬 로 파일 내 보 내기
  • 6. 파일 내용 보기
  • 7. 파일 의 마지막 천 바이트 표시
  • 8. 파일 복사
  • 9. 파일 이동
  • 10. 현재 디 렉 터 리 의 파일 크기 통계
  • 11. 여러 파일 을 합 쳐 다운로드
  • 12. 통계 파일 시스템 의 사용 가능 한 공간 정보
  • 13. 파일 복사 인자 변경
  • 14. 권한 제어
  • 15. 파일 검사
  • 1. 현재 디 렉 터 리 구조 보이 기
    #         
    hadoop fs -ls  <path>
    #           
    hadoop fs -ls  -R  <path>
    #         
    hadoop fs -ls  /
    

    2. 디 렉 터 리 만 들 기
    #     
    hadoop fs -mkdir  <path> 
    #       
    hadoop fs -mkdir -p  <path>  
    

    3. 삭제 작업
    #     
    hadoop fs -rm  <path>
    #          
    hadoop fs -rm -R  <path> 
    

    4. 로 컬 에서 HDFS 로 파일 불 러 오기
    #        
    hadoop fs -put  [localsrc] [dst] 
    hadoop fs - copyFromLocal [localsrc] [dst] 
    

    5. HDFS 에서 로 컬 로 파일 내 보 내기
    #        
    hadoop fs -get  [dst] [localsrc] 
    hadoop fs -copyToLocal [dst] [localsrc] 
    

    6. 파일 내용 보기
    #        
    hadoop fs -text  <path> 
    hadoop fs -cat  <path>  
    

    7. 파일 의 마지막 천 바이트 보이 기
    hadoop fs -tail  <path> 
    #  Linux   ,                        
    hadoop fs -tail -f  <path> 
    

    8. 파일 복사
    hadoop fs -cp [src] [dst]
    

    9. 파일 이동
    hadoop fs -mv [src] [dst] 
    

    10. 현재 디 렉 터 리 의 파일 크기 통계
  • 기본 단위 바이트
  • - s: 모든 파일 크기 의 합 계 를 표시 합 니 다.
  • - h: 파일 크기 를 더 우호 적 으로 표시 합 니 다 (예 를 들 어 64.0m 이지 67108864 가 아 닙 니 다)
  • hadoop fs -du  <path>  
    

    11. 여러 파일 통합 다운로드
  • - nl 파일 의 끝 에 줄 바 꿈 문자 추가 (LF)
  • - skip - empty - file 빈 파일 건 너 뛰 기
  • hadoop fs -getmerge
    #     HDFS  hbase-policy.xml hbase-site.xml           /usr/test.xml
    hadoop fs -getmerge -nl  /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml
    

    12. 통계 파일 시스템 의 사용 가능 한 공간 정보
    hadoop fs -df -h /
    

    13. 파일 복사 인자 변경
    hadoop fs -setrep [-R] [-w] <numReplicas> <path>
    
  • 파일 의 복사 인 자 를 변경 합 니 다.path 가 디 렉 터 리 라면 모든 파일 의 복사 인 자 를 변경 합 니 다
  • - w: 복사 완료 대기 명령 요청
  • #   
    hadoop fs -setrep -w 3 /user/hadoop/dir1
    

    14. 권한 제어
    #      Linux       
    #             。                 。
    hadoop fs -chgrp [-R] GROUP URI [URI ...]
    #                               。
    hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
    #                    。
    hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
    

    15. 파일 검사
    hadoop fs -test - [defsz]  URI
    

    옵션 선택:
  • - d: 경로 가 디 렉 터 리 라면 0 을 되 돌려 줍 니 다.
  • - e: 경로 가 존재 하면 0 으로 돌아 갑 니 다.
  • - f: 경로 가 파일 이면 0 으로 돌아 갑 니 다.
  • - s: 경로 가 비어 있 지 않 으 면 0 으로 돌아 갑 니 다.
  • - r: 경로 가 존재 하고 읽 기 권한 이 부여 되면 0 으로 돌아 갑 니 다.
  • - w: 경로 가 존재 하고 쓰기 권한 이 부여 되면 0 으로 돌아 갑 니 다.
  • - z: 파일 길이 가 0 이면 0 으로 돌아 갑 니 다.
  • #   
    hadoop fs -test -e filename
    

    좋은 웹페이지 즐겨찾기