Hadoop 평형 기 관리자 가이드 | Hadoop Balancer 관리자 가이드

이퀄 라이저 는 HDFS 클 러 스 터 디스크 공간 사용 상황 을 균형 있 게 하 는 도구 데이터 노드 가 가득 차 거나 새 빈 노드 가 클 러 스 터 에 가입 할 때 입 니 다.이 도 구 는 클 러 스 터 관리자 가 실시 간 HDFS 에서 실행 할 수 있 는 프로그램 클 러 스 터 로 배치 되 어 있 으 며, 프로그램 은 파일 을 추가 하고 삭제 합 니 다.

SYNOPSIS
To start:
 sbin/start-balancer.sh [-threshold ]
 Example: bin/ start-balancer.sh
 start the balancer with a default threshold of 10%
 sbin/ start-balancer.sh -threshold 5
 start the balancer with a threshold of 5%
To stop:
 sbin/ stop-balancer.sh 

한도 값 매개 변 수 는 (0%, 100%) 범위 내의 점수 이 고 기본 값 은 10% 입 니 다.한도 값 은 클 러 스 터 의 균형 을 맞 추 는 지 여부 입 니 다.하나의 클 러 스 터 는 균형 적 인 것 이다. 만약 에 모든 datanode 에 대해 노드 의 이 용 률 (노드 에 사 용 된 공간의 총수 와 총수 의 비율) 노드 의 용량) 이 클 러 스 터 의 이 용 률 (노드 에서 사용 하 는 공간의 비율) 과 다 르 면 클 러 스 터 의 총 용량) 은 한도 값 을 초과 하지 않 는 다.더 작은 문턱 에서 군집 이 더욱 균형 을 이 룰 것 이다.이 는 이퀄 라이저 의 작은 한도 가 매우 작은 한도 값 에 대해 더 많은 시간 이 필요 합 니 다. 클 러 스 터 는 프로그램 이 파일 을 동시에 기록 하고 삭제 할 때 균형 을 이 룰 수 있 는 도구 가 아 닐 수도 있 습 니 다. 이 도 구 는 블록 을 고도 로 이용 하 는 datanodes 에서 이 용 률 이 낮은 datanode 로 이동 하여 반복 할 수 있 습 니 다.매번 교체 할 때마다 데이터 노드 가 이동 하거나 받 는 것 은 최대 10G 바이트 나 그 용량 의 한도 값 부분 을 초과 하지 않 는 다.매번 교체 운행 은 20 분 을 초과 하지 않 는 다.매번 교체 가 끝 날 때마다 이퀄 라이저 가 업 데 이 트 된 datanodes 정 보 를 가 져 옵 니 다. 이퀄 라이저 의 대역 폭 사용 을 제한 하 는 시스템 속성 이 부족 한 값 에서 설정 파일 을 정의 합 니 다.

 
     dfs.balance.bandwidthPerSec
     1048576
      Specifies the maximum bandwidth that each datanode can utilize for the
    balancing purpose in term of the number of bytes per second. 
  

이 속성 은 블록 이 한 블록 에서 이동 하 는 최대 속도 인 datanode 에서 다른 블록 으로 이동 하 는 것 을 결정 합 니 다.기본 값 은 1MB / s 입 니 다.대역 폭 이 높 을 수록 a 가 빠 를 수록 군집 은 균형 상태 에 이 를 수 있 지만 응용 경쟁 과 더욱 치열 한 절 차 를 가진다.관리자 가 설정 파일 에서 이 속성의 값 을 변경 하면 현재 HDFS 를 다시 시작 할 때 변경 사항 을 관찰 합 니 다.모니터 이퀄 라이저 가 시 작 된 후 이퀄 라이저 진 도 는 출력 파일 이름 을 화면 에 기록 하여 인쇄 합 니 다.관리 자 는 이 서버 의 운행 상황 을 감시 할 수 있 습 니 다.다음은 견본 의 시작 부분 출력 입 니 다.

TimeStamp                  Iteration  Bytes Already Moved Bytes     LeftTo Move Bytes     Being Moved
Nov 19, 2007 7:48:13 PM       0                0 KB                      40.88 TB            2.03 TB
Nov 19, 2007 8:10:24PM        1                2 TB                      38.29 TB            2.01 TB
Nov 19, 2007 8:31:06PM        2             3.98 TB                      36.38 TB            1.98 TB
Nov 19, 2007 8:54:58PM        3             5.94 TB                      34.42 TB            1.96 TB 

출력 은 반복 을 통 해 이퀄 라이저 의 상태 변 화 를 표시 합 니 다.매번 교체 할 때마다 시작 시간, 교체 횟수, 이미 이동 한 바이트 총수 이전의 교체 에서 군집 을 위해 남 은 총 바이트 수 는 균형 과 이 교체 에서 이동 하 는 바이트 수 를 출력 한다.일반적으로 '바이트 이동' 이 증가 하고 있 고 '바이트 이동' 이 감소 하고 있다.HDFS 클 러 스 터 에서 여러 개의 이퀄 라이저 인 스 턴 스 를 실행 하 는 것 은 예상 치 못 한 사용 금지 입 니 다.
다음 다섯 가지 조건 중 하 나 를 만족 시 킬 때 이퀄 라이저 는 자동 으로 종료 합 니 다. 1. 클 러 스 터 균형;2. 이동 할 수 있 는 조각 이 없다.3. 세 번 연속 교체 하여 블록 이 이동 하지 않 습 니 다.4. namenode 와 통신 할 때 IOException 이 발생 합 니 다.5. 다른 이퀄 라이저 가 실행 중 입 니 다.
종료 할 때 이퀄 라이저 는 오류 코드 를 되 돌려 주 고 다음 메시지 중 하 나 를 출력 파일 에서 위의 종료 원인 에 대응 합 니 다. 1. 클 러 스 터 는 균형 적 입 니 다.퇴장... 2. 이동 할 블록 이 없습니다.탈퇴... 3. 블록 이 없어 서 세 번 이나 이동 했다.종료... 4. IO 이상 을 받 았 습 니 다: 실패 의 원인 입 니 다.종료... 5. 다른 이퀄 라이저 가 실행 중 입 니 다.종료...
관리 자 는 인 터 럽 트 밸 런 스 를 실행 하 는 명령 인 stop - balancer. sh 를 통 해 밸 런 스 가 실행 중인 기계 에서 언제든지 실행 할 수 있 습 니 다.
공식 문서: [1]https://issues.apache.org/jira/browse/HADOOP-1652 [2] https://issues.apache.org/jira/secure/attachment/12370966/BalancerUserGuide2.pdf