kafka 사용자 정의 파 티 션 할당 및 이전

사용자 정의 파 티 션 할당 및 이전
파 티 션 재배 치 도 구 는 파 티 션 의 사본 을 특정 프 록 시 집합 으로 선택적으로 이동 하 는 데 도 사용 할 수 있다.이러한 방식 으로 사용 할 때 사용자 가 재배 치 계획 을 알 고 도구 생 성 후보 재배 치 를 필요 로 하지 않 는 다 고 가정 하고 - 생 성 절 차 를 효과적으로 건 너 뛰 고 -- execute 절차 로 직접 이동 합 니 다.
예 를 들 어 다음 예제 에 서 는 테마 foo 1 의 파 티 션 0 을 프 록 시 5, 6 으로 이동 시 키 고 테마 foo 2 의 파 티 션 1 을 프 록 시 2, 3 으로 이동 합 니 다.
첫 번 째 단 계 는 json 파일 에서 사용자 정의 재배 치 계획 을 수 동 으로 만 드 는 것 입 니 다.
1 2 > cat custom-reassignment.json { "version" :1, "partitions" :[{ "topic" : "foo1" , "partition" :0, "replicas" :[5,6]},{ "topic" : "foo2" , "partition" :1, "replicas" :[2,3]}]}
그리고 -- execute 옵션 이 있 는 json 파일 을 사용 하여 재배 치 과정 을 시작 합 니 다.
1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14.> bin /kafka-reassign-partitions .sh --zookeeper localhost:2181 --reassignment-json- file custom-reassignment.json --execute Current partition replica assignment   { "version" :1, "partitions" :[{ "topic" : "foo1" , "partition" :0, "replicas" :[1,2]},                { "topic" : "foo2" , "partition" :1, "replicas" :[3,4]}] }   Save this to use as the --reassignment-json- file option during rollback Successfully started reassignment of partitions { "version" :1, "partitions" :[{ "topic" : "foo1" , "partition" :0, "replicas" :[5,6]},                { "topic" : "foo2" , "partition" :1, "replicas" :[2,3]}] }
-- verify 옵션 은 파 티 션 재 할당 상 태 를 확인 하기 위해 이 도구 와 함께 사용 할 수 있 습 니 다.같은 expand - cluster - reassignment. json (-- execute 옵션 과 함께 사용) 은 -- verify 옵션 과 함께 사용 해 야 합 니 다.
1 2 3 4 > bin /kafka-reassign-partitions .sh --zookeeper localhost:2181 --reassignment-json- file custom-reassignment.json --verify Status of partition reassignment: Reassignment of partition [foo1,0] completed successfully Reassignment of partition [foo2,1] completed successfully
 
복제 인자 증가
기 존 구역 의 복제 인 자 를 늘 리 는 것 은 매우 쉽다.사용자 정의 json 파일 에 추가 복사 본 을 지정 하고 -- execute 옵션 과 함께 사용 하여 지정 한 파 티 션 의 복사 인 자 를 추가 합 니 다.
예 를 들 어 다음 예제 에 서 는 테마 foo 의 파 티 션 0 의 복사 인 자 를 1 에서 3 으로 증가 시 킵 니 다. 복사 인 자 를 증가 하기 전에 파 티 션 의 유일한 복사 본 은 프 록 시 5 에 존재 합 니 다.복사 인 자 를 추가 하 는 일부분 으로 더 많은 던 전 매니저 6 과 7 을 추가 합 니 다.
첫 번 째 단 계 는 json 파일 에서 사용자 정의 재배 치 계획 을 수 동 으로 만 드 는 것 입 니 다.
1 2 3 > cat increase-replication-factor.json { "version" :1, "partitions" :[{ "topic" : "foo" , "partition" :0, "replicas" :[5,6,7]}]}
그리고 -- execute 옵션 이 있 는 json 파일 을 사용 하여 재배 치 과정 을 시작 합 니 다.
1, 2, 3, 4, 5, 6, 7, 8, 9, 10.> bin /kafka-reassign-partitions .sh --zookeeper localhost:2181 --reassignment-json- file increase-replication-factor.json --execute Current partition replica assignment   { "version" :1, "partitions" :[{ "topic" : "foo" , "partition" :0, "replicas" :[5]}]}   Save this to use as the --reassignment-json- file option during rollback Successfully started reassignment of partitions { "version" :1, "partitions" :[{ "topic" : "foo" , "partition" :0, "replicas" :[5,6,7]}]}
-- verify 옵션 은 파 티 션 재 할당 상 태 를 확인 하기 위해 이 도구 와 함께 사용 할 수 있 습 니 다.같은 increase - replication - factor. json (-- execute 옵션 과 함께 사용) 은 -- verify 옵션 과 함께 사용 해 야 합 니 다.
1 2 3 > bin /kafka-reassign-partitions .sh --zookeeper localhost:2181 --reassignment-json- file increase-replication-factor.json --verify Status of partition reassignment: Reassignment of partition [foo,0] completed successfully
kafka - topics 도 구 를 사용 하여 복사 인자 의 증 가 를 검증 할 수 있 습 니 다.
1 2 3 > bin /kafka-topics .sh --zookeeper localhost:2181 --topic foo --describe Topic:foo   PartitionCount:1    ReplicationFactor:3 Configs:    Topic: foo    Partition: 0    Leader: 5   Replicas: 5,6,7 Isr: 5,6,7