OpenTSDB 저장 용량 추산 및 작성 방식
2032 단어 빅 데이터 - openTSDB
Rowkey 와 표 디자인 에 따라 저장 용량 을 추산 하 는 방식 은 대체적으로 다음 과 같다. rowkey: metricname + ts + tag_name + tag_value …..
확정 metricname 의 개수: m 확정 tagname: tag 1 tag 2 tag 3 tag 4... tagN 확정 tagvalue 의 개수: t1 t2 t3 t4... tn (모든 metric 의 tag 수량 과 유형 이 같다 고 가정 하면 실제 도 보장 해 야 합 니 다)
한 시간 동안 rowkey 의 개수 계산 공식:
m * t1 * t2 * t3 ..... * tn = num
한 시간 안에 1 초 에 데 이 터 를 쓴다 고 가정 하면 한 시간 안에 사용 공간 을 저장 합 니 다.num * ( ( 3+4+6*n + (1+2+8) ) * 3600) // byte
:
num: rowkey ,
3: metric_name
4: timestamp
6: tagK, tagV
n: tagK,tagV KV
1: hbase family name "t", byte
2:
8: metric value (1,2,4,8),
3600: , 3600
가설: 200 metric 3 개의 tagKV 쌍, 각 tagV 의 수치 개 수 는 각각 1000 205 매 10 초 에 한 번 데 이 터 를 수집 하면 한 시간 동안 사용 하 는 최대 저장 공간 은 200 * 1000 * 20 * 5 * (3 + 4 + 6 * 5 + 1 + 2 + 8) * 360) = 321 GB 이다.
이것 은 모든 기계 가 전량 채집 의 평가 치 라 고 가정 하 는 것 으로 실제 적 으로 이렇게 크 지 않 을 것 이다.PS: 이상 은 제 가 OpenTSDB 에 대한 이해 에 따라 대략적인 추산 방식 으로 잘못된 부분 이 있 을 수 있 습 니 다. 잘못된 부분 이 발견 되면 나중에 바로 잡 겠 습 니 다.
건축 양식
실제 metric 등 정보 에 따라 추 후 보충 (주로 hbase Region 예비 구역 과 rowkey 에 salt 를 추가 하 는 지 여부) 해 야 합 니 다.