OpenTSDB 저장 용량 추산 및 작성 방식

용량 추산
Rowkey 와 표 디자인 에 따라 저장 용량 을 추산 하 는 방식 은 대체적으로 다음 과 같다. rowkey: metricname + ts + tag_name + tag_value …..
확정 metricname 의 개수: m 확정 tagname: tag 1 tag 2 tag 3 tag 4... tagN 확정 tagvalue 의 개수: t1 t2 t3 t4... tn (모든 metric 의 tag 수량 과 유형 이 같다 고 가정 하면 실제 도 보장 해 야 합 니 다)
한 시간 동안 rowkey 의 개수 계산 공식: m * t1 * t2 * t3 ..... * tn = num한 시간 안에 1 초 에 데 이 터 를 쓴다 고 가정 하면 한 시간 안에 사용 공간 을 저장 합 니 다.
num * ( ( 3+4+6*n + (1+2+8) ) * 3600)    //      bytenum: rowkey   ,    
3:  metric_name    
4:  timestamp     
6:  tagK, tagV       
n:  tagK,tagV KV    
1:  hbase family name    "t",     byte  
28:  metric value     (1,2,4,8),      
3600:          , 3600 

가설: 200 metric 3 개의 tagKV 쌍, 각 tagV 의 수치 개 수 는 각각 1000 205 매 10 초 에 한 번 데 이 터 를 수집 하면 한 시간 동안 사용 하 는 최대 저장 공간 은 200 * 1000 * 20 * 5 * (3 + 4 + 6 * 5 + 1 + 2 + 8) * 360) = 321 GB 이다.
이것 은 모든 기계 가 전량 채집 의 평가 치 라 고 가정 하 는 것 으로 실제 적 으로 이렇게 크 지 않 을 것 이다.PS: 이상 은 제 가 OpenTSDB 에 대한 이해 에 따라 대략적인 추산 방식 으로 잘못된 부분 이 있 을 수 있 습 니 다. 잘못된 부분 이 발견 되면 나중에 바로 잡 겠 습 니 다.
건축 양식
실제 metric 등 정보 에 따라 추 후 보충 (주로 hbase Region 예비 구역 과 rowkey 에 salt 를 추가 하 는 지 여부) 해 야 합 니 다.

좋은 웹페이지 즐겨찾기