druid. io 정확 한 리 셋 [리 셋]

838 단어 #druid.io
전재 작가: 덩 위안 쾌 수 빅 데이터 주소:https://mp.weixin.qq.com/s/jDW1sordtki-O5-tsVE94g
  • BitMap

  • 하나의 int (32bit), 부호 가 없 는 범 위 는: [0, 4294967295] (42 억 여, 즉 [0, 2^32 - 1] 이다.count distinct() 의 모든 distinct 값 을 1 bit 로 저장 하면 가장 큰 것 은 (2 ^ 32 / 8 bytes = 512MB, 즉 최종 결 과 는 512 MB 를 사용 해 야 한 다 는 것 이다.
  • Roaring BitMap

  • https://github.com/RoaringBitmap/RoaringBitmap
  • Trie

  • Trie 트 리 모델 은 주로 문자열 로 인 코딩 합 니 다.서로 다른 유형의 데 이 터 를 문자열 형식 으로 통일 하고 트 리 모델 로 인 코딩 할 수 있 습 니 다.
    높 은 기수 가 있 으 면 Trie 나무 가 너무 커서 분열 이 필요 합 니 다.메모리 가 저장 되 지 않 으 면 디스크 로 분 단 된 트 리 의 범 위 를 나 누 어야 합 니 다. 그러면 특정 범위 의 하위 트 리 를 조회 한 다음 LRU 정책 으로 하위 트 리 를 바 꿀 수 있 습 니 다.
  • 전역 사전 구조: 분포 식 잠 금 제어
  • druid 정확 하고 무 거 운 pr
  • https://github.com/apache/druid/pull/7594/files

    좋은 웹페이지 즐겨찾기