MySQL Binlog 로그 처리 도구 비교 분석

Canal
포 지 셔 닝:데이터베이스 증분 로그 분석 을 바탕 으로 증분 데이터 구독&소 비 를 제공 합 니 다.현 재 는 주로 my sql 을 지원 합 니 다.
원리:

canal 은 my sql slave 의 상호작용 프로 토 콜 을 모 의 하고 자신 을 my sql slave 로 위장 하여 my sql master 에 dump 프로 토 콜 을 보 냅 니 다

my sql master 는 dump 요청 을 받 고 binary log 를 slave(즉,canal)에 푸 시 하기 시 작 했 습 니 다

canal 은 binary log 대상(원래 byte 흐름)을 분석 합 니 다

전체 parser 과정 은 크게 몇 단계 로 나 눌 수 있 습 니 다.

Connection 은 지난번 분석 에 성공 한 위 치 를 가 져 옵 니 다(처음 시작 하면 초기 에 제 정 된 위치 나 현재 데이터베이스 의 binlog 위 치 를 가 져 옵 니 다)

커 넥 션 연결 구축,BINLOG 발생DUMP 명령

Mysql 이 Binary Log 를 푸 시 하기 시 작 했 습 니 다

받 은 Binary Log 는 Binlog parser 를 통 해 협의 분석 을 하고 특정한 정 보 를 보충 합 니 다

4.567917.EventSink 모듈 에 전달 하여 데이터 저장 을 하 는 것 은 저장 에 성공 할 때 까지 차단 작업 입 니 다저장 성공 후 정시 에 Binary Log 위 치 를 기록 합 니 다
데이터 필터:어댑터 를 지원 하 는 필터 모드,테이블 이름,필드 내용 등데이터 경로/배포:해결 1:n(1 개 parser 대응 여러 store 모델)데이터 병합:n:1 해결(여러 parser 대응 1 개 store)데이터 가공:store 에 들 어가 기 전에 추가 처 리 를 한다.예 를 들 어 join.
Maxwell

canal 은 자바 에서 개발 하여 서버 와 클 라 이언 트 로 나 뉘 어 많은 파생 응용 을 가지 고 성능 이 안정 적 이 며 기능 이 강하 다.canal 은 canal 이 분석 한 데 이 터 를 소비 하기 위해 클 라 이언 트 를 직접 작성 해 야 합 니 다.
maxwell 은 canal 에 비해 사용 이 간단 합 니 다.데 이 터 를 json 문자열 로 직접 변경 하고 클 라 이언 트 를 만 들 필요 가 없습니다.
Databus
Databus 는 저 지연 변화 캡 처 시스템 으로 링크 드 인 데이터 처리 파이프 가 부족 하거나 부족 한 부분 이 되 었 습 니 다.Databus 는 신뢰 할 수 있 는 캡 처,흐름 과 주요 데이터 변경 을 처리 하 는 기본 적 인 요 구 를 해결 했다.Databus 는 다음 과 같은 기능 을 제공 합 니 다.
4.567917.소스 와 소비자 간 의 격 리4.567917.순서 와 적어도 한 번 의 교부 가 높 은 가용성 을 가 질 것 을 보증한다.
4.567917.흐름 의 임 의 시간 점 을 변경 하 는 것 부터 소 모 됩 니 다.전체 데이터 의 완전 유도 기능 을 포함 합 니 다구역 별 소비
소스 일치 성 보존

아 리 클 라 우 드 데이터 전송 서비스 DTS
데이터 전송 서비스(Data Transmission Service,DTS 로 약칭)는 알 리 클 라 우 드 가 제공 하 는 RDBMS(관계 형 데이터베이스),NoSQL,OLAP 등 다양한 데이터 소스 간 데이터 교 류 를 지원 하 는 데이터 스 트림 서비스 이다.DTS 는 데이터 이전,실시 간 데이터 구독 및 데이터 실시 간 동기 화 등 다양한 데이터 전송 능력 을 제공 하여 서버 데이터 이전,데이터 타지 재해,타지 다 중 활동(단원 화),다 국적 데이터 동기 화,실시 간 데이터 창고,조회 보고서 분류,캐 시 업데이트,비동기 메시지 알림 등 다양한 업무 응용 장면 을 실현 하여 높 은 안전,확장 가능,사용 가능 한 데이터 구조.
장점:데이터 전송(Data Transmission)서비스 DTS 는 RDBMS,NoSQL,OLAP 등 다양한 데이터 소스 간 의 데이터 전송 을 지원 합 니 다.이 는 데이터 이전,실시 간 데이터 구독 과 데이터 실시 간 동기 화 등 다양한 데이터 전송 방식 을 제공 했다.제3자 데이터 흐름 도구 에 비해 데이터 전송 서비스 DTS 는 더욱 풍부 하고 다양 하 며 고성능,안전 하고 신뢰 할 수 있 는 전송 링크 를 제공 하 는 동시에 여러 가지 편리 한 기능 을 제공 하여 전송 링크 의 구축 과 관 리 를 편리 하 게 한다.
개인 적 인 이해:하나의 메시지 큐 입 니 다.포 장 된 sql 대상 을 보 내 드 리 겠 습 니 다.이 sql 대상 을 분석 하 는 서 비 스 를 만 들 수 있 습 니 다.
배치 유지 보수 의 비 싼 사용 원 가 를 면제 하 다.DTS 는 알 리 클 라 우 드 RDS(온라인 관계 형 데이터베이스),DRDS 등 제품 을 적 절 히 배합 하여 Binlog 로그 회수,메 인 전환,VPC 네트워크 전환 등 장면 에서 의 구독 고가 용 문 제 를 해결 했다.아울러 RDS 에 맞 춰 맞 춤 형 성능 최적화 도 진행 했다.안정성,성능 및 원 가 를 고려 하여 추천 합 니 다.
이상 은 MySQL Binlog 로그 처리 도구 비교 분석의 상세 한 내용 입 니 다.MySQL Binlog 로그 처리 도구 에 대한 자 료 는 다른 관련 글 을 주목 하 십시오!