GYAO의 ts입니다.
우리 팀은 올 퍼블릭 클라우드에서 Microservice Architecture을 채택한 차기 백엔드를 설계 중입니다.

경위

팀 전원으로 여러가지 괴롭혀 알았지만, Cloud Pub/Sub는 kafka와 같이 메시지의 순서성을 보증하지 않기(Subscriber측에서 대응할 필요가 있다) 때문에, 그랜드 디자인에 손을 넣어 크게 방향타를 취하려고 생각한다 .
최근에는 타임박스 1주일에 스프린트를 돌리고 있기 때문에, 세세한 방향 전환이 용이해져 온 것 같다.

마지막 디자인은 여기
GoogleCloud에서 범용 Database 구축 1 - 그랜드 디자인 -

Redesign

에이전트

신규에 추가했습니다.
CloudDetastore에 데이터를 전달하는 애플리케이션을 구축합니다.
SpringBoot + Apache Camel + kubernetes (Docker)로 빌드하려고합니다.

Dataflow

pub/sub 의 subscriber 로서 기능시킨다.
다음 작업 만들기

MetaStoreJob

CloudDataStore에서 pull한 data(meta)를 지속성 계층(BigQuery)에 저장합니다.

다양한 형식의 데이터가 들어오므로 DocumentDB에 저장

LogExportJob

구독된 메시지(log)를 지속성 계층(Datastore)에 임시 저장합니다. 일괄 모드에서 정기적으로 파일을 만들어 Azure MachineLearning에 먹이게 한다.

Meta 데이터도 정기적으로 MachineLearning에 먹일 수 있도록 파일 형식으로 Export한다.

스토리지

지속성 층으로 사용. BigQuery를 마스터로 만드는 형태로 변경.

다음 번

Agent를 핸즈 온!