Azure Synapse Analytics 첫 걸음

Azure Synapse Analytics란 무엇입니까?

이것에 대해서는 공식 문서나 다른 기사를 읽어 주는 것이 좋지만 아래 그림과 같이 Modern Data Warehouse에서 복잡하게 되기 쉬운 처리(ETL, 집계, ML등)를 한 곳에 집약해 간소화했다 서비스이다. Simple is best.
Azure Synapse Analytics에 대해 정리해 보았습니다.

기존 구성

Azure Synapse Analytics

Azure Synapse Analytics의 전체 그림은 아래 그림과 같습니다. 보기에는 복잡해 보일지도 모르지만, SQL 온디맨드가 추가된 것의 기본적으로는 SQL Data Warehouse, Spark, Data Factory와 같은 기존 서비스의 조합이다. Azure Synapse Analytics Workspace라는 넣어로 모아 관리할 수 있게 되어 있어 각 서비스의 상호 접속성이 오르고 있다. 이는 Synapse에 닫힌 이야기가 아니라 Azure Synapse Link for Azure Cosmos DB 등 외부 서비스와의 연계도 강화 포인트다. 따라서 기존 서비스를 이해할 수 있다면 난이도는 매우 낮을 것이다. 또한 Synapose Analytics Studio라는 관리 UI가 직관적이고 사용하기 쉽다고 느꼈다. 툴의 습득 난이도의 낮음도 장애물을 낮추는 요인일 것이다.

적용 범위

지금까지 여러 서비스와 컴포넌트를 조합하고 있던 Modern Data Warehouse나 ML의 시나리오에서는 Azure Synapse Anayltics로 모아 관리할 수 있는 분에 편리할 것이다. 아마 Lambda architecture에서도 강점을 발휘한다고 생각한다. 다만 실시간 처리에 대해 Cosmos DB나 Azure Stream Analytics를 활용한 문서는 보였지만 기사 집필 시점에서 다른 패턴이 발견되지 않았기 때문에 조사가 필요하다. 베이스는 단지 Spark이므로 Delta, Streaming 등도 사용할 수 있는 것은 아닐까. 또 DevOps나 CI/CD 주위도 신경이 쓰이는 곳이다. 예를 들어 Azure Data Factory에는 Git 연계 기능이 있었지만 Synapse에는 보이지 않는다. (만약 이미 자세한 사람이 있으면 교수 바랍니다.) 또, IaC에 대해서 ARM은 있었지만 terraform은 아직 미대응(2020/07/10시점)이므로 향후 기대다.

시도해 보자.

앞서 언급했듯이 Synapose Analytics Studio는 매우 직관적이고 사용하기 쉽습니다. Data Factory는 거의 그대로, SQL Server용의 UI도 제공되고 있다. 물론 기존 툴인 SQL Server Management나 Visual Studio 등도 그대로 활용할 수 있다.
또 시험해 보는 분에게는 핸즈온 트레이닝이나 튜토리얼이 추천이다.
Azure-Samples - Synapse

Azure Synapse Analytics 엔드 투 엔드 솔루션 - 핸즈온 교육
*2020/07/13 시점에서는 움직이지 않았으므로 향후의 Update에 기대