Cloudera Manager Advent Calendar 2015 의 9일째입니다.

지난 11/10에 개최된 Cloudera World Tokyo 2015에서 Troubleshooting Using Cloudera Manager라는 제목으로 강연했습니다. 내용은 Cloudera 지원 팀의 확대와 Cloudera Manager(이하 CM)의 변천, Cloudera의 엔지니어가 CM을 어떻게 문제 해결에 도움이 되는지 등이었습니다. 자료는 이하에서 공개되고 있습니다만, 본 포스트에서는 보충의 의미도 포함해 간단하게 내용을 되돌아보고 싶습니다(덧붙여 화면 샷은 발표 당시 최신의 CM 5.4의 것을 하고 있습니다 ).

Cloudera Manager란 무엇인가?

CM은 Hadoop(Spark 포함) 클러스터를 구축하고 운영하기 위해 개발된 GUI 도구입니다. Cloudera 사내에는 전임의 UI 팀도 있을 정도로 디자인에는 신경을 쓰고 있으므로, 매우 통일감이 있는 UI가 되고 있습니다. 게다가 편리한 기능도 많이 갖추고 있습니다. 왜 CM이 사용자와 우리 지원 엔지니어의 문제 해결을 지원하는지, 그것은이 정교한 UI와 풍부한 기능으로 인해 큰 것이라고 말할 수 있습니다.

반면에 CM을 다루려면 CM에서 할 수 없다는 것을 이해해야합니다. Cloudera Manager란 무엇입니까? CM은 명령줄 도구가 아닙니다. 클러스터에 대한 작업은 원칙적으로 GUI에서 수행됩니다(내부적으로 실행되는 명령은 GUI에서 확인할 수 있지만). 또한 CM은 쿼리를 실행하거나 작업의 워크플로를 관리하는 도구가 아닙니다. 쓰레드 덤프의 취득은 해 줍니다만, 사무라이나 쓰레드 덤프 애널라이저와 같은 해석 기능은 없습니다. CM도 할 수 없거나 할 수 없는 경우가 있습니다. 그들을 이해하고, CM으로 할 수 있는 것은 맡겨 버리는 것이 운용이나 장해 해석이 편해집니다. Cloudera Manager 및 문제해결 세상의 트러블 슈팅의 현장에서는, 우선 대략적으로 무슨 일이 일어나고 있는지 개요를 파악해, 자신의 경험이나 관찰한 것을 기초로 조금씩 드릴 다운해 가는 것이 정석인가라고 생각합니다. Hadoop에서도 마찬가지이므로, 우선 전체상을 정확하게 파악할 필요가 있습니다. 그런 다음 여러 호스트로 구성된 Hadoop 클러스터에서 "어디로" "어떤 순서로" 드릴 다운할지 매우 중요합니다. 이것을 잘못하면 헤매어 버립니다만, CM은, 그 길을 가는 것이 되는 툴이라고 생각하고 있습니다. CM의 홈페이지는 이와 같은 화면으로 되어 있습니다. 클러스터에서 어떤 서비스가 실행되고 있는지, 건강에 문제가 있을까, 최근의 메트릭스의 시계열 변화는 어떻게 되어 있는지(차트),를 한눈에 이해할 수 있는 심플한 디자인입니다. 자, 여기에서는 HDFS의 서비스 헬스가 오렌지색(경고를 의미한다)가 되어 있습니다. HDFS 링크를 클릭하면 HDFS 전용 화면이 표시됩니다. 예를 들어 각 NameNode WebUI에 대한 링크와 HDFS 차트, 최근 상태 테스트 결과 등을 볼 수 있습니다.