ClouderaManager Cloudera Manager에서 Hadoop 노드의 랙 ID 지정 Hadoop에는, 랙의 위치를 의식해 데이터를 배치하는 랙 어웨어 네스라고 하는 기능이 있다. 이 기능을 사용함으로써, 랙 장해 등에 의한 복수 노드의 동시 다운 등에 대한 내 장해성을 갖게 할 수있다. 이 기사에서는 Cloudera Manager에서 랙 ID를 설정하는 방법을 설명합니다. 랙 인식 기능 자체에 대해서는 을 참조하십시오. Cloudera Manager 5.9.0 최상위 메뉴에... ClouderaManagerhadoop 파일 디스크립터의 상한 설정 의 18일째입니다. Hadoop, HBase, Spark 클러스터는 각 프로세스 대량의 파일을 오픈하므로, Linux 디폴트의 파일 디스크립터 상한에 쉽게 도달하게 됩니다. 상한에 도달하면 클러스터가 제대로 작동하지 않으므로 기본적으로 상한을 늘려야합니다. 예를 들어 HBase의 경우 32768로 설정하는 것이 좋습니다. 참고 1: 4. Basic Prerequisites - Limits o... 스파크ClouderaManagerhadoop Cloudera Manager 2015년 되돌아보기 Cloudera Manager(이하 CM)의 최신 버전은 12월에 출시되었습니다5.5.1. 세어 보니, 2015년은 실로 22회의 업데이트 릴리스(버그 픽스 릴리스 포함)가 있었습니다. 그 중 새로운 기능을 포함한 마이너 업데이트는 5.4와 5.5의 두 번이었습니다. 본 포스트에서는 5.4와 5.5에서 추가된 새로운 기능을 소개하고 싶습니다. 참고: What's New in Cloudera ... ClouderaManagerhadoop 역할 그룹을 만들고 호스트 리소스에 맞는 설정 적용 의 11일째입니다. Cloudera Manager(이하 CM)를 사용하는 경우 서비스와 역할이라는 단어를 자주 볼 수 있습니다. 서비스는 HDFS 및 YARN과 같은 Apache 프로젝트 이름에 (일반적으로) 해당 이름을 나타냅니다. 반면에 역할은 서비스가 있는 각 프로세스입니다. 즉, HDFS 서비스의 역할은 NameNode나 DataNode, YARN 서비스의 역할은 ResourceMan... ClouderaManagerhadoop How Cloudera Manager Makes Hadoop Troubleshooting Easy 의 9일째입니다. 지난 11/10에 개최된 Cloudera World Tokyo 2015에서 Troubleshooting Using Cloudera Manager라는 제목으로 강연했습니다. 내용은 Cloudera 지원 팀의 확대와 Cloudera Manager(이하 CM)의 변천, Cloudera의 엔지니어가 CM을 어떻게 문제 해결에 도움이 되는지 등이었습니다. 자료는 이하에서 공개되고 있... ClouderaManagerhadoop 클러스터 전체에서 로그 검색 의 7일째입니다. 의외로 알려지지 않은 (느끼는) 기능 중 하나는 로그 검색입니다. 이는 Cloudera Manager(이하 CM)에서 관리하는 모든 노드의 모든 프로세스에 대해 횡단적으로 검색을 수행할 수 있는 좋은 방법이므로 이 게시물에서 소개하고 싶습니다. 참고 문서: Logs 클러스터 문제를 해결할 때 블록이 '언제', '어떤 파일'에 연결되어 만들어지고 '어떤 데이터 노드'에 '언제... ClouderaManagerhadoop 클러스터의 로그 디렉토리 변경 의 6일째입니다. Cloudera Manager(이하 CM)에서 관리하는 클러스터의 로그는 기본적으로 모두/var/log 이하로 출력되지만 요구 사항에 따라 모든 디렉토리로 출력하고 싶을 수도 있습니다. 이 포스트에서는 변경 방법에 대해 간단히 설명합니다. 각 서비스의 설정 화면에서 '로그' 카테고리로 이동하여 변경하면 됩니다. 이는 CM의 Service Monitor 및 Host Monit... ClouderaManagerhadoop Cloudera Manager의 NameNode HA 마법사 의 4일째입니다. 아직도 HDFS는 SPOF가! 라는 쪽이 있습니다(정말 있다). NameNode의 HA는 이미 3년 이상 전에 구현되어 있으며, 프로덕션 환경에서 당연히 사용되고 있습니다. HA 구성으로의 마이그레이션은 Cloudera Manager를 사용하면 간단합니다. HA 마이그레이션 마법사는 아름답고 간단하기 때문에 여기에서 스크린 샷과 함께 절차를 소개하고 싶습니다. Clouder... ClouderaManagerhadoop Cloudera Manager가 관리하는 구성 파일의 차이점 의 하루입니다. Cloudera Manager(이하 CM)는 Hadoop 클러스터의 설치, 관리를 용이하게 해주는 애플리케이션입니다. 아키텍처는 다음과 같이 CM Server와 Agent가 서로 통신하는 구성입니다. CM을 사용하면 10 노드이지만 1000 노드이지만 Apache Kafka이지만 Apache Spark를 설치하려고하지만 모든 마법사를 통해 클러스터를 구축 할 수 있습니다. 클... 스파크ClouderaManagerhadoop Spark 작업 기록을 Spark History Server로 가져오기 디버깅을 위해이 웹 UI를 사용하여 프로덕션 환경에서 얻은 로그를 확인 환경에서 확인하고 싶을 수 있습니다. 취득한 이벤트의 로그를 Spark의 History Server에 건네주는 것으로, 프로덕션 환경의 이벤트 로그를 수중의 환경에서 볼 수 있어 편리합니다. Spark 1.6 Cloudera Enteprise 라이센스가 있는 경우 Cloudera Manager UI에서 이벤트 로그를 수집... 스파크CDHClouderaManager
Cloudera Manager에서 Hadoop 노드의 랙 ID 지정 Hadoop에는, 랙의 위치를 의식해 데이터를 배치하는 랙 어웨어 네스라고 하는 기능이 있다. 이 기능을 사용함으로써, 랙 장해 등에 의한 복수 노드의 동시 다운 등에 대한 내 장해성을 갖게 할 수있다. 이 기사에서는 Cloudera Manager에서 랙 ID를 설정하는 방법을 설명합니다. 랙 인식 기능 자체에 대해서는 을 참조하십시오. Cloudera Manager 5.9.0 최상위 메뉴에... ClouderaManagerhadoop 파일 디스크립터의 상한 설정 의 18일째입니다. Hadoop, HBase, Spark 클러스터는 각 프로세스 대량의 파일을 오픈하므로, Linux 디폴트의 파일 디스크립터 상한에 쉽게 도달하게 됩니다. 상한에 도달하면 클러스터가 제대로 작동하지 않으므로 기본적으로 상한을 늘려야합니다. 예를 들어 HBase의 경우 32768로 설정하는 것이 좋습니다. 참고 1: 4. Basic Prerequisites - Limits o... 스파크ClouderaManagerhadoop Cloudera Manager 2015년 되돌아보기 Cloudera Manager(이하 CM)의 최신 버전은 12월에 출시되었습니다5.5.1. 세어 보니, 2015년은 실로 22회의 업데이트 릴리스(버그 픽스 릴리스 포함)가 있었습니다. 그 중 새로운 기능을 포함한 마이너 업데이트는 5.4와 5.5의 두 번이었습니다. 본 포스트에서는 5.4와 5.5에서 추가된 새로운 기능을 소개하고 싶습니다. 참고: What's New in Cloudera ... ClouderaManagerhadoop 역할 그룹을 만들고 호스트 리소스에 맞는 설정 적용 의 11일째입니다. Cloudera Manager(이하 CM)를 사용하는 경우 서비스와 역할이라는 단어를 자주 볼 수 있습니다. 서비스는 HDFS 및 YARN과 같은 Apache 프로젝트 이름에 (일반적으로) 해당 이름을 나타냅니다. 반면에 역할은 서비스가 있는 각 프로세스입니다. 즉, HDFS 서비스의 역할은 NameNode나 DataNode, YARN 서비스의 역할은 ResourceMan... ClouderaManagerhadoop How Cloudera Manager Makes Hadoop Troubleshooting Easy 의 9일째입니다. 지난 11/10에 개최된 Cloudera World Tokyo 2015에서 Troubleshooting Using Cloudera Manager라는 제목으로 강연했습니다. 내용은 Cloudera 지원 팀의 확대와 Cloudera Manager(이하 CM)의 변천, Cloudera의 엔지니어가 CM을 어떻게 문제 해결에 도움이 되는지 등이었습니다. 자료는 이하에서 공개되고 있... ClouderaManagerhadoop 클러스터 전체에서 로그 검색 의 7일째입니다. 의외로 알려지지 않은 (느끼는) 기능 중 하나는 로그 검색입니다. 이는 Cloudera Manager(이하 CM)에서 관리하는 모든 노드의 모든 프로세스에 대해 횡단적으로 검색을 수행할 수 있는 좋은 방법이므로 이 게시물에서 소개하고 싶습니다. 참고 문서: Logs 클러스터 문제를 해결할 때 블록이 '언제', '어떤 파일'에 연결되어 만들어지고 '어떤 데이터 노드'에 '언제... ClouderaManagerhadoop 클러스터의 로그 디렉토리 변경 의 6일째입니다. Cloudera Manager(이하 CM)에서 관리하는 클러스터의 로그는 기본적으로 모두/var/log 이하로 출력되지만 요구 사항에 따라 모든 디렉토리로 출력하고 싶을 수도 있습니다. 이 포스트에서는 변경 방법에 대해 간단히 설명합니다. 각 서비스의 설정 화면에서 '로그' 카테고리로 이동하여 변경하면 됩니다. 이는 CM의 Service Monitor 및 Host Monit... ClouderaManagerhadoop Cloudera Manager의 NameNode HA 마법사 의 4일째입니다. 아직도 HDFS는 SPOF가! 라는 쪽이 있습니다(정말 있다). NameNode의 HA는 이미 3년 이상 전에 구현되어 있으며, 프로덕션 환경에서 당연히 사용되고 있습니다. HA 구성으로의 마이그레이션은 Cloudera Manager를 사용하면 간단합니다. HA 마이그레이션 마법사는 아름답고 간단하기 때문에 여기에서 스크린 샷과 함께 절차를 소개하고 싶습니다. Clouder... ClouderaManagerhadoop Cloudera Manager가 관리하는 구성 파일의 차이점 의 하루입니다. Cloudera Manager(이하 CM)는 Hadoop 클러스터의 설치, 관리를 용이하게 해주는 애플리케이션입니다. 아키텍처는 다음과 같이 CM Server와 Agent가 서로 통신하는 구성입니다. CM을 사용하면 10 노드이지만 1000 노드이지만 Apache Kafka이지만 Apache Spark를 설치하려고하지만 모든 마법사를 통해 클러스터를 구축 할 수 있습니다. 클... 스파크ClouderaManagerhadoop Spark 작업 기록을 Spark History Server로 가져오기 디버깅을 위해이 웹 UI를 사용하여 프로덕션 환경에서 얻은 로그를 확인 환경에서 확인하고 싶을 수 있습니다. 취득한 이벤트의 로그를 Spark의 History Server에 건네주는 것으로, 프로덕션 환경의 이벤트 로그를 수중의 환경에서 볼 수 있어 편리합니다. Spark 1.6 Cloudera Enteprise 라이센스가 있는 경우 Cloudera Manager UI에서 이벤트 로그를 수집... 스파크CDHClouderaManager