01-cm와 cdh 환경 구축

본고는 00-서버 구축 기초 위에서 구축한 것이다

01-cm와 cdh 환경 구축

cm는 Cloudera Manager, cdh는 Cloudera Distributed Hadoop입니다.전자는 후자를 관리하는 플랫폼이고 후자는 Hadoop의 발행 버전이다

1, selinu 닫기
vim/etc/sysconfig/selinux

# SELINUX=enforcing

부팅 서버 재부팅이 시작됩니다

상태 보기:

/usr/sbin/sestatus -v
2, 종속 패키지 설치

yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y

3, cm 설치
3.1, cm 관련 가방과 먹을 것에 필요한parcels 파일 다운로드

cloudera 관리자 패키지: 5.7.2 cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz 다운로드 주소:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz

CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel 다운로드 주소:http://archive.cloudera.com/cdh5/parcels/5.7.2/주의:parcel 파일,sha1 파일,manifest를 다운로드해야 합니다.json 파일,

3.2, 파일 압축 해제 및 각 기계에 배포

#  
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager
imrsync.sh /opt/cloudera-manager/

3.3, 사용자 cm 사용자를 추가하고 linux에서 직접 실행하면 된다

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3.4, cm 서버 설정 수정
주의주의주의: 이 서버_host는 호스트의 host입니다. 모든 에이전트는 똑같이 설정해야 합니다!!!

vim/opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini

# Hostname of the CM server.
server_host=centos01

3.5, jdbc의 연결 의존

mysql-connector-java-5.1.26-bin 다운로드.jar

mysql-connector-java-5.1.26-bin.jar를/usr/share/java/디렉터리로 복사하고 이름을 mysql-connector-java로 변경합니다.jar

mkdir -p/usr/share/java
mv mysql-connector-java.jar/usr/share/java
3.6, CM Server 데이터베이스 구성(주 노드에만 있어야 함)

grant all on *.* to 'cdh'@'%' identified by 'cdh' with grant option;

#  /opt/cloudera-manager/cm-5.7.2/share/cmf/schema ， ：
/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cdh -h centos01 -ucdh -pcdh --scm-host centos01 scm scm scm

3.7, Parcel 디렉터리 만들기, 권한 변경 등
다양한 구성 요소의 창고

서버 노드

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

에이전트 노드

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

3.8, CDH 기본 소스 만들기
주의주의: 위에서 다운로드한 sha1 파일은 접두사 이름을 바꾸고 서버 노드의/opt/cloudera/parcel-repo 디렉터리에 올려야 합니다!!!서버 노드만 넣으면 돼요.
파라셀 파일,sha 파일,manifest를 다운로드하십시오.json 파일을 서버 노드의/opt/cloudera/parcel-repo 아래에 놓습니다.
4,cm의 시동
4.1, 서버 노드에서 서버 열기
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start

cm sever ：/opt/cloudera-manager/cm-5.7.2/log/cloudera-scm-server/cloudera-scm-server.log

성공한 후 jps는main 프로세스를 여러 군데 실행합니다. 로그에 오류가 없습니다

4.2, 에이전트 노드에서 에이전트 열기
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start

cm agent ：/opt/cloudera-manager/cm-5.7.2/log/cloudera-scm-agent/cloudera-scm-agent.log

4.3, 브라우저 액세스 검증
http://centos01:7180/

계정:admin

비밀번호: admin

4.4, 발생할 수 있는 문제

--  ：

1，  ：ImportError: libxslt.so.1: cannot open shared object file: No such file or directory

-  ：
-  centos ， 
- yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel -y

2， ， mysql

이 내용에 흥미가 있습니까?

현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:

다양한 언어의 JSON

JSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...

텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.

CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.

01-cm와 cdh 환경 구축

01-cm와 cdh 환경 구축

좋은 웹페이지 즐겨찾기