CDH Hadoop 단일 결점 수동 설치

공식 문서
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.html#concept_gp2_q32_24 http://www.cloudera.com/documentation/cdh/5-0-x/CDH5-Quick-Start/cdh5qs_mrv1_pseudo.html
선결 조건
JDK 설치, JAVA 설정HOME
cloudera의 repo 설정

cd/etc/yum.repos.d/

sudo wget https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/cloudera-cdh5.repo

sudo rpm –import https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/RPM-GPG-KEY-cloudera

주안점
sudo yum install hadoop-conf-pseudo-2.6.0+cdh5.12.0+2512-1.cdh5.12.0.p0.38.el7.x86_64.rpm
format namenode
sudo -u hdfs hdfs namenode -format
start datanode
sudo -u hdfs hdfs namenode
start services for i in cd/etc/init.d;ls hadoop-* ; do sudo service $i start; done

sudo -u hdfs hadoop fs -mkdir -p /tmp
sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
sudo -u hdfs hadoop fs -mkdir -p /var/lib/hadoop-hdfs/cache/mapred/mapred/staging
sudo -u hdfs hadoop fs -chmod 1777 /var/lib/hadoop-hdfs/cache/mapred/mapred/staging
sudo -u hdfs hadoop fs -chown -R mapred /var/lib/hadoop-hdfs/cache/mapred

기타
텐센트의 clould 서버에 yum로 설치하는 것이 매우 느린 것을 발견하여 모든 rpm 패키지를 수동으로 다운로드한 후 서버에 업로드하여 수동으로 설치할 때 패키지의 의존이 설치되지 않으면 rpm -ivh name.rpm – nodeps – force 강제 설치
compatible clusterIDs 오류는format namenode를 반복해서 데이터 node의 데이터 디렉터리를 모두 삭제했기 때문입니다. 데이터 디렉터리는 dfs입니다.datanode.data.dir 지정
yarn.web-proxy.address is not set so the proxy will not run, 증가

yarn.web-proxy.address
localhost:8100>

yarn-site까지.xml
구성 요소 설치
sudo yum install hadoop-yarn-resourcemanager sudo yum install hadoop-hdfs-namenode sudo yum install hadoop-hdfs-secondarynamenode sudo yum install hadoop-yarn-nodemanager hadoop-hdfs-datanode hadoop-mapreduce sudo yum install hadoop-mapreduce-historyserver hadoop-yarn-proxyserver sudo yum install hadoop-client