가짜 분포 식 Hadoop 을 설치 하 는 스 크 립 트 를 만 듭 니 다.

6904 단어 hadooplinuxshell
학교 에서 Hadoop 이라는 과정 을 개 설 했 는데 첫 번 째 수업 은 바로 이 컴퓨터 에 가짜 분포 식 Hadoop 을 설치 하 는 것 이다.반 의 대부분 학생 들 은 이전에 Liux 시스템 (hadop 설치 도 가상 컴퓨터 에서 진행) 을 사용 하지 않 았 기 때문에 설치 하 는 과정 에서 여러 가지 문제 가 발생 하여 어떻게 해결 해 야 할 지 몰 랐 다.차라리 나 도 심심 해서 가짜 분포 식 Hadoop 을 설치 하 는 셸 스 크 립 트 를 만 들 었 다. 학생 들 이 자신의 Liux 시스템 에서 이 스 크 립 트 를 실행 하면 설 치 를 완성 할 수 있 도록 했다.
준비 자원:
  • jdk 1.7 Liux 가 openjdk 를 가 져 왔 지만 개인 적 으로 Oacle 을 사용 하 는 것 에 익숙 하 다
  • hadoop 2.7. tar. gz 아파 치 에서 다운로드
  • 두 개의 가방 이 준 비 된 후에 mkdir all 은 all 의 빈 폴 더 를 만 든 다음 에 위의 두 개의 tar. gz 가방 을 넣 습 니 다.tar - zcvf all. tar. gz all 을 실행 하여 all 폴 더 를 all. tar. gz
  • 로 압축 합 니 다.
    hadop 설치 과정 을 실행 하 는 셸 install 을 작성 합 니 다.hadoop.
    #!/bin/bash
    size=0
    #         install_hadoop.bin    all.tar.gz >>      
    tail -c $size install_hadoop.bin >all.tar.gz tar -zxf all.tar.gz cd all echo "    .   ..." mkdir /usr/local/hadoop mkdir /usr/local/JDK tar -zxf hadoop-2.7.0.tar.gz -C /usr/local/hadoop tar -zxf jdk-7u79-linux-x64.tar.gz -C /usr/local/JDK #       echo export JAVA_HOME=/usr/local/JDK/jdk1.7.0_79 >>/etc/profile echo export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.0 >> /etc/profile echo export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.0/bin:/usr/local/hadoop/hadoop-2.7.0/sbin:/usr/local/JDK/jdk1.7.0_79/bin >> /etc/profile
    #        
    source /etc/profile
    #         
    (echo -e "
    " sleep 1 echo -e "
    " sleep 1 echo -e "
    ")|ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys # sed hadoop sed -i "s/\${JAVA_HOME}/\/usr\/local\/JDK\/jdk1.7.0_79/g" /usr/local/hadoop/hadoop-2.7.0/etc/hadoop/hadoop-env.sh sed -i '/<configuration>/a\<property\>
    \<name\>fs.default.name\<\/name\>
    \<value\>hdfs://localhost:9000\<\/value\>
    \<\/property\>
    \<property\>
    \<name\>hadoop.tmp.dir\<\/name\>
    \<value\>\/home\/hadoop\/tmp\<\/value\>
    \</property\>' /usr/local/hadoop/hadoop-2.7.0/etc/hadoop/core-site.xml sed -i '/\<configuration\>/a\<property\>
    \<name\>mapred.job.tracker\</name\>
    \<value\>localhost:9001\</value\>\</property\>' /usr/local/hadoop/hadoop-2.7.0/etc/hadoop/mapred-site.xml.template sed -i '/<configuration>/a
    \<property\>
    \<name\>dfs.replication\</name\>
    \<value\>1\</value\>
    \</property\>' /usr/local/hadoop/hadoop-2.7.0/etc/hadoop/hdfs-site.xml echo "hadoop , 。。。" # hadoop hadoop namenode -format echo " .. " # start-all.sh exit

    위 와 같이 hadop 에 설 치 된 셸 스 크 립 트 를 완 료 했 지만, all. tar. gz 파일 을 최종 스 크 립 트 에 추가 할 스 크 립 트 가 필요 합 니 다.
    mkinstall_hadoop.sh:
    #!/bin/bash
    #  gawk     all.tar.gz   
    size=`ls -all | grep all.tar.gz | gawk '{print $5}'`
    #    install_hadoop.bin  ,              。        
    cp install_hadoop.sh  install_hadoop.bin
    # all.tar.gz      
    cat all.tar.gz >>install_hadoop.bin
    #  sed -i        size。             size    
    #    size      all.tar.gz   
    sed -i "s/size=0/size=$size/g"  install_hadoop.bin

    마지막 으로 mkinstall 실행hadoop.sh.인 스타 그램 이 생 성 됩 니 다hadop. bin 파일.이 파일 을 친구 의 Liux 컴퓨터 에 복사 하여 실행 한 후에 hadop 을 설치 하 였 습 니 다.

    좋은 웹페이지 즐겨찾기