hadoop 단기 위조 분포 노트

1. 위조분포(Pseudo-Distributed)와 분포식(Fully-distributed)의 차이
우리는 Hadoop이 하나의 네트워크 집단에서 실행되는 소프트웨어라는 것을 안다.이 그룹에는 마스터 노드 (논리적인 노드는 물리적 노드 두 대를 포함) 가 있고, 노드 노드 (여러 대namenode 노드와 데이터 노드 포함) 도 있다.즉, 하나의 분포식hadoop 프로그램의 테스트와 운행은 반드시 여러 대의 호스트가 참여해야 한다.그러면 이것은 소프트웨어를 작성하는 데 지대한 불편을 가져왔다.이런 상황에서 하도프는 위분포 개념을 내놓았다.
간단하게 말하면 위조 분포는 호스트에서hadoop 프로그램을 실행하는 것이다.그중의 각 노드 기능은 모두 자바 프로세스에 의해 완성된다.위조 분포 환경에서 실제로는 한 호스트가 코드 집행과 계산 기능을 하고 있다.
 
2. 위조 분포의 배치
독립 실행형 구성이 완료된 경우 다음을 구성합니다.
1) conf/core-site를 구성합니다.xml 파일:

      <property>


          <name>fs.default.name</name>


        <value>hdfs://localhost:9000</value>


     </property>


 </configuration>


 

  

hadoop

    （

File System

） 

URL

  ，         

9000


 2

）  
conf/hdfs-site.xml
  ：

dfs.tem.dir
/home/tangli/hadoop/tem

 

dfs.name.dir
/home/tangli/hadoop/name

 

dfs.data.dir
/home/tangli/hadoop/data

 
 

dfs.replication
1

 

위 분포 실행 중인 버퍼 파일 디렉터리 주소,namenode 파일 디렉터리 주소,datanode 파일 디렉터리 주소를 각각 설정하고 그 값을 사용자 정의로 설정합니다.마지막 설정 데이터 백업 수량은 임의로 설정할 수 있으며 1~3을 권장합니다.
주: 0.23.0 버전 이후의 설정 파일은share/hadoop/common/templates/conf 디렉터리 아래에 있습니다.
 
3) conf/mapred-site를 구성합니다.xml 파일:


mapred.job.tracker
localhost:9001

 

JobTraker 주소 구성(포트)
 
 
3. HDFS 포맷(중요):
Hadoop이 있는 디렉토리에 들어가서 명령을 실행합니다.
$ sudo bin/hadoop namenode -format
 
4. Hadoop 모니터링 프로그램을 시작합니다. 즉, 위조 분포된 Hadoop을 시작합니다.
$ bin/start-all.sh
보호기를 시작한 후 $jps 명령을 실행하면 최소 5가지 내용이 표시됩니다.
NameNode 、 SecondaryNameNode 、 JobTracker 、 TaskTracker 、 DataNode 、 Jps
 
자주 발생하는 오류는 NameNode 또는 DataNode 가 없다는 것입니다.부족하면 conf/hdfs-site를 확인하십시오.xml 파일이 올바르게 설정되었는지, 오류가 있으면 수정한 후 HDFS를 다시 포맷합니다.또는 권한 오류,namenode 파일 디렉터리 주소,datanode 파일 디렉터리 주소를 검사합니다. 이 디렉터리 아이콘에 작은 자물쇠가 있으면 현재 사용자가 디렉터리 권한이 없음을 표시하고 정확한 권한을 다시 부여하십시오.
 
5.hadoop 보호 프로그램 정지
$ bin/stop-all.sh