hadop 는 distcp 명령 으로 데 이 터 를 유도 하여 namenode 노드 전환 으로 인 한 이상 을 해결 합 니 다.
2897 단어 빅 데이터
hadoop distcp -overwrite hdfs://namenode1:8020/tmp/T_PUBLIC_OPINIONS_INFO hdfs://namenode11.201/tmp/T_PUBLIC_OPINIONS_INFO
namenode 전환
클 러 스 터 재 부팅 이나 유지 보수 등 문제 로 클 러 스 터 에 namenode 전환 등 문제 가 발생 할 수 있 습 니 다.데이터 가 복사 되 지 않 는 등 문제 가 발생 하기 때문에 우 리 는 먼저 namenode 가 생존 하 는 노드 를 판단 한 다음 에 지정 한 IP 의 데이터 이전 전환 을 해 야 합 니 다.
#
active_node=''
NameNode1_new='192.200.1.207'
NameNode2_new='192.200.1.206'
if hadoop fs -test -e hdfs://${NameNode1_new}:8020/ ; then
active_node=$NameNode1_new
elif hadoop fs -test -e hdfs://${NameNode2_new}:8020/ ; then
active_node=$NameNode2_new
fi
echo "Active Dev Name node : $active_node"
#
active_node=''
NameNode1_new='192.200.1.202'
NameNode2_new='192.200.1.201'
if hadoop fs -test -e hdfs://${NameNode1_new}:8020/ ; then
active_node=$NameNode1_new
elif hadoop fs -test -e hdfs://${NameNode2_new}:8020/ ; then
active_node=$NameNode2_new
fi
echo "Active Dev Name node : $active_node"
먼저 신 구 군집 에 있 는 namenode 의 생존 노드 를 선별 한 다음 생존 데 이 터 를 작성 합 니 다.
hadoop distcp -overwrite hdfs://active_node:8020/tmp/T_PUBLIC_OPINIONS_INFO hdfs://active_node2/tmp/T_PUBLIC_OPINIONS_INFO
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
spark 의 2: 원리 소개Google Map/Reduce 를 바탕 으로 이 루어 진 Hadoop 은 개발 자 에 게 map, reduce 원 어 를 제공 하여 병렬 일괄 처리 프로그램 을 매우 간단 하고 아름 답 게 만 들 었 습 니 다.S...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
