Hadoop 딥러닝: NameNode
2380 단어 Hadoop NameNodeHadoop 보안 모드
NameNode 노드와 JobTracker 노드가 집단에서 단일 노드에 의해 고장나는 문제, 즉 이러한 노드가 정지되거나 효력을 잃으면 전체 집단에 문제가 발생한다.
NameNode 노드에는 블록이 저장되지 않으며 데이터는 모두 DateNode 노드에 저장됩니다.
이 섹션에서는 NameNode 노드와 관련된 정보를 주로 학습합니다.
NameNode 노드는 HDFS 파일 시스템에서 가장 중요한 두 가지 관계를 유지합니다.
1), HDFS의 파일 디렉터리 트리와 파일의 블록 인덱스, 즉 각 파일에 대응하는 블록 목록;
2), 데이터 블록과 DataNode 데이터 노드의 대응 관계, 즉 어떤 데이터 블록이 어떤 데이터 노드에 저장된 정보인지.
그 중에서 HDFS 파일 시스템의 파일 디렉터리 트리, 메타 정보와 블록 인덱스 등 정보는 디스크에 오래 지속됩니다. 구체적으로는 이름 공간에 저장된 FSImage 파일과 Edit Log 편집 로그 파일입니다.블록과 데이터 노드의 대응 관계는 NameNode 노드가 시작된 후에 DataNode 노드가'심박동'을 통해 NameNode 노드에 보고하고 동적으로 구축된다.
NameNode 노드의 주요 역할: DataNode 노드를 관리하고 DataNode 노드의 등록, 심장 박동, 블록 제출 등 정보의 업로드를 받아 블록 복제, 복구 등 이름 노드의 지령을 보내는 동시에 이름 노드는 클라이언트에게 파일 목록의 조작과 파일 데이터 읽기, HDFS 시스템 관리에 지원을 제공한다.
NameNode 노드와 DataNode 노드 사이에는 주로 데이터 노드가 NameNode에 보내는'심장박동'을 통해 정보를 상호작용한 다음에 심장박동에 대한 회신에서 작업 명령을 DateNode 노드에 되돌려주고 DataNode 노드에서 작업 명령을 실행합니다.
NameNode 노드를 처음 시작할 때 이름 노드를 포맷해야 합니다. 명령줄은 다음과 같습니다.
hadoop namenode -format
NameNode 보안 모드
NameNode 노드에서 메모리가 비어 있습니다. 첫 번째 중요한 것은 이름공간 렌즈 파일을 메모리에 불러오고 렌즈 편집 로그를 적용하는 것입니다. 이 과정이 끝난 후에 새로운 검사점을 만들 것입니다. 새 이름공간 렌즈와 빈 편집 로그를 포함합니다.상기 작업을 마친 후에 이름 노드는 클라이언트에 서비스를 제공할 수 있지만 읽기만 할 뿐이다. 이어서 이름 노드는 데이터 노드 노드를 처리하기 시작하고 메모리에 데이터 노드 노드에 보고된 데이터 블록 정보를 저장하여 전체 배포식 파일 시스템을 효율적으로 운행한 다음에 이름 노드는 안전 모드를 떠나 작업 상태로 들어간다.
HDFS 보안 모드의 특징 요약:
1), 보안 모드에서 HDFS는 시스템의 읽기 전용 모드만 제공하며 수정할 수 없습니다.
2), NameNode 이름 노드가 시작될 때 설정에 따라 두 번째 관계식에서 데이터 블록의 복사본 정보를 검사하고 조건이 충족된 후에야 안전 모드를 떠난다.
3), 명령줄을 통해 보안막의 상태 조회 및 설정을 지원할 수 있다.
// NameNode
hadoop dfsadmin -safemode get
//
hadoop dfsadmin -safemode wait
// HDSF
hadoop dfsadmin -safemode enter
//
hadoop dfsadmin -safemode leave
주: 안전 모드에서 이름 노드도 데이터 노드에 대해 심장 박동 검사를 합니다.
좋은 웹페이지 즐겨찾기
