클 라 우 드 학습 노트 10. Map용량 감소

MapReduce Fault-Tolerance
서버 오류 디자인
  • Node Manager 에 심 박 수 를 보낸다.서버 가 다운 되면 Resource Manager 영향 을 받 은 모든 Resource Manager 에 게 알려 줍 니 다.
  • Application Master 현재 서버 에서 실행 중인 모든 작업 을 추적 합 니 다.진행 중인 작업 이 종료 되면 Node Manager 작업 을 Node Manager 로 표시 하고 작업 을 다시 시작 합 니 다
  • idle 에 심 박 수 를 보낸다.심장 박동 이 멈 추 면 Application Master 재 부팅 Resource Manager, Resource Manager 동시 수행 중인 퀘 스 트 정보
  • Application Master 잘못 사용 한 디자인
  • 낡은 것 사용 Application Master, 시동 Resource Manager
  • 메시지 전송 이 네트워크 에서 너무 많은 자원 을 소모 하 는 것 을 피하 기 위해 checkpoints 분배 요청 은 심장 박동 패 키 지 를 통 해 전송 된다.secondary Resource Manager (낙후 자)container 은 군집 에서 느 린 임 무 를 수행 하 는 것 을 말한다.모든 단계 에서 가장 느 린 임 무 를 수행 하 는 것 이 전체적인 속 도 를 결정 한다.stragglers 의 원인 은 여러 가지 가 있 을 수 있 습 니 다. 디스크 손상, 네트워크 정체, CPU 병목, 메모리 병목 입 니 다.
    잘못 사용 한 디자인:
  • 각 퀘 스 트 의 진 도 를 추적 기록
  • straggler: 네 straggler 다른 사본 집행 speculative execuation.그 중 하나 인 던 전 straggler 이 완성 되면 전체 임 무 는 완성 으로 표 시 됩 니 다.

  • 가설 (repliacted execuation), (replica), job1 의 완성 진 도 는 각각 job2, job3, 90%, 50% 이다.10% 다른 서버 에서 실 행 됩 니 다 Application Master.그 중 하나 job3 가 완성 되면 전체 임 무 는 완성 으로 표 시 됩 니 다.
    지방 성 (locality)
  • 클 라 우 드 는 계승 적 인 토폴로지 를 가지 고 프레임 내 통신 은 보통 핵심 교환기 의 통신
  • 보다 빠르다.
  • 데 이 터 는 replica 로 나 뉘 어 서로 다른 선반 에 세 부
  • 를 백업 했다.
  • MapReduce 는 네트워크 거리 에 따라 임 무 를 배정 합 니 다. 데이터 사본 에 대응 하 는 노드 > 같은 프레임 의 노드 > 임 의 장소
  • 좋은 웹페이지 즐겨찾기