Hive 스케줄링 오류 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
815 단어 문제를 해결하다
그리고job의 id에 따라yarn에 가서 로그를 조회한 결과 다음과 같은 오류가 발생했습니다:FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: GC overhead limit exceeded
원래는 메모리가 넘쳤는데 데이터 양이 너무 많아서 맵의 단계에 메모리가 부족합니다.이때 SQL 문에 매개변수를 설정한 문을 추가합니다.
set mapreduce.map.memory.mb=10150;
set mapreduce.map.java.opts=-Xmx6144m;
물론 이런 상황은 Reduce 단계에서도 나타날 수 있어요.
set mapreduce.reduce.memory.mb=10150;
set mapreduce.reduce.java.opts=-Xmx8120m;
매개 변수의 값은 스스로 조절할 수 있으니, 자신의 필요에 따라 설정하면 된다.꽃을 뿌리다
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
SES의 어둠에 직면하여 - 다중 구조의 혼란을 고찰-자신이 SES에서 일하기 때문에 그 일에 관해 쓴다. 제1장: 혼란을 똑똑히 보다 자신이 직면한 혼란은 무엇입니까? 2개 중개회사가 있어 현장의 엔지니어가 만족스럽게 고객에게 서비스를 제공하지 못해 혼란을 초래했다....
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
