Hadoop native libraries에서 load할 수 없는 문제를 기록합니다.
1352 단어 hadoop
SequenceFile doesn't work with GzipCodec without native-hadoop code!
Sequence File에서 이 exception이 나온다는 판단이 있어요.
private static Writer
createWriter(Configuration conf, FSDataOutputStream out,
Class keyClass, Class valClass, boolean compress, boolean blockCompress,
CompressionCodec codec, Metadata metadata)
throws IOException {
if (codec != null && (codec instanceof GzipCodec) &&
!NativeCodeLoader.isNativeCodeLoaded() &&
!ZlibFactory.isNativeZlibLoaded(conf)) {
throw new IllegalArgumentException("SequenceFile doesn't work with " +
"GzipCodec without native-hadoop code!");
}
이 코드를 통해 이 오류를 테스트할 수 있다.
import org.apache.hadoop.io.compress.zlib.ZlibCompressor;
public class MyTester {
public static void main(String[] args) {
new ZlibCompressor();
}
}
어떻게 피합니까?
두 가지 솔루션이 있습니다.
1. 하두프를native.lib false 설정
2./duitang/dist/sys/hadoop-1.2.1/lib/native/Linux-amd64-64/* 아래의 so 파일copy를/duitang/dist/sys/java/jre/lib/amd64로
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Azure HDInsight + Microsoft R Server에서 연산 처리 분산Microsoft Azure HDInsight는 Microsoft가 제공하는 Hadoop의 PaaS 서비스로 인프라 주변의 구축 노하우를 몰라도 훌륭한 Hadoop 클러스터를 구축할 수 있는 훌륭한 서비스입니다. 이...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
