Hadoop lzo 상세 설치 안내서
방법-2: 수동으로 설치하고 설치 절차는 다음과 같습니다.
배치하다
1. 필요한 소프트웨어
gcc
ant
lzo-2.05.tar.gz
toddlipcon-hadoop-lzo-2bd0d5b.tar.gz
ivy-2.0.0-rc2.jar
2.lzo 설치
tar -zxvf lzo-2.05. tar .gz cd lzo-2.05 . /configure -- enable -shared --disable-asm --prefix= /usr/local //sudo make && make install 3. lzo 라이브러리 파일 경로 설정
(라이브러리 파일은/usr/local/lib에 기본적으로 설치되어 있으며, lzo 라이브러리 파일의 경로를 더 지정하고 usr local lib.conf 파일에 경로를 지정하면 됩니다.)
1 .touch /etc/ld.so.conf.d/usr_local_lib.conf echo "/usr/local/lib" >> /etc/ld.so.conf.d/usr_local_lib.conf
// ,
/sbin/ldconfig - v | grep lzo
//표시:liblzo2.so.2 (libc6,x86-64) => /usr/local/lib/liblzo2 .so.2 liblzo2.so.2 (libc6,x86-64) => /usr/local/lib/liblzo2 .so.2
2 . /usr/local/lib lzo /usr/lib（ 32 ）， /usr/lib64（ 64 ）
4. lzo 인코딩/디코더tar -zxvf toddlipcon-hadoop-lzo-2bd0d5b. tar .gz（ lzo ） cd toddlipcon-hadoop-lzo-2bd0d5b cp hadoop-core-0.20.2-cdh3u4.jar .toddlipcon-hadoop-lzo-2bd0d5b /lib cp ivy-2.0.0-rc2.jar /home/search (ant compile-native jar ivy-2.0.0-rc2.jar ) sed -i "s/http:\/\/repo2\.maven\.org\/maven2\/org\/apache\/ivy\/ivy\/\\\${ivy\.version}/file:\/\/\/home\/search/" build.xml ant compile-native ant jar // 64 compression lzo-0.4.10.jar ， ， cp . /build/hadoop-lzo-0 .4.10.jar /application/search/hadoop-0 .20.2-cdh3u4 /lib cp . /build/native/Linux-amd64-64/lib/libgplcompression .* /application/search/hadoop-0 .20.2-cdh3u4 /lib/native/Linux-amd64-64/
6. lzop 명령 설치(컴파일 가능,yum 설치)wget http: //www .lzop.org /download/lzop-1 .03. tar .gz export LD_LIBRARY_PATH=$LD_LIBRARY_PATH: /usr/local/lib tar -zxvf lzop-1.03 cd lzop-1.03 . /configure //sudo make && make install
또는 다른 기계에서 lzop 명령을/usr/bin으로 복사하면 됩니다cp lzop /usr/bin -rwxr-xr-x 1 root root 264812 Jan 10 17:46 /usr/bin/lzop
7.lzo 테스트 검증
lzo-test를 생성합니다.log.lzo 파일
vi lzo-test.log//테스트 파일 생성lzop - v lzo- test .log
// lzo-test.log.lzo
lzo 압축 파일을 Hadoop 시스템에 업로드하여 job를 실행하여 테스트하기Hadoop jar hadoop-examples-0.20.2-cdh3u4.jar wordcount /test/input /test/output
job의 성공 여부 보기
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
