자바 Hadoop 자바 API 처음 호출

환경:Hadoop 1.2.1
예:FileSystem 을 사용 하여 Hadoop 파일 시스템 의 파일 을 표준 출력 형식 으로 표시 하여 JAVA 파일 을 작성 합 니 다.

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.InputStream;
import java.net.URI;

public class FileSystemCat {
    public static void main(String[] args) throws Exception {
        String uri = args[0];
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(uri), conf);
        InputStream in = null;
        try {
            in = fs.open(new Path(uri));
            IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
            IOUtils.closeStream(in);
        }
    }
}

JAVA 설정HOME 환경 변수,$JAVAPATH 환경 변수 에 HOME/bin 추가  Hadoop 클래스 디 렉 터 리 설정( HADOOP_CLASSPATH) 

[grid@hadoop1 hadoop-1.2.1]# vi conf/hadoop-env.sh
# The java implementation to use.  Required.
export JAVA_HOME=/usr/java/jdk1.7.0_72

# Extra Java CLASSPATH elements.  Optional.
export HADOOP_CLASSPATH=/home/grid/hadoop-1.2.1/myclasses

편 집 된 JAVA 파일 업로드

[grid@hadoop1 hadoop-1.2.1]$ mkdir myclasses
[grid@hadoop1 hadoop-1.2.1]$ cd myclasses
[grid@hadoop1 myclasses]$ rz

자바 파일 컴 파일

[grid@hadoop1 myclasses]$ javac -classpath ../hadoop-core-1.2.1.jar  FileSystemCat.java

실행:             더 알 아 보기

[grid@hadoop1 hadoop-1.2.1]$ ./bin/hadoop FileSystemCat hdfs://hadoop1:9000/user/grid/in/test3.txt
Hello Hadoop Java API