HDFS 데이터를 MongoDB로 내보내기

HDFS 데이터를 MongoDB로 내보내기
이 섹션은 Mongo OutputFormat 클래스를 사용하여 HDFS의 데이터를 MongoDB 문서로 가져옵니다.
준비 작업
1. 부터https://github.com/mongodb/mongo-hadoop코드를 다운로드하고, Mongo Hadoop Adaptor를 컴파일하고, 컴파일을 직접 다운로드할 수도 있고, 내가 이미 컴파일한 것도 다운로드할 수 있습니다.
2、Mongo Java Driver를 다운로드,https://github.com/mongodb/mongo-java-driver/downloads.
조작 절차
1、준비된 두 개의 Jar 가방을 $HADOP 에 복사HOME/lib에서
2. MapReduce 코드 만들기

import java.io.*;

import org.apache.commons.logging.*;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.*;
import org.bson.*;
import org.bson.types.ObjectId;


import com.mongodb.hadoop.*;
import com.mongodb.hadoop.util.*;

public class ExportToMongoDBFromHDFS {
	
	private static final Log log =
LogFactory.getLog(ExportToMongoDBFromHDFS.class);
	
	public static class ReadWeblogs extends Mapper{
		
		public void map(Text key, Text value, Context context) throws IOException, InterruptedException{
			
			System.out.println("Key: " + key);
			System.out.println("Value: " + value);
			
			String[] fields = value.toString().split("\t");
			
			String md5 = fields[0];
			String url = fields[1];
			String date = fields[2];
			String time = fields[3];
			String ip = fields[4];
			
			BSONObject b = new BasicBSONObject();
			b.put("md5", md5);
			b.put("url", url);
			b.put("date", date);
			b.put("time", time);
			b.put("ip", ip);
			
			context.write( new ObjectId(), b);
		}
	}
	
	public static void main(String[] args) throws Exception{
		
		final Configuration conf = new Configuration();
		conf.set("mapred.job.tracker", "192.168.11.131:9001");
		MongoConfigUtil.setOutputURI(conf,"mongodb://192.168.100.161:27017/test.weblogs");
		//MongoConfigUtil.setCreateInputSplits(conf, false);
		System.out.println("Configuration: " + conf);
		
		final Job job = new Job(conf, "Export to Mongo");
		
		Path in = new Path("/data/weblogs/weblog_entries.txt");
		FileInputFormat.setInputPaths(job, in);
		
		job.setJarByClass(ExportToMongoDBFromHDFS.class);
		job.setMapperClass(ReadWeblogs.class);
		
		job.setOutputKeyClass(ObjectId.class);
		job.setOutputValueClass(BSONObject.class);
		
		job.setInputFormatClass(TextInputFormat.class);
		job.setOutputFormatClass(MongoOutputFormat.class);
		
		job.setNumReduceTasks(0);
		
		System.exit(job.waitForCompletion(true) ? 0 : 1 );
		
	}
}

3. MapReduce 코드를 Jar 패키지로 내보내기
4.MapReduce 프로그램hadoopjar ExportTo MongoDB FromHDFS를 실행합니다.jar ExportToMongoDBFromHDFS
5. 수행 완료
몬godb에서db를 검증합니다.weblogs.count()
결과:3000