Hadoop 학습 - maxTemperature 컴파일 및 실행

책의 견본에 따라 코드를 작성하다

public class MaxTemperatureMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

mvn 명령으로 패키지 컴파일

mvn clean compile package

maxTemperature-1.0-SNAPSHOT.jar

Hadoop에서 입력 경로 및 파일 만들기

hdfs dfs -mkdir input/ncdc
hdfs dfs -put input/ncdc/sample.txt /user/lianyz/input/ncdc/sample.txt

hdfs dfs -ls -R

hdfs dfs -rm -r ncdc

프로그램 컴퓨팅 Sample을 실행합니다.txt

hadoop jar maxTemperature-1.0-SNAPSHOT.jar com.lianyz.hadoop.MaxTemperature input/ncdc/sample.txt output/maxTemperature

계산 결과 보기

hdfs dfs -cat output/maxTemperature/part-r-00000

계산 결과는 다음과 같다.

2020-05-03 08:07:07,462 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2020-05-03 08:07:08,044 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
1949	111
1950	22

실행 프로그램 계산all

hdfs dfs -put input/ncdc/all/*.gz /user/lianyz/input/ncdc/
hdfs dfs -rm input/ncdc/sample.txt
hdfs dfs -rm output/maxTemperature
hadoop jar maxTemperature-1.0-SNAPSHOT.jar com.lianyz.hadoop.MaxTemperature input/ncdc output/maxTemperature

계산 결과 보기

hdfs dfs -cat output/maxTemperature/part-r-00000

계산 결과는 다음과 같다.

2020-05-03 08:13:31,537 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2020-05-03 08:13:32,133 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
1901	333
1902	328