Hadoop 2.8 첫 번 째 사례 실행 wordcount
2101 단어 빅 데이터
[root@master mapreduce]# pwd
/opt/hadoop/hadoop2.8/share/hadoop/mapreduce
2. word. txt 를 만 들 고 데이터 파일 생 성
touch word.txt
echo "hello world" >> word.txt
echo "hello hadoop" >> word.txt
echo "hello hive" >> word.txt
3. 파일 보기
[root@master mapreduce]# ls
hadoop-mapreduce-client-app-2.8.5.jar hadoop-mapreduce-client-shuffle-2.8.5.jar
hadoop-mapreduce-client-common-2.8.5.jar hadoop-mapreduce-examples-2.8.5.jar
hadoop-mapreduce-client-core-2.8.5.jar jdiff
hadoop-mapreduce-client-hs-2.8.5.jar lib
hadoop-mapreduce-client-hs-plugins-2.8.5.jar lib-examples
hadoop-mapreduce-client-jobclient-2.8.5.jar sources
hadoop-mapreduce-client-jobclient-2.8.5-tests.jar word.txt
4. HDFS 디 렉 터 리 만 들 기
hdfs dfs -mkdir /work/data/input
5. 데이터 파일 word. txt 를 HDFS / work / data / input 디 렉 터 리 에 업로드
hdfs dfs -put ./word.txt /work/data/input
6. 텍스트 로 파일 읽 기
[root@master mapreduce]# hdfs dfs -text /work/data/input/word.txt
hello world
hello hadoop
hello hive
7. wordcount 예 실행
[root@master mapreduce]# hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /work/data/input /work/data/output
8. 결과 보기
[root@master mapreduce]# hdfs dfs -ls /work/data/output
Found 2 items
-rw-r--r-- 2 root supergroup 0 2019-03-01 19:36 /work/data/output/_SUCCESS
-rw-r--r-- 2 root supergroup 32 2019-03-01 19:36 /work/data/output/part-r-00000
[root@master mapreduce]# hdfs dfs -text /work/data/output/part-r-00000
hadoop 1
hello 3
hive 1
world 1
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
spark 의 2: 원리 소개Google Map/Reduce 를 바탕 으로 이 루어 진 Hadoop 은 개발 자 에 게 map, reduce 원 어 를 제공 하여 병렬 일괄 처리 프로그램 을 매우 간단 하고 아름 답 게 만 들 었 습 니 다.S...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
