HiveSQL 작업

본 블로그의hadoop에 따라 글을 작성하고 본 장의 내용을 계속합니다.조작이 간단하다
직접 다운로드한 소고우.500w.utf8 파일을 lionel 계정의 홈 디렉터리로 드래그해서 실행하기
마스터 노드에서 실행

[lionel@master ~]$ cd ~/hadoop-2.5.2 
[lionel@master hadoop-2.5.2]$ sbin/start-all.sh 

↓

[lionel@master Desktop]$ cd

lionel의 홈 디렉터리에 들어가기↓hdfs에 새 디렉터리 만들기

hdfs dfs -mkdir -p /sogou/test

'Name node is in safe mode' 가 나타나면 보안 모드에서 Hadoop 압축 해제 디렉터리에 들어가서 작업을 수행합니다.

[hadoop@master hadoop-2.5.2]$ bin/hadoop dfsadmin -safemode leave

생성 성공 여부 보기

hdfs dfs -ls /

루트 디렉터리에 있는 모든 파일을 보십시오.500w.utf8 파일 저장

hdfs dfs -put sogou.500w.utf8 /sogou/test

저장 성공 여부 보기

hdfs dfs -ls /sogou/test      

/sougou/test 디렉터리에 있는 모든 파일 보기 ↓hive 설치 (압축 해제) 홈 디렉터리에 들어가기

[lionel@master ~]$ cd ~/apache-hive-0.13.1-bin

↓ 시동hive

[lionel@master apache-hive-0.13.1-bin]$ bin/hive

↓ 데이터베이스 만들기 sogou 데이터베이스 만들기 및 sogou테스트 데이터 테이블

show databases;                      （       ）

create database sogou;               （  sougou   ）

use sogou;                           （  sougou           ）

create external table sogou_test
(
ts String,
uid String,
keyword String,
rank int,
order int,
url String
)
row format delimited fields terminated by '\t'      （       ）
stored as textfile location '/sogou/test';          （ /sogou/test         ）

sogou.500w.utf8은 사용자가 검색한 역사 기록을 저장하고 그 파일 아래의 데이터는 이러한 구조로 저장된 {검색 시간, 사용자 id, 키워드, 사용자가 클릭한 페이지의 위치(또는 순위), 클릭한 페이지는 검색 결과의 몇 페이지에 url 링크}
그런 다음 관련 작업을 수행할 수 있습니다.

select * from sogou_test limit 5; // 5      
select keyword from sogou_test limit 5;  // 5  keyword

이후에는 Hive에서 SQL 작업을 수행할 때마다 다음과 같은 작업을 수행할 데이터베이스를 선택합니다.

use sogou;