어떻게 Win 10 시스템 에서 Python 3 를 사용 하여 Hive 를 연결 합 니까?

2039 단어 PythonHivewin10
빅 데이터 플랫폼 의 하 이브 데이터 창고 에 데이터 가 저장 되 어 있 기 때문에 저 는 Win 10 시스템 에서 Python 3 을 이용 하여 하 이브 를 연결 한 다음 에 데 이 터 를 읽 고 탐색,분석 과 발굴 작업 을 해 야 합 니 다.

나 는 인터넷 에서 자료 와 실제 테스트 를 통 해 Win 10 시스템 Python 3 를 Hive 설정 에 성공 적 으로 연결 한 것 을 다음 과 같이 요약 했다.
STEP 1:의존 라 이브 러 리 설치

pip install bitarray
pip install bit_array
pip install thrift
pip install thriftpy
pip install pure_sasl
pip install --no-deps thrift-sasl==0.2.1
알림:설치 할 수 없 으 면 다음 주 소 를 클릭 할 수도 있 습 니 다.
https://www.lfd.uci.edu/~gohlke/pythonlibs/
적당 한 라 이브 러 리 의 whl 다운 로드 를 선택 하고 현지 화 설 치 를 진행 합 니 다.
두 번 째 단계:impyla 라 이브 러 리 설치
저 는 현지 화 설치 방식 을 사용 하여 먼저 impyla 라 이브 러 리 의 whl 을 다운로드 합 니 다.다음 그림:

더욱 설치한다

pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl
알림:위의 절대 경 로 는 당신 의 상황 에 따라 정 해 집 니 다.
STEP 3:impyla 라 이브 러 리 사용 가능 여부 테스트

from impala.dbapi import connect #    Hive   
from impala.util import as_pandas #          pandas
실행 이 통과 되면 impala 를 이용 하여 Hive 설정 을 연결 하 는 데 성 공 했 음 을 표시 합 니 다.
간단 한 예제:
Hive 의 한 표 에서 100 개의 기록 을 읽 고 pandas 의 DataFrame 에 넣 습 니 다.
참조 코드:

from impala.dbapi import connect #    Hive   
from impala.util import as_pandas #          pandas

conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()
참고 자료
https://github.com/cloudera/impyla
이상 은 Win 10 시스템 에서 Python 3 를 사용 하여 Hive 를 연결 하 는 방법 에 대한 상세 한 내용 입 니 다.Python 3 연결 Hive 에 관 한 자 료 는 다른 관련 글 을 주목 하 십시오!

좋은 웹페이지 즐겨찾기