HiveServer2 does not return ResultSets in UTF-8 encoding HiveServer2 JDBC에서 UTF8 부호를 표시하는 문제 해결

1055 단어
add following env variables in Hive startup script ($HIVE_HOME/bin/hive):
export LANG=en_US.UTF-8
export HADOOP_OPTS="$HADOOP_OPTS -Dfile.encoding=UTF-8"

MapR cluster:/opt/mapr/hive/hive-0.11/bin/hive
Cloudera cluster:/opt/cloudera/parcels/CDH/lib/hive/bin/hive
other Hadoop distribution:/usr/lib/hive/bin/hive (maybe...)
make sure, your data in HDFS are encoded in UTF-8, if not, you should set LANG variable and file.encoding in HADOOP_OPTS as same as the encoding you used for the files in HDFS.
우리가 Hive JDBC를 통해 데이터를 읽을 때, 만약에 비ascii 문자, 예를 들어 중국어, CJK 등이 있다면, 기본적으로 정확하게 읽을 수 없을 수도 있습니다. 코드가 엉망이거나 물음표일 수도 있습니다...
하이브의 시작 스크립트에 위의 두 환경 변수를 추가하여 해결할 수 있습니다. 서로 다른hadoop 버전의hive 시작 스크립트의 위치가 다르고 위에도 열거되어 있습니다.
사실 중점은 HDFS에 저장된 파일 인코딩은 Hive,hiveserver2,sqoop 같은 서비스를 시작하는 환경 변수와 같아서 시작 스크립트에서 LANG를 설정하고 HADOOP_OPTS에서 파일을 지정합니다.인코딩 해결.
hdfs에 저장된 파일이 UTF8이라면 이렇게 설정합니다. GBK 같은 경우
export LANG="zh_CN.GBK"
export HADOOP_OPTS="$HADOOP_OPTS -Dfile.encoding=GBK"

좋은 웹페이지 즐겨찾기