json 형식 파일 을 불 러 오 는 방법

머리말
많은 로 그 는 json 형식 으로 로 그 를 기록 하기 때문에 hive 가 표를 읽 을 때 json 형식 을 해석 할 수 있어 야 합 니 다.
1. 필요 한 jar 패 키 지 를 다운로드 하고 테스트 파일 을 준비 합 니 다.
Maven 의 공식 창고 로 가서 검색 하 세 요. hive - hcatalog - core, 그리고 자신의 hive 버 전의 jar 를 찾 아 다운로드 합 니 다.
여기 서 우리 가 다운로드 하고 / opt / exlib / hiv - hacalk - core. jar 에 넣는다 고 가정 합 니 다.
hdfs 임의의 디 렉 터 리 에 파일 을 만 들 고 테스트 합 니 다 (hdfs 아래 에 있 는 / tmp / json 1 / jsontest. txt 를 가정 합 니 다). 파일 내용 은 다음 과 같 습 니 다.
{"a":"tom","b":22222}
{"a":"jack","b":33333}
2. 테이블 을 만 드 는 문장
hiv 진입
우선 실행:
add jar /opt/exlib/hive-hcatalog-core.jar;
그리고 표를 만 들 수 있 습 니 다. 문 구 는 다음 과 같 습 니 다.CREATE   TABLE   my_table(a string, b  bigint , ...) ROW FORMAT SERDE  'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION '/tmp/json1';
그리고 select * from my 를 사용 할 수 있 습 니 다.table 에서 데 이 터 를 볼 수 있 습 니 다.
3. hiv 나 spark - sql 에 들 어 갈 때마다 add jar 문 제 를 해결 합 니 다.
문 제 는 해결 되 었 지만, 검색 sql 을 입력 하기 전에 jar 를 한 번 씩 추가 하 는 것 이 번 거 롭 습 니 다. 따라서 이 문 제 를 해결 해 야 합 니 다. 방법 은 다음 과 같 습 니 다.
Spark-sql:
/ opt / spark / conf 에 다음 설정 을 추가 합 니 다:
 export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/exlib/hive-hcatalog-core-1.1.0-cdh5.5.0.jar
그리고 spark - sql 에서 sql 조 회 를 직접 사용 할 수 있 습 니 다. (jdbc 연결 조 회 를 사용 하면 spark / sbin / start - triftserver. sh 를 다시 시작 하 십시오. 그렇지 않 으 면 새로 추 가 된 jar 패키지 가 읽 히 지 않 으 면 오류 가 발생 합 니 다)
Hive:
hive - site. xml 에 다음 설정 을 추가 합 니 다.
    hive.aux.jars.path
   file:///opt/exlib/hive-hcatalog-core.jar
이렇게 하면 됩 니 다. (인증 되 지 않 았 습 니 다. spark - sql 을 직접 사용 하기 때 문 입 니 다)