livy 원 격 으로 spark 작업 제출
2385 단어 빅 데이터
1. 리 비 설치
다운로드 주소:http://livy.io/quickstart.html
다운로드 후 압축 을 풀 면 실행 할 수 있 습 니 다.
2. 환경 변수 설정
export SPARK_HOME=/usr/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf3. （ ， ） # What host address to start the server on. By default, Livy will bind to all network interfaces. （ ）
livy.server.host = 0.0.0.0
# What port to start the server on.（ ）
livy.server.port = 8998# Time in milliseconds on how long Livy will wait before timing out an idle session.（ ， session ， kill ）
livy.server.session.timeout = 1h4. livy 서비스 시작
./bin/livy-server 5. REST Api (이하 url 은 모두 host: port 로 시작 하고 기본 값 은 localhost: 8998)
1）GET /sessions
Returns all the active interactive sessions. session
2)POST /sessions 클 러 스 터 에 새로운 interative Scala, Python 또는 R 셸 을 만 듭 니 다. session 을 만 듭 니 다. 즉, 셸 을 새로 여 는 것 입 니 다.
Request Body
name
description
type
kind
The session kind (required)
session kind
proxyUser
User to impersonate when starting the session
string
conf
Spark configuration properties
Map of key=val
3) GET / sessions / {sessionId} Returns the session information. 해당 session 의 정 보 를 되 돌려 줍 니 다.
4）DELETE /sessions/{sessionId}
Kills the Session job.
5) GET /sessions/{sessionId}/statements
session 의 모든 statement 정 보 를 되 돌려 줍 니 다.
6）POST /sessions/{sessionId}/statements
세 션 에서 statement 을 실행 합 니 다. 문 구 를 제출 하고 실행 합 니 다.
7) GET /sessions/{sessionId}/statements/{statementId}
해당 statement 정보 가 져 오기
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
spark 의 2: 원리 소개Google Map/Reduce 를 바탕 으로 이 루어 진 Hadoop 은 개발 자 에 게 map, reduce 원 어 를 제공 하여 병렬 일괄 처리 프로그램 을 매우 간단 하고 아름 답 게 만 들 었 습 니 다.S...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
