Spark Sql 튜 토리 얼 (1) - sparkSession 만 들 기

868 단어
sparkSession 대상 은 사용자 에 게 dataframe 대상 을 만 들 고 외부 데이터 원본 을 읽 으 며 dataframe 대상 으로 전환 하고 sql 을 실행 하 는 api 를 제공 할 뿐만 아니 라 사용자 가 spark 클 러 스 터 에서 어떻게 실행 하 기 를 원 하 는 제어 디 버 깅 파 라 메 터 를 기록 하 는 것 을 부담 합 니 다. sparksql 의 상하 문 환경 이 고 실행 을 바탕 으로 sparkSession 을 만 드 는 것 입 니 다.
package sparksql

import org.apache.spark.sql.SparkSession

object SparkSqltest1 {

  def main(args: Array[String]): Unit = {
    //  sparksession
    val   sparkSession=SparkSession.builder().appName("test1").master("local[*]")getOrCreate()
    import  sparkSession.implicits._
    //      dataframe
    val   df=sparkSession.read.json("hdfs://192.168.1.181:9000/json/data.json")
    df.show()
    sparkSession.stop()

  }
}

실행 결 과 는:
+---+--------+
|age|    name|
+---+--------+
|  1|zhangsan|
|  2|    lisi|
+---+--------+
자바 매 거 진 형식의 사용
갤럭시에 도구를 설치하고 공개하기 전의 절차

좋은 웹페이지 즐겨찾기

개발자 우수 사이트 수집

개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
best100-homepage