spark 노트(1)-Spark Context 와 자바 Spark Context 가 서로 전환 합 니 다.

1098 단어 spark자바SparkContext
질문 
       spark 2.0 에서 공식 추천 Spark 의 모든 기능 의 입구 점 은SparkSession류 로 자바 개발 자 에 게 는 SparkSession 에서 자바 Spark Context 를 얻 기 가 쉽 지 않다.
 
  2.0 이전 자바 스파크 Context 작성 방법:
SparkConf sparkConf = new SparkConf().setAppName("spark").setMaster("local[*]");
JavaSparkContext sc = new JavaSparkContext(sparkConf);

   2.0 버 전 이후 추천 쓰 는 방법:
SparkSession spark = SparkSession
      .builder()
      .appName("Java Spark SQL basic example")
      .config("spark.some.config.option", "some-value")
      .getOrCreate();
  •   해결 방법
    •    
    SparkSession spark = SparkSession
      .builder()
      .appName("Java Spark SQL basic example")
      .config("spark.some.config.option", "some-value")
      .getOrCreate();

// sparkContext   JavaSparkContext 
JavaSparkContext sc = JavaSparkContext.fromSparkContext(spark.sparkContext());

// JavaSparkContext   SparkContext 
SparkContext sparkContext = JavaSparkContext.toSparkContext(sc);

     
    win 7 에서 ANT 로 오류 발생(error=740)
    자바 조작 쿠키

    좋은 웹페이지 즐겨찾기

    개발자 우수 사이트 수집

    개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
    best100-homepage