IDEA+SPARK 로컬 위조 분산 개발 로그 튜닝

912 단어 SparkInBeiJing

IDEA + SPARK 로컬 위분포식 개발 로그 테스트: 윈도우즈 로컬 IDEA 환경에서 위분포식 개발 spark 프로그램을 개발하고 spark 프레임워크가 실행하는 로그를 관찰합니다.
 
 
개발 코드:
 
 
object SparkShell {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.ALL)
    val conf = new SparkConf() //  SparkConf  
    conf.setAppName("Wow,My First Spark App!") //         ,                
    conf.setMaster("local-cluster[1, 1, 1024]")
    conf.setSparkHome(System.getenv("SPARK_HOME"))
    val sc = new SparkContext(conf) //  SparkContext  ,    SparkConf     Spark            
    sc.parallelize("100").count()
    sc.stop()


  }
}

 
 
spark 위조 분포식 설정
 
class LocalSparkCluster(
    numWorkers: Int,
    coresPerWorker: Int,
    memoryPerWorker: Int,
    conf: SparkConf)
  extends Logging {

실행 오류:

좋은 웹페이지 즐겨찾기