IDEA+SPARK 로컬 위조 분산 개발 로그 튜닝
912 단어 SparkInBeiJing
IDEA + SPARK 로컬 위분포식 개발 로그 테스트: 윈도우즈 로컬 IDEA 환경에서 위분포식 개발 spark 프로그램을 개발하고 spark 프레임워크가 실행하는 로그를 관찰합니다.
개발 코드:
object SparkShell {
def main(args: Array[String]): Unit = {
Logger.getLogger("org").setLevel(Level.ALL)
val conf = new SparkConf() // SparkConf
conf.setAppName("Wow,My First Spark App!") // ,
conf.setMaster("local-cluster[1, 1, 1024]")
conf.setSparkHome(System.getenv("SPARK_HOME"))
val sc = new SparkContext(conf) // SparkContext , SparkConf Spark
sc.parallelize("100").count()
sc.stop()
}
}
spark 위조 분포식 설정
class LocalSparkCluster(
numWorkers: Int,
coresPerWorker: Int,
memoryPerWorker: Int,
conf: SparkConf)
extends Logging {
실행 오류: