Spark 인구 평균 연령 통계
9253 단어 빅 데이터
1 89 2 67 3 69 4 78
// GeneratePeopleAge.scala
import java.io.FileWriter
import java.io.File
import scala.util.Random
object GeneratePeopleAge{
def main(args:Array[String]){
val fileWriter = new FileWriter(new File("/usr/local/spark/mycode/exercise/peopleage/peopleage.txt"),false)
val rand = new Random()
for (i <- 1 to 1000){//
fileWriter.write(i+" "+rand.nextInt(100))
fileWriter.write(System.getProperty("line.separator"))
}
fileWriter.flush()
fileWriter.close()
}
}
(2) Spark 프로그램 을 작성 하여 로 컬 파일 시스템 의 데이터 파일 peopleage. txt 의 데 이 터 를 처리 하여 모든 인구 의 평균 연령 을 계산 하 십시오.
//CountAvgAge.scala
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object CountAvgAge{
def main(args:Array[String]){
if (args.length<1){
println("Usage: CountAvgAge inputdatafile")
System.exit(1)
}
val conf = new SparkConf().setAppName("Count Average Age")
val sc = new SparkContext(conf)
val lines = sc.textFile(args(0),3)
val count = lines.count()
val totalAge = lines.map(line=>line.split(" ")(1)).map(t=>t.trim.toInt).collect().reduce((a,b)=>a+b)
println("Total Age is: "+totalAge+"; Number of People is:"+count)
val avgAge : Double = totalAge.toDouble / count.toDouble
println("Average Age is:"+avgAge)
}
}
참조 링크:http://dblab.xmu.edu.cn/blog/1756-2/
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
spark 의 2: 원리 소개Google Map/Reduce 를 바탕 으로 이 루어 진 Hadoop 은 개발 자 에 게 map, reduce 원 어 를 제공 하여 병렬 일괄 처리 프로그램 을 매우 간단 하고 아름 답 게 만 들 었 습 니 다.S...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
