Spark 브로드캐스트 변수 사용
1134 단어 Spark
//landscape_zb ：mutable.HashMap[String, ArrayBuffer[Any]]
// landscape (new_key,(ls_id, lat, lon)), ArrayBuffer lat, lon
var bc_landscape_zb = sc.broadcast(landscape_zb)
val bc_landscape_new =
no_home_new_key.mapPartitions({
iter =>
var bc_landscape = bc_landscape_zb.value
for {
it //it is (new_key,(phone_no,travel_time,lat,lon))
if (bc_landscape.contains(it._1))
} yield (it._2._1, it._2._2, it._2._3, bc_landscape.get(it._1).get)
// (phone_no, travel_time, ls_id, (Double, Double), (Double, Double))
})이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Spark Streaming의 통계 소켓 단어 수1. socket 단어 수 통계 TCP 소켓의 데이터 서버에서 수신한 텍스트 데이터의 단어 수입니다. 2. maven 설정 3. 프로그래밍 코드 입력 내용 결과 내보내기...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
