【Spark】sparksql 에서 사용자 정의 함 수 를 사용 합 니 다.
1316 단어 Spark
import org.apache.spark.sql.types.StringType
import org.apache.spark.sql.{DataFrame, SparkSession}
object SparkSQLFunction {
def main(args: Array[String]): Unit = {
//1. SparkSession
val sparkSession: SparkSession = SparkSession
.builder()
.appName("SparkSQLFunction")
.master("local[2]")
.getOrCreate()
//2. DataFrame
val dataFrame: DataFrame = sparkSession.read.text("E:\\BigData\\kkb\\ \\spark_day05\\ \\test_udf_data.txt")
//3.
dataFrame.createTempView("t_udf")
//4. udf register , udf ; register : udf , , ( )
sparkSession.udf.register("low2Up",new UDF1[String, String] {
override def call(t1: String): String = {t1.toUpperCase}
},StringType)
//5. udf ( )
sparkSession.udf.register("up2Low",(x:String)=>x.toLowerCase)
//6. sparksql udf
sparkSession.sql("select value from t_udf").show()
sparkSession.sql("select low2Up(value) from t_udf").show()
sparkSession.sql("select up2Low(value) from t_udf").show()
//7.
sparkSession.stop()
}
}
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Spark Streaming의 통계 소켓 단어 수1. socket 단어 수 통계 TCP 소켓의 데이터 서버에서 수신한 텍스트 데이터의 단어 수입니다. 2. maven 설정 3. 프로그래밍 코드 입력 내용 결과 내보내기...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
