Spark_SQL 데이터 읽기 방법

json 파일에서 데이터 읽기
json 파일 내용 예

{"id":1, "name":"leo", "age":18}
{"id":2, "name":"jack", "age":19}
{"id":3, "name":"marry", "age":17}

json 파일에서 읽기

    SparkSession spark = SparkSession.builder()
    .appName("QSH")
    .master("local[*]")
    .config("spark.some.config.option", "some-value").getOrCreate();

    Dataset df = spark.read().json("D:\\Study_Space\\SparkSQLTest\\json\\student.json");

    df.show();

MySQL 데이터베이스에서 데이터 읽기
MySQL 데이터베이스에서 읽기

        SparkConf sc = new SparkConf().setAppName("QSH").setMaster("local");
        SparkContext sparkContext = new SparkContext(sc);
        SQLContext sqlContext = new SQLContext(sparkContext);

        String url = "jdbc:mysql://localhost:3306/qsh";
        String table_Name = "tb_student";

        Properties prop = new Properties();
        prop.put("username", "root");
        prop.put("password", "");
        prop.put("driver", "com.mysql.jdbc.Driver");


        Dataset ds = sqlContext.read().jdbc(url, table_Name, prop);

        ds.show();

출력 효과

+------+-----+-----+
|stu_ID|class|score|
+------+-----+-----+
|     1|    A|   20|
|     2|    A|   30|
|     3|    A|   70|
|     4|    B|   60|
|     5|    B|   70|
|     6|    B|   80|
+------+-----+-----+

읽은 데이터 유형은 모두 Dataset