spark core程序会比spark sql效率更好么

答案:2 悬赏:80 手机版

解决时间 2021-03-04 13:26

提问者网友：战皆罪
2021-03-04 02:33

最佳答案

五星知识达人网友：拜訪者
2021-03-04 03:34

我不会~~~但还是要微笑~~~：）

全部回答

1楼网友：白昼之月
2021-03-04 04:18

json File 日期类型怎样处理？怎样从字符型，转换为Date或DateTime类型？ json文件如下，有字符格式的日期类型 ``` { "name" : "Andy", "age" : 30, "time" :"2015-03-03T08:25:55.769Z"} { "name" : "Justin", "age" : 19, "time" : "2015-04-04T08:25:55.769Z" } { "name" : "pan", "age" : 49, "time" : "2015-05-05T08:25:55.769Z" } { "name" : "penny", "age" : 29, "time" : "2015-05-05T08:25:55.769Z" } ``` 默认推测的Schema： ``` root |-- _corrupt_record: string (nullable = true) |-- age: long (nullable = true) |-- name: string (nullable = true) |-- time200: string (nullable = true) ``` 测试代码 ``` val fileName = "person.json" val sc = SparkUtils.getScLocal("json file 测试") val sqlContext = new org.apache.spark.sql.SQLContext(sc) val jsonFile = sqlContext.read.json(fileName) jsonFile.printSchema()

我要举报

如以上问答信息为低俗、色情、不良、暴力、侵权、涉及违法等信息，可以点下面链接进行举报！