根据历史数据中所有用户对电影的评分,周期性的计算每个电影的平均得分。通过Spark…
- User
根据历史数据中所有用户对电影的评分,周期性的计算每个电影的平均得分。通过Spark SQL读取保存在MongoDB中的Rating数据集,通过SQL语句实现对于电影的平均分统计,然后保存在MongoDB的AverageMovies数据集中。对上述内容进行修改调整
- Assistant
- 在Spark中读取MongoDB中的Rating数据集
可以使用MongoDB的Spark Connector来实现对MongoDB数据集的读取。首先需要在Spark中引入Connector的依赖包,然后创建一个SparkSession对象并设置相关MongoDB的参数配置,最后通过SparkSession对象来读取Rating数据集。
示例代码如下:
import org.apache.spark.sql.SparkSession import com.mongodb.spark._ val spark = SparkSession.builder() .master("local") .appName("Read MongoDB data") .config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.Rating") .config("spark.mongodb.output.uri", "mongodb://localhost:27017/test.AverageMovies") .getOrCreate() val ratingDF = MongoSpark.load(spark) ratingDF.show()上述代码中通过设置
spark.mongodb.input.uri来指定要读取的Rating数据集的URI,spark.mongodb.output.uri指定了要保存到的数据集的URI。使用MongoSpark.load()方法读取数据集并将其转换成DataFrame对象,最后使用show()方法展示数据。- 通过Spark SQL实现对电影平均分的计算
可以使用Spark SQL来处理DataFrame对象中的数据,并且可以直接使用SQL语句来完成统计。首先需要将DataFrame对象注册成一张表,然后就可以使用SQL语句来查询并计算电影平均分。
示例代码如下:
import org.apache.spark.sql.functions._ ratingDF.createOrReplaceTempView("rating") val resultDF = spark.sql("SELECT movieId, AVG(rating) AS avgRating FROM rating GROUP BY movieId") resultDF.show()上述代码中,首先使用
createOrReplaceTempView()方法将DataFrame对象注册成一张名为rating的表。然后使用SQL语句查询电影的平均分,并通过GROUP BY关键字按照movieId字段进行分组计算。最终结果保存在名为resultDF的DataFrame对象中,并使用show()方法展示结果。- 将结果保存到MongoDB中
使用MongoDB的Spark Connector可以方便地将计算结果保存到MongoDB中。首先需要将保存数据集的URI配置好,然后使用
MongoSpark.save()方法将计算结果保存至MongoDB中。示例代码如下:
MongoSpark.save(resultDF.write.option("collection", "AverageMovies").mode("overwrite"))上述代码中,使用
write.option()方法指定保存的数据集名称,然后使用mode()方法指定保存模式,最后使用MongoSpark.save()方法将DataFrame对象写入MongoDB中。