Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· openaiHugging Face Suzhen/CodeChat

根据历史数据中所有用户对电影的评分,周期性的计算每个电影的平均得分。通过Spark…

  1. User

    根据历史数据中所有用户对电影的评分,周期性的计算每个电影的平均得分。通过Spark SQL读取保存在MongoDB中的Rating数据集,通过SQL语句实现对于电影的平均分统计,然后保存在MongoDB的AverageMovies数据集中。对上述内容进行总结修改调整

  2. Assistant
    1. 问题描述:

    根据用户对电影的评分,需要计算每个电影的平均得分。使用Spark SQL从MongoDB中读取Rating数据集,并使用SQL语句进行平均分统计。最后,将结果保存到MongoDB中的AverageMovies数据集中。

    1. 解决方案:

    a. 读取数据集:使用Spark SQL连接MongoDB,读取数据集。可以使用MongoDB Connector for Spark,它是一个官方支持的Spark组件。

    b. SQL查询:使用Spark SQL的API执行SQL查询,通过用户评分计算每个电影的平均得分。 这可以通过使用 group by 和 aggregate 进行实现。

    c. 保存数据集:将结果保存到MongoDB中的AverageMovies数据集中。可以使用MongoDB Connector for Spark提供的API。

    1. 代码实现:

    a. 读取数据集:

    val readConfig = ReadConfig(Map( "uri" -> "mongodb://127.0.0.1:27017/movielens.ratings"))
    val ratings = spark.read.mongoDB(readConfig).as[Rating]
    

    b. SQL查询:

    val avg_ratings=ratings.groupBy("movieID").agg(avg("rating") as "avg_rating")
    

    c. 保存数据集:

    val writeConfig = WriteConfig(Map( "uri" -> "mongodb://127.0.0.1:27017/movielens.averageMovies"))
    avg_ratings.write.mongoDB(writeConfig)
    
    1. 总结:

    利用Spark SQL和MongoDB Connector for Spark,可以轻松地读取和处理MongoDB中的数据集。 使用SQL语句,可以统计每个电影的平均得分。 最后,使用MongoDB Connector for Spark提供的API将结果保存到MongoDB中。