Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· OpenAIAi2 WildChat-4.8M (AI2)

根据历史数据中所有用户对电影的评分,周期性的计算每个电影的平均得分。通过Spark…

  1. User

    根据历史数据中所有用户对电影的评分,周期性的计算每个电影的平均得分。通过Spark SQL读取保存在MongoDB中的Rating数据集,通过SQL语句实现对于电影的平均分统计,然后保存在MongoDB的AverageMovies数据集中。对上述内容进行修改调整

  2. Assistant
    1. 在Spark中读取MongoDB中的Rating数据集

    可以使用MongoDB的Spark Connector来实现对MongoDB数据集的读取。首先需要在Spark中引入Connector的依赖包,然后创建一个SparkSession对象并设置相关MongoDB的参数配置,最后通过SparkSession对象来读取Rating数据集。

    示例代码如下:

    import org.apache.spark.sql.SparkSession
    import com.mongodb.spark._
    
    val spark = SparkSession.builder()
      .master("local")
      .appName("Read MongoDB data")
      .config("spark.mongodb.input.uri", "mongodb://localhost:27017/test.Rating")
      .config("spark.mongodb.output.uri", "mongodb://localhost:27017/test.AverageMovies")
      .getOrCreate()
    
    val ratingDF = MongoSpark.load(spark)
    ratingDF.show()
    

    上述代码中通过设置spark.mongodb.input.uri来指定要读取的Rating数据集的URI,spark.mongodb.output.uri指定了要保存到的数据集的URI。使用MongoSpark.load()方法读取数据集并将其转换成DataFrame对象,最后使用show()方法展示数据。

    1. 通过Spark SQL实现对电影平均分的计算

    可以使用Spark SQL来处理DataFrame对象中的数据,并且可以直接使用SQL语句来完成统计。首先需要将DataFrame对象注册成一张表,然后就可以使用SQL语句来查询并计算电影平均分。

    示例代码如下:

    import org.apache.spark.sql.functions._
    
    ratingDF.createOrReplaceTempView("rating")
    
    val resultDF = spark.sql("SELECT movieId, AVG(rating) AS avgRating FROM rating GROUP BY movieId")
    resultDF.show()
    

    上述代码中,首先使用createOrReplaceTempView()方法将DataFrame对象注册成一张名为rating的表。然后使用SQL语句查询电影的平均分,并通过GROUP BY关键字按照movieId字段进行分组计算。最终结果保存在名为resultDF的DataFrame对象中,并使用show()方法展示结果。

    1. 将结果保存到MongoDB中

    使用MongoDB的Spark Connector可以方便地将计算结果保存到MongoDB中。首先需要将保存数据集的URI配置好,然后使用MongoSpark.save()方法将计算结果保存至MongoDB中。

    示例代码如下:

    MongoSpark.save(resultDF.write.option("collection", "AverageMovies").mode("overwrite"))
    

    上述代码中,使用write.option()方法指定保存的数据集名称,然后使用mode()方法指定保存模式,最后使用MongoSpark.save()方法将DataFrame对象写入MongoDB中。