gpt-4-0314· openai
Suzhen/CodeChat
我想利用python 爬虫豆瓣电影top200,代码怎么写
- User
我想利用python 爬虫豆瓣电影top200,代码怎么写
- Assistant
要使用Python爬取豆瓣电影Top200,可以使用
requests库获取网页源代码,然后使用BeautifulSoup库进行解析。以下是一个简单的例子,展示了如何爬取豆瓣电影Top200并提取相关信息。注意:本示例仅用于学习和研究目的,请尊重豆瓣的版权和网络爬虫规定。首先,需要安装
requests和beautifulsoup4库:pip install requests beautifulsoup4然后,编写以下代码爬取豆瓣电影Top200:
import requests from bs4 import BeautifulSoup def get_movie_info(url): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') movie_list = soup.find_all('div', {'class': 'item'}) for movie in movie_list: rank = movie.find('em').text title = movie.find('img')['alt'] rating = movie.find('span', {'class': 'rating_num'}).text print(f'排名:{rank} - 电影名:{title} - 评分:{rating}') if __name__ == "__main__": base_url = "https://movie.douban.com/top250?start=" movie_count = 0 while movie_count < 200: url = f"{base_url}{movie_count}" get_movie_info(url) movie_count += 25这个代码会爬取豆瓣电影Top250的前200部,并输出每部电影的排名、标题和评分。开始前,确保安装了所需的库并保持网络畅通。
当然,这个示例只是一个基本的网络爬虫。你还可以对其进行扩展,例如提取更多信息、对结果进行排序和筛选,甚至将数据存储到CSV文件或数据库中。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.