Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· openaiHugging Face Suzhen/CodeChat

我想利用python 爬虫豆瓣电影top200,代码怎么写

  1. User

    我想利用python 爬虫豆瓣电影top200,代码怎么写

  2. Assistant

    要使用Python爬取豆瓣电影Top200,可以使用requests库获取网页源代码,然后使用BeautifulSoup库进行解析。以下是一个简单的例子,展示了如何爬取豆瓣电影Top200并提取相关信息。注意:本示例仅用于学习和研究目的,请尊重豆瓣的版权和网络爬虫规定。

    首先,需要安装requests和beautifulsoup4库:

    pip install requests beautifulsoup4
    

    然后,编写以下代码爬取豆瓣电影Top200:

    import requests
    from bs4 import BeautifulSoup
    
    def get_movie_info(url):
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
        response = requests.get(url, headers=headers)
        soup = BeautifulSoup(response.text, 'html.parser')
        movie_list = soup.find_all('div', {'class': 'item'})
        for movie in movie_list:
            rank = movie.find('em').text
            title = movie.find('img')['alt']
            rating = movie.find('span', {'class': 'rating_num'}).text
            print(f'排名:{rank} - 电影名:{title} - 评分:{rating}')
    
    if __name__ == "__main__":
        base_url = "https://movie.douban.com/top250?start="
        movie_count = 0
        while movie_count < 200:
            url = f"{base_url}{movie_count}"
            get_movie_info(url)
            movie_count += 25
    

    这个代码会爬取豆瓣电影Top250的前200部,并输出每部电影的排名、标题和评分。开始前,确保安装了所需的库并保持网络畅通。

    当然,这个示例只是一个基本的网络爬虫。你还可以对其进行扩展,例如提取更多信息、对结果进行排序和筛选,甚至将数据存储到CSV文件或数据库中。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.