Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· openaiHugging Face Suzhen/CodeChat

帮我写一个爬虫程序,根据我提供的规范的名称,爬取https://openstd.samr.gov.cn/bzgk/gb/index网站上的该规范所对应的规范标号,发布单位,发布日…

  1. User
  2. Assistant

    是的,我明白了。这是一个爬取网页数据的任务,需要使用Python语言编写爬虫程序。对于将规范名称转换为规范标号的部分,需要利用网站的搜索功能来实现。

    以下是一个简单的Python爬虫程序,它可以根据规范名称自动搜索并提取相应规范的标号、发布单位、发布日期和实施日期信息,以表格的形式输出。

    import requests
    from bs4 import BeautifulSoup
    import pandas as pd
    
    # 规范名称
    spec_name = '规范名称'
    
    # 搜索规范
    search_url = f"https://openstd.samr.gov.cn/bzgk/gb/search?searchFlag=standard&drafts=&notice=&pubDate=&sortOrder=asc&pageSize=10&searchField=fullText&lang=cn&selected="
    search_params = {
      "p": "1",
      "pageSize": "10",
      "fullText": spec_name
    }
    search_result = requests.get(search_url, search_params)
    
    # 提取规范信息
    soup = BeautifulSoup(search_result.text, "html.parser")
    standard_list = soup.find_all("div", class_="standard_div")
    spec_info = {}
    for standard in standard_list:
      standard_detail = standard.find("div", class_="standard_detail")
      a_tag = standard_detail.a
      code = a_tag.text.strip()
      href = a_tag.get("href")
      pub_date = standard_detail.find_all("span")[0].text.strip()
      imp_date = standard_detail.find_all("span")[1].text.strip()
      pub_unit = standard_detail.find_all("span")[2].text.strip()
      
      spec_info[code] = [pub_unit, pub_date, imp_date]
    
    # 输出表格
    df = pd.DataFrame.from_dict(spec_info, orient="index", columns=["发布单位", "发布日期", "实施日期"])
    print(df)
    

    在程序中,首先定义了规范名称,即spec_name变量。然后,使用该名称向网站发送搜索请求,并使用BeautifulSoup库对搜索结果进行解析。通过查找html元素中的标签和class,可以提取出规范标号、发布单位、发布日期和实施日期信息。将这些信息存储在字典spec_info中,其中字典的键为规范标号,值为一个列表,包含发布单位、发布日期和实施日期。

    最后,使用pandas库将字典转换为DataFrame,并输出表格。表格的列包括规范标号、发布单位、发布日期和实施日期。

    需要注意的是,该程序仅为示例,实际爬取时需要注意网站的反爬机制,并进行适当的处理,如使用代理IP、限制爬虫请求频率等。同时,在使用爬虫时需要遵守网站的Robots协议和相关法律法规。

  3. User

    把以上输出表格另存为一个excel 文件

  4. Assistant

    非常好,可以使用pandas库的to_excel方法将数据存储到Excel文件中。可以按如下方式修改代码:

    import requests
    from bs4 import BeautifulSoup
    import pandas as pd
    
    # 规范名称
    spec_name = '规范名称'
    
    # 搜索规范
    search_url = f"https://openstd.samr.gov.cn/bzgk/gb/search?searchFlag=standard&drafts=&notice=&pubDate=&sortOrder=asc&pageSize=10&searchField=fullText&lang=cn&selected="
    search_params = {
      "p": "1",
      "pageSize": "10",
      "fullText": spec_name
    }
    search_result = requests.get(search_url, search_params)
    
    # 提取规范信息
    soup = BeautifulSoup(search_result.text, "html.parser")
    standard_list = soup.find_all("div", class_="standard_div")
    spec_info = {}
    for standard in standard_list:
      standard_detail = standard.find("div", class_="standard_detail")
      a_tag = standard_detail.a
      code = a_tag.text.strip()
      href = a_tag.get("href")
      pub_date = standard_detail.find_all("span")[0].text.strip()
      imp_date = standard_detail.find_all("span")[1].text.strip()
      pub_unit = standard_detail.find_all("span")[2].text.strip()
      
      spec_info[code] = [pub_unit, pub_date, imp_date]
    
    # 保存为Excel文件
    df = pd.DataFrame.from_dict(spec_info, orient="index", columns=["发布单位", "发布日期", "实施日期"])
    df.to_excel("spec_info.xlsx", index_label="规范标号")  # 将DataFrame保存为Excel文件
    

    在上述代码中,我们对程序进行了一些修改以读取和存储数据。最后使用to_excel方法将数据保存到Excel文件中,Excel文件的名称为spec_info.xlsx。index_label参数用于设置Excel文件中数据表的索引名称,这里设置为"规范标号"。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.