Skip to content
The Chat Archive
gpt-4-0314· OpenAI WildChat-4.8M (AI2)

напиши парсер на питоне который ищет товар на сайте rozetka парсер запрашивает url и…

  1. User

    напиши парсер на питоне который ищет товар на сайте rozetka парсер запрашивает url и количество страниц и выдает файл excel с названием ценой и кодом товара. код товара берётся из url пример https://rozetka.com.ua/playstation_5/p223588825/ число после p и есть код товара парсер должен удалять дубли по коду товара парсер должен уметь переходить по страницам

  2. Assistant

    Чтобы создать парсер, который выполняет указанные действия, сначала установите необходимые библиотеки:

    pip install requests
    pip install beautifulsoup4
    pip install openpyxl
    

    Теперь вы можете использовать следующий код для создания парсера на Python:

    import requests
    from bs4 import BeautifulSoup
    import openpyxl
    from openpyxl import Workbook
    
    # функция для получения информации о товаре
    def get_product_info(product_url):
        response = requests.get(product_url)
        soup = BeautifulSoup(response.text, 'html.parser')
        name = soup.find('h1', class_='product-name').text.strip()
        price = soup.find('div', class_='product-price').text.strip()
        product_id = product_url.split('/')[-2].split('p')[-1]
    
        return {
            'name': name,
            'price': price,
            'id': product_id
        }
    
    # функция, которая возвращает все url страницы по номеру страницы
    def get_page_urls(base_url, page_number):
        page_url = f"{base_url}?page={page_number}"
        response = requests.get(page_url)
        soup = BeautifulSoup(response.text, 'html.parser')
        products = soup.find_all('a', class_='goods-tile__heading')
        return [product['href'] for product in products]
    
    # основная часть программы
    if __name__ == '__main__':
        base_url = input('Enter base URL: ')
        pages_number = int(input('Enter number of pages: '))
    
        products_details = []
        product_ids = set()
    
        for page in range(1, pages_number + 1):
            print(f"Parsing page {page}...")
            product_urls = get_page_urls(base_url, page)
    
            for product_url in product_urls:
                product_id = product_url.split('/')[-2].split('p')[-1]
    
                if product_id not in product_ids:
                    product_details = get_product_info(product_url)
                    products_details.append(product_details)
                    product_ids.add(product_id)
    
        # Сохранение результатов в файл Excel
        wb = Workbook()
        ws = wb.active
        ws.title = "Products"
        ws.append(['ID', 'Name', 'Price'])
    
        for product in products_details:
            ws.append([product['id'], product['name'], product['price']])
    
        wb.save('products.xlsx')
        print("Products saved in 'products.xlsx'.")
    

    Запустите скрипт и следуйте инструкциям для ввода основного URL-адреса и количества страниц. Скрипт автоматически проведет парсинг указанных страниц и сохранит данные о товарах с уникальными кодами товара в файле "products.xlsx".