Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

Напиши Python скрипт который должен парсить сайты и высчитывать цену. Для этого он…

  1. User

    Напиши Python скрипт который должен парсить сайты и высчитывать цену. Для этого он должен: 0) Предоставить пользователю выполнить первичное ручное прохождение капчи Cloudflare на реалистичной симуляции браузера с сохранением данных, чтобы избежать повторных проверок. undetected_chromedriver.

    1. Получать список (объект) из страницы по ссылке https://avan.market/v1/api/users/catalog?app_id=appId&currency=2&page=1 где appId это номер приложения который должен указываться в константе-объекте в формате: {appName: name, appId: 123}.
    2. В списке (объекте) найти ключ "data" с массивом объектов и сохранить в переменную.
    3. В сохранённой переменной "data" найти значение ключей "id" и "full_name" и сохранить в переменную.
    4. В сохранённой переменной "data" найти значения ключа "sell_items" с массивом объектов и сохранить в переменную.
    5. Отсортировать массив объектов "sell_items" по ключу "sell_price" в порядке от меньшего к большему и сохранить наименьший "sell_price" в переменную.
    6. Получить страницу "https://steamcommunity.com/market/listings/appID/full_name" в которой нужно найти таблицу с классом "market_commodity_orders_table".
    7. В таблице "market_commodity_orders_table" получить значение цены в первой ячейки из второй строки и сохранить в переменную.
    8. Выполнить вычисление значения из таблицы "market_commodity_orders_table" по формуле: Значение-15%-35% и сохранить результат в переменную
    9. Если значение ключа "sell_price" меньше либо равно результату вычисления, то вывести в консоль и сформировать в json файл со следующими ссылками: "https://avan.market/ru/market/appName/id?currency=2" "https://steamcommunity.com/market/listings/appId/full_name"
    10. Повторять шаги для следующих страниц page до тех пор пока data не станет пустой.
    11. Подробно логировать каждое действие и переходы.
  2. Assistant

    Конечно! Ниже приведён подробный Python-скрипт, который выполняет описанные вами шаги. Скрипт использует undetected_chromedriver для обхода Cloudflare, selenium для управления браузером, requests для работы с API, и BeautifulSoup для парсинга HTML страниц. Также используется модуль logging для подробного логирования действий.

    Перед началом убедитесь, что у вас установлены необходимые библиотеки. Вы можете установить их с помощью pip:

    pip install undetected-chromedriver selenium requests beautifulsoup4
    

    Также убедитесь, что у вас установлен соответствующий драйвер для браузера Chrome. Скрипт undetected_chromedriver обычно сам управляет этим, но убедитесь, что версия Chrome и драйвера совместимы.

    Вот полный скрипт:

    import undetected_chromedriver as uc
    from selenium.webdriver.common.by import By
    import time
    import requests
    import json
    import logging
    from bs4 import BeautifulSoup
    
    # Настройка логирования
    logging.basicConfig(
        filename='parser.log',
        level=logging.INFO,
        format='%(asctime)s - %(levelname)s - %(message)s'
    )
    
    # Константы
    APPS = {
        'appName1': {'name': 'НазваниеПриложения1', 'appId': 12345},
        'appName2': {'name': 'НазваниеПриложения2', 'appId': 67890},
        # Добавьте другие приложения по необходимости
    }
    
    CURRENCY = 2  # Валюта
    OUTPUT_FILE = 'results.json'
    
    def initialize_browser():
        logging.info("Инициализация браузера с undetected_chromedriver.")
        options = uc.ChromeOptions()
        options.add_argument("--start-maximized")
        # Сохранение профиля для повторного использования куки
        options.add_argument("--user-data-dir=./user_data")
        driver = uc.Chrome(options=options)
        return driver
    
    def perform_captcha_handling(driver):
        logging.info("Пользователю необходимо пройти капчу Cloudflare вручную.")
        driver.get("https://avan.market/")
        logging.info("Ожидание завершения прохождения капчи.")
        # Ожидание, пока пользователь не нажмёт Enter в консоли
        input("После прохождения капчи нажмите Enter, чтобы продолжить...")
    
    def get_catalog(appId, currency, page, headers, cookies):
        url = f"https://avan.market/v1/api/users/catalog?app_id={appId}&currency={currency}&page={page}"
        logging.info(f"Запрос к API: {url}")
        response = requests.get(url, headers=headers, cookies=cookies)
        if response.status_code == 200:
            logging.info(f"Успешный ответ от API на странице {page}.")
            return response.json()
        else:
            logging.error(f"Ошибка при запросе API на странице {page}: {response.status_code}")
            return None
    
    def get_sell_price_from_steam(appId, full_name, headers):
        steam_url = f"https://steamcommunity.com/market/listings/{appId}/{full_name}"
        logging.info(f"Загрузка страницы Steam: {steam_url}")
        response = requests.get(steam_url, headers=headers)
        if response.status_code != 200:
            logging.error(f"Не удалось загрузить страницу Steam: {steam_url}")
            return None
    
        soup = BeautifulSoup(response.text, 'html.parser')
        table = soup.find('table', {'class': 'market_commodity_orders_table'})
        if not table:
            logging.error(f"Таблица 'market_commodity_orders_table' не найдена на странице: {steam_url}")
            return None
    
        # Предполагаем, что вторая строка и вторая ячейка содержит цену
        try:
            rows = table.find_all('tr')
            if len(rows) < 2:
                logging.error(f"Недостаточно строк в таблице на странице: {steam_url}")
                return None
            second_row = rows[1]
            cells = second_row.find_all('td')
            if len(cells) < 2:
                logging.error(f"Недостаточно ячеек во второй строке таблицы на странице: {steam_url}")
                return None
            price_str = cells[1].get_text().strip().replace(',', '.').replace('$', '').replace('€', '').replace('£', '')
            price = float(price_str)
            logging.info(f"Найдена цена в Steam: {price}")
            return price
        except Exception as e:
            logging.error(f"Ошибка при парсинге цены со страницы Steam: {e}")
            return None
    
    def calculate_price(value):
        min_price = value * 0.65  # Значение - 35%
        max_price = value * 0.85  # Значение - 15%
        logging.info(f"Вычисленные границы цены: минимум {min_price}, максимум {max_price}")
        return min_price, max_price
    
    def main():
        driver = initialize_browser()
        perform_captcha_handling(driver)
    
        # Получение куки из браузера для использования в requests
        cookies = driver.get_cookies()
        session_cookies = {cookie['name']: cookie['value'] for cookie in cookies}
    
        headers = {
            'User-Agent': driver.execute_script("return navigator.userAgent;")
        }
    
        results = []
    
        for app_key, app in APPS.items():
            appName = app['name']
            appId = app['appId']
            logging.info(f"Обработка приложения: {appName} (ID: {appId})")
            page = 1
            while True:
                catalog = get_catalog(appId, CURRENCY, page, headers, session_cookies)
                if not catalog or 'data' not in catalog or not catalog['data']:
                    logging.info(f"Данные отсутствуют на странице {page} для приложения {appName}. Завершение обработки этого приложения.")
                    break
    
                data = catalog['data']
                for item in data:
                    try:
                        item_id = item.get('id')
                        full_name = item.get('full_name')
                        sell_items = item.get('sell_items', [])
                        if not sell_items:
                            logging.info(f"Продажные товары отсутствуют для ID: {item_id}")
                            continue
    
                        # Сортировка sell_items по sell_price
                        sell_items_sorted = sorted(sell_items, key=lambda x: x.get('sell_price', float('inf')))
                        lowest_sell_price = sell_items_sorted[0].get('sell_price')
                        logging.info(f"Наименьшая цена продажи для ID {item_id}: {lowest_sell_price}")
    
                        # Получение цены из Steam
                        steam_sell_price = get_sell_price_from_steam(appId, full_name, headers)
                        if steam_sell_price is None:
                            continue
    
                        # Вычисление ценовых границ
                        min_price, max_price = calculate_price(steam_sell_price)
    
                        # Проверка условия
                        if lowest_sell_price <= max_price:
                            avan_link = f"https://avan.market/ru/market/{app_key}/{item_id}?currency={CURRENCY}"
                            steam_link = f"https://steamcommunity.com/market/listings/{appId}/{full_name}"
                            logging.info(f"Найдена подходящая цена для ID {item_id}. Ссылки сохранены.")
                            print(f"Avan: {avan_link}")
                            print(f"Steam: {steam_link}")
    
                            result = {
                                "avan_link": avan_link,
                                "steam_link": steam_link
                            }
                            results.append(result)
                    except Exception as e:
                        logging.error(f"Ошибка при обработке элемента: {e}")
                        continue
                page += 1
                time.sleep(2)  # Задержка между запросами
    
        # Сохранение результатов в JSON файл
        with open(OUTPUT_FILE, 'w', encoding='utf-8') as f:
            json.dump(results, f, ensure_ascii=False, indent=4)
        logging.info(f"Результаты сохранены в {OUTPUT_FILE}")
    
        driver.quit()
    
    if __name__ == "__main__":
        main()
    

    Детальное объяснение скрипта

    1. Импорт необходимых библиотек:

      • undetected_chromedriver и selenium для управления браузером и обхода антибот-защиты.
      • requests для выполнения HTTP-запросов к API.
      • BeautifulSoup для парсинга HTML страниц.
      • logging для логирования действий.
    2. Настройка логирования: Логируются все действия и ошибки в файл parser.log с временной меткой и уровнем важности.

    3. Константы:

      • APPS: Словарь с приложениями, где ключи — это уникальные имена приложений, а значения содержат name и appId.
      • CURRENCY: Валюта, используемая в API-запросах.
      • OUTPUT_FILE: Имя выходного JSON-файла с результатами.
    4. Функции:

      • initialize_browser(): Инициализирует браузер Chrome с undetected_chromedriver, используя сохранённый профиль для повторного использования куки и избежания повторных проверок.
      • perform_captcha_handling(driver): Открывает сайт и даёт пользователю время вручную пройти капчу. После прохождения капчи пользователь нажимает Enter в консоли для продолжения работы скрипта.
      • get_catalog(appId, currency, page, headers, cookies): Выполняет запрос к API для получения каталога товаров на указанной странице.
      • get_sell_price_from_steam(appId, full_name, headers): Загружает страницу товара в Steam и парсит цену из таблицы market_commodity_orders_table.
      • calculate_price(value): Вычисляет минимальную и максимальную цены на основе значения из Steam (15%-35% от значения).
    5. Основная логика (main):

      • Инициализирует браузер и выполняет прохождение капчи.
      • Извлекает куки из браузера для использования в последующих запросах requests.
      • Для каждого приложения из APPS:
        • Итеративно перебирает страницы каталога, пока данные присутствуют.
        • Для каждого элемента в data:
          • Извлекает id, full_name и sell_items.
          • Сортирует sell_items по sell_price и берёт самый низкий.
          • Получает цену продажи из Steam.
          • Вычисляет ценовые границы и проверяет условие: если sell_price <= максимальной границе, сохраняет ссылки в результатах.
      • После обработки всех приложений сохраняет результаты в JSON-файл results.json.
    6. Запуск скрипта: Если скрипт запустить напрямую, он выполнит функцию main().

    Важные замечания

    • Обход капчи: Скрипт требует от пользователя вручную пройти капчу Cloudflare в открывшемся браузере и подтвердить это нажатием Enter в консоли. Это необходимо, поскольку автоматическое прохождение капчи может нарушать условия использования сайтов и законодательство.

    • Сохранение сессии: Использование параметра --user-data-dir=./user_data в опциях браузера позволяет сохранять куки и другую сессионую информацию, чтобы избежать повторных проверок при последующих запусках скрипта.

    • Обработка ошибок: Скрипт включает базовую обработку ошибок и логирование. В реальных условиях может потребоваться более изощрённая обработка различных типов ошибок и исключений.

    • Задержки между запросами: Добавлены задержки (time.sleep(2)) между запросами, чтобы избежать перегрузки серверов и снизить риск блокировки.

    • Персональные настройки: Убедитесь, что вы правильно заполнили словарь APPS с вашими приложениями (имя и ID).

    • Логирование и отладка: Все действия и ошибки записываются в файл parser.log. Это поможет отслеживать работу скрипта и выявлять возможные проблемы.

    Запуск скрипта

    1. Убедитесь, что все зависимости установлены:

      pip install undetected-chromedriver selenium requests beautifulsoup4
      
    2. Запустите скрипт:

      python ваш_скрипт.py
      
    3. Прохождение капчи:

      • Откроется браузер Chrome.
      • Вручную пройдите капчу Cloudflare на сайте https://avan.market/.
      • После успешного прохождения капчи перейдите в консоль и нажмите Enter, чтобы продолжить выполнение скрипта.
    4. Результаты:

      • Результаты будут выведены в консоль и сохранены в файл results.json.
      • Все действия и возможные ошибки записаны в файл parser.log.

    Заключение

    Этот скрипт предоставляет основу для парсинга цен с указанных сайтов с использованием браузера для обхода защит. В зависимости от изменений на сайтах или требований вашего проекта, может потребоваться дополнительная доработка и оптимизация.