Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

Напиши Python скрипт который должен парсить сайты и высчитывать цену. Для этого он…

  1. User

    Напиши Python скрипт который должен парсить сайты и высчитывать цену. Для этого он должен: 0) Предоставить пользователю выполнить первичное ручное прохождение капчи Cloudflare на реалистичной симуляции браузера с сохранением данных, чтобы избежать повторных проверок. undetected_chromedriver.

    1. Получать список (объект) по запросу к https://avan.market/v1/api/users/catalog?app_id=appId&currency=2&page=1 где appId это номер приложения который должен указываться в константе-объекте в формате: {appName: name, appId: 123}.
    2. В списке (объекте) найти ключ "data" с массивом объектов и сохранить в переменную.
    3. В сохранённой переменной "data" найти значение ключей "id" и "full_name" и сохранить в переменную.
    4. В сохранённой переменной "data" найти значения ключа "sell_items" с массивом объектов и сохранить в переменную.
    5. Отсортировать массив объектов "sell_items" по ключу "sell_price" в порядке от меньшего к большему и сохранить наименьший "sell_price" в переменную.
    6. Получить страницу "https://steamcommunity.com/market/listings/appID/full_name" в которой нужно найти таблицу с классом "market_commodity_orders_table".
    7. В таблице "market_commodity_orders_table" получить значение цены в первой ячейки из второй строки и сохранить в переменную.
    8. Выполнить вычисление значения из таблицы "market_commodity_orders_table" по формуле: Значение-15%-35% и сохранить результат в переменную
    9. Если значение ключа "sell_price" меньше либо равно результату вычисления, то вывести в консоль и сформировать в json файл со следующими ссылками: "https://avan.market/ru/market/appName/id?currency=2" "https://steamcommunity.com/market/listings/appId/full_name"
    10. Повторять шаги для следующих страниц page до тех пор пока data не станет пустой.
    11. Подробно логировать каждое действие и переходы.
  2. Assistant

    Конечно! Ниже представлен полный Python-скрипт, который выполняет все указанные вами шаги. Этот скрипт использует undetected_chromedriver для обхода защитных механизмов Cloudflare и выполняет парсинг необходимых данных с сайтов avan.market и steamcommunity.com. Скрипт также включает подробное логирование каждого шага.

    Необходимые библиотеки

    Перед запуском скрипта убедитесь, что у вас установлены все необходимые библиотеки. Вы можете установить их с помощью pip:

    pip install undetected-chromedriver selenium requests beautifulsoup4
    

    Сам скрипт

    import undetected_chromedriver as uc
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    import requests
    import json
    import logging
    import time
    from bs4 import BeautifulSoup
    
    # Настройка логирования
    logging.basicConfig(
        level=logging.INFO,
        format='%(asctime)s - %(levelname)s - %(message)s',
        handlers=[
            logging.FileHandler("parser.log"),
            logging.StreamHandler()
        ]
    )
    
    # Константы для приложений
    APPS = [
        {"appName": "ExampleApp", "appId": 123},  # Замените на реальные данные
        # Добавьте другие приложения при необходимости
    ]
    
    CURRENCY = 2  # Валюта, используемая в запросах
    
    # Функция для инициализации браузера и прохождения CAPTCHA
    def initialize_browser():
        logging.info("Инициализация браузера для обхода Cloudflare CAPTCHA.")
        options = uc.ChromeOptions()
        options.add_argument("--no-sandbox")
        options.add_argument("--disable-infobars")
        options.add_argument("--disable-extensions")
        driver = uc.Chrome(options=options)
        driver.maximize_window()
    
        # Открываем главную страницу для инициализации сессии
        driver.get("https://avan.market")
        logging.info("Пожалуйста, вручную пройдите CAPTCHA и авторизуйтесь, если необходимо.")
        
        # Ждём, пока пользователь закончит подтверждение
        input("Нажмите Enter после завершения подтверждения CAPTCHA и полной загрузки страницы...")
    
        logging.info("Captcha пройдена и сессия инициализирована.")
        return driver
    
    # Функция для получения куки из браузера
    def get_cookies(driver):
        logging.info("Получение cookies из браузера.")
        cookies = driver.get_cookies()
        session = requests.Session()
        for cookie in cookies:
            session.cookies.set(cookie['name'], cookie['value'])
        logging.info("Cookies успешно перенесены в сессию requests.")
        return session
    
    # Функция для обработки одного приложения
    def process_app(session, app):
        app_name = app["appName"]
        app_id = app["appId"]
        page = 1
        results = []
    
        logging.info(f"Начало обработки приложения: {app_name} (ID: {app_id})")
    
        while True:
            url = f"https://avan.market/v1/api/users/catalog?app_id={app_id}&currency={CURRENCY}&page={page}"
            logging.info(f"Запрос к API: {url}")
            try:
                response = session.get(url)
                response.raise_for_status()
                data = response.json()
                items = data.get("data", [])
                logging.info(f"Получено {len(items)} элементов на странице {page}.")
    
                if not items:
                    logging.info("Данные пусты. Завершение обхода страниц.")
                    break
    
                for item in items:
                    item_id = item.get("id")
                    full_name = item.get("full_name")
                    sell_items = item.get("sell_items", [])
    
                    if not sell_items:
                        logging.info(f"Нет sell_items для элемента ID: {item_id}. Пропуск.")
                        continue
    
                    # Сортировка sell_items по sell_price
                    sorted_sell = sorted(sell_items, key=lambda x: x.get("sell_price", float('inf')))
                    if not sorted_sell:
                        logging.info(f"Нет доступных sell_price для элемента ID: {item_id}. Пропуск.")
                        continue
    
                    min_sell_price = sorted_sell[0].get("sell_price")
                    logging.info(f"Минимальная sell_price для ID {item_id}: {min_sell_price}")
    
                    # Формирование URL Steam
                    steam_url = f"https://steamcommunity.com/market/listings/{app_id}/{full_name.replace(' ', '%20')}"
                    logging.info(f"Запрос к Steam URL: {steam_url}")
    
                    try:
                        steam_response = session.get(steam_url)
                        steam_response.raise_for_status()
                        soup = BeautifulSoup(steam_response.text, 'html.parser')
                        table = soup.find("table", {"class": "market_commodity_orders_table"})
                        
                        if not table:
                            logging.warning(f"Таблица 'market_commodity_orders_table' не найдена на странице {steam_url}. Пропуск.")
                            continue
    
                        # Получение первой цены из таблицы
                        first_row = table.find("tbody").find_all("tr")[1]  # Вторая строка (индекс 1)
                        price_cell = first_row.find_all("td")[1]  # Вторая ячейка
                        price_text = price_cell.get_text().strip().replace(',', '.').replace('₽', '').strip()
                        
                        try:
                            steam_price = float(price_text)
                            logging.info(f"Цена из Steam: {steam_price}")
                        except ValueError:
                            logging.warning(f"Не удалось преобразовать цену из Steam: '{price_text}'. Пропуск.")
                            continue
    
                        # Вычисление значений
                        lower_bound = steam_price * 0.65
                        upper_bound = steam_price * 0.85
                        logging.info(f"Вычисленные границы: {lower_bound} - {upper_bound}")
    
                        if min_sell_price <= upper_bound:
                            logging.info(f"Условие выполнено для ID {item_id}. Цена: {min_sell_price} <= {upper_bound}")
                            result = {
                                "avan_market_url": f"https://avan.market/ru/market/{app_name}/{item_id}?currency=2",
                                "steam_market_url": steam_url
                            }
                            results.append(result)
                    except requests.RequestException as e:
                        logging.error(f"Ошибка при запросе к Steam URL {steam_url}: {e}")
                        continue
                    except Exception as e:
                        logging.error(f"Неожиданная ошибка при обработке Steam страницы: {e}")
                        continue
    
                page += 1
                time.sleep(2)  # Задержка между запросами
            except requests.RequestException as e:
                logging.error(f"Ошибка при запросе к API {url}: {e}")
                break
            except json.JSONDecodeError:
                logging.error(f"Невозможно декодировать JSON ответ от {url}. Пропуск страницы.")
                break
            except Exception as e:
                logging.error(f"Неожиданная ошибка: {e}")
                break
    
        # Сохранение результатов в JSON файл
        if results:
            filename = f"{app_name}_results.json"
            with open(filename, 'w', encoding='utf-8') as f:
                json.dump(results, f, ensure_ascii=False, indent=4)
            logging.info(f"Результаты сохранены в файл {filename}.")
        else:
            logging.info(f"Нет результатов для сохранения для приложения {app_name}.")
    
    # Основная функция
    def main():
        driver = initialize_browser()
        session = get_cookies(driver)
    
        for app in APPS:
            process_app(session, app)
    
        driver.quit()
        logging.info("Скрипт завершен.")
    
    if __name__ == "__main__":
        main()
    

    Пояснения к скрипту

    1. Инициализация браузера и обход CAPTCHA (Шаг 0):

      • Скрипт использует undetected_chromedriver для запуска браузера Chrome, который обходит защиту Cloudflare.
      • Пользователю предлагается вручную пройти CAPTCHA и, при необходимости, авторизоваться на сайте avan.market.
      • После завершения пользователем этих действий, скрипт сохраняет cookies из браузера для последующих запросов.
    2. Получение и обработка данных (Шаги 1-10):

      • Для каждого приложения, указанного в константе APPS, скрипт выполняет запрос к API avan.market с использованием сохранённых cookies.
      • Из полученного JSON-ответа извлекаются необходимые данные (id, full_name, sell_items).
      • sell_items сортируются по sell_price, и выбирается минимальная цена.
      • Затем формируется URL для Steam Community Market и выполняется запрос к этой странице.
      • Скрипт парсит HTML-страницу Steam, находит таблицу с классом market_commodity_orders_table и извлекает цену из первой ячейки второй строки.
      • Вычисляются границы (15% и 35% от цены из Steam).
      • Если sell_price из avan.market меньше или равен верхней границе, ссылки сохраняются в JSON-файл.
    3. Логирование (Шаг 11):

      • Все действия и переходы логируются как в консоль, так и в файл parser.log.
      • Это помогает отслеживать процесс выполнения скрипта и устранять возможные ошибки.
    4. Повторение для всех страниц и приложений (Шаг 10):

      • Скрипт последовательно обрабатывает все страницы API до тех пор, пока не обнаружит, что данные пусты.
      • В конце обработки каждого приложения результаты сохраняются в отдельный JSON-файл.

    Рекомендации

    • Настройка приложений:

      • Обновите список APPS в скрипте, добавив необходимые appName и appId.
    • Обработка ошибок:

      • Скрипт включает базовую обработку ошибок. В зависимости от специфики сайтов, возможно, потребуется добавить дополнительные проверки и обработку исключений.
    • Ограничения по скорости:

      • Включены задержки между запросами (time.sleep(2)), чтобы избежать возможного блокирования со стороны сайтов. При необходимости можно настроить эти задержки.
    • Расширение функционала:

      • По желанию, можно добавить возможность автоматического запуска браузера для повторных обходов, сохранения сессий и др.

    Этот скрипт предоставляет базовый функционал, соответствующий вашим требованиям. Вы можете модифицировать и расширять его в зависимости от специфики ваших задач и особенностей целевых сайтов.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.