Напиши Python скрипт который должен парсить сайты и высчитывать цену. Для этого он…
- User
Напиши Python скрипт который должен парсить сайты и высчитывать цену. Для этого он должен: 0) Предоставить пользователю выполнить первичное ручное прохождение капчи Cloudflare на реалистичной симуляции браузера с сохранением данных, чтобы избежать повторных проверок. undetected_chromedriver.
- Получать список (объект) из страницы по ссылке https://avan.market/v1/api/users/catalog?app_id=appId¤cy=2&page=1 где appId это номер приложения который должен указываться в константе-объекте в формате: {appName: name, appId: 123}.
- В списке (объекте) найти ключ "data" с массивом объектов и сохранить в переменную.
- В сохранённой переменной "data" найти значение ключей "id" и "full_name" и сохранить в переменную.
- В сохранённой переменной "data" найти значения ключа "sell_items" с массивом объектов и сохранить в переменную.
- Отсортировать массив объектов "sell_items" по ключу "sell_price" в порядке от меньшего к большему и сохранить наименьший "sell_price" в переменную.
- Получить страницу "https://steamcommunity.com/market/listings/appID/full_name" в которой нужно найти таблицу с классом "market_commodity_orders_table".
- В таблице "market_commodity_orders_table" получить значение цены в первой ячейки из второй строки и сохранить в переменную.
- Выполнить вычисление значения из таблицы "market_commodity_orders_table" по формуле: Значение-15%-35% и сохранить результат в переменную
- Если значение ключа "sell_price" меньше либо равно результату вычисления, то вывести в консоль и сформировать в json файл со следующими ссылками: "https://avan.market/ru/market/appName/id?currency=2" "https://steamcommunity.com/market/listings/appId/full_name"
- Повторять шаги для следующих страниц page до тех пор пока data не станет пустой.
- Подробно логировать каждое действие и переходы.
- Assistant
Конечно! Ниже приведён подробный Python-скрипт, который выполняет описанные вами шаги. Скрипт использует
undetected_chromedriverдля обхода Cloudflare,seleniumдля управления браузером,requestsдля работы с API, иBeautifulSoupдля парсинга HTML страниц. Также используется модульloggingдля подробного логирования действий.Перед началом убедитесь, что у вас установлены необходимые библиотеки. Вы можете установить их с помощью
pip:pip install undetected-chromedriver selenium requests beautifulsoup4Также убедитесь, что у вас установлен соответствующий драйвер для браузера Chrome. Скрипт
undetected_chromedriverобычно сам управляет этим, но убедитесь, что версия Chrome и драйвера совместимы.Вот полный скрипт:
import undetected_chromedriver as uc from selenium.webdriver.common.by import By import time import requests import json import logging from bs4 import BeautifulSoup # Настройка логирования logging.basicConfig( filename='parser.log', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s' ) # Константы APPS = { 'appName1': {'name': 'НазваниеПриложения1', 'appId': 12345}, 'appName2': {'name': 'НазваниеПриложения2', 'appId': 67890}, # Добавьте другие приложения по необходимости } CURRENCY = 2 # Валюта OUTPUT_FILE = 'results.json' def initialize_browser(): logging.info("Инициализация браузера с undetected_chromedriver.") options = uc.ChromeOptions() options.add_argument("--start-maximized") # Сохранение профиля для повторного использования куки options.add_argument("--user-data-dir=./user_data") driver = uc.Chrome(options=options) return driver def perform_captcha_handling(driver): logging.info("Пользователю необходимо пройти капчу Cloudflare вручную.") driver.get("https://avan.market/") logging.info("Ожидание завершения прохождения капчи.") # Ожидание, пока пользователь не нажмёт Enter в консоли input("После прохождения капчи нажмите Enter, чтобы продолжить...") def get_catalog(appId, currency, page, headers, cookies): url = f"https://avan.market/v1/api/users/catalog?app_id={appId}¤cy={currency}&page={page}" logging.info(f"Запрос к API: {url}") response = requests.get(url, headers=headers, cookies=cookies) if response.status_code == 200: logging.info(f"Успешный ответ от API на странице {page}.") return response.json() else: logging.error(f"Ошибка при запросе API на странице {page}: {response.status_code}") return None def get_sell_price_from_steam(appId, full_name, headers): steam_url = f"https://steamcommunity.com/market/listings/{appId}/{full_name}" logging.info(f"Загрузка страницы Steam: {steam_url}") response = requests.get(steam_url, headers=headers) if response.status_code != 200: logging.error(f"Не удалось загрузить страницу Steam: {steam_url}") return None soup = BeautifulSoup(response.text, 'html.parser') table = soup.find('table', {'class': 'market_commodity_orders_table'}) if not table: logging.error(f"Таблица 'market_commodity_orders_table' не найдена на странице: {steam_url}") return None # Предполагаем, что вторая строка и вторая ячейка содержит цену try: rows = table.find_all('tr') if len(rows) < 2: logging.error(f"Недостаточно строк в таблице на странице: {steam_url}") return None second_row = rows[1] cells = second_row.find_all('td') if len(cells) < 2: logging.error(f"Недостаточно ячеек во второй строке таблицы на странице: {steam_url}") return None price_str = cells[1].get_text().strip().replace(',', '.').replace('$', '').replace('€', '').replace('£', '') price = float(price_str) logging.info(f"Найдена цена в Steam: {price}") return price except Exception as e: logging.error(f"Ошибка при парсинге цены со страницы Steam: {e}") return None def calculate_price(value): min_price = value * 0.65 # Значение - 35% max_price = value * 0.85 # Значение - 15% logging.info(f"Вычисленные границы цены: минимум {min_price}, максимум {max_price}") return min_price, max_price def main(): driver = initialize_browser() perform_captcha_handling(driver) # Получение куки из браузера для использования в requests cookies = driver.get_cookies() session_cookies = {cookie['name']: cookie['value'] for cookie in cookies} headers = { 'User-Agent': driver.execute_script("return navigator.userAgent;") } results = [] for app_key, app in APPS.items(): appName = app['name'] appId = app['appId'] logging.info(f"Обработка приложения: {appName} (ID: {appId})") page = 1 while True: catalog = get_catalog(appId, CURRENCY, page, headers, session_cookies) if not catalog or 'data' not in catalog or not catalog['data']: logging.info(f"Данные отсутствуют на странице {page} для приложения {appName}. Завершение обработки этого приложения.") break data = catalog['data'] for item in data: try: item_id = item.get('id') full_name = item.get('full_name') sell_items = item.get('sell_items', []) if not sell_items: logging.info(f"Продажные товары отсутствуют для ID: {item_id}") continue # Сортировка sell_items по sell_price sell_items_sorted = sorted(sell_items, key=lambda x: x.get('sell_price', float('inf'))) lowest_sell_price = sell_items_sorted[0].get('sell_price') logging.info(f"Наименьшая цена продажи для ID {item_id}: {lowest_sell_price}") # Получение цены из Steam steam_sell_price = get_sell_price_from_steam(appId, full_name, headers) if steam_sell_price is None: continue # Вычисление ценовых границ min_price, max_price = calculate_price(steam_sell_price) # Проверка условия if lowest_sell_price <= max_price: avan_link = f"https://avan.market/ru/market/{app_key}/{item_id}?currency={CURRENCY}" steam_link = f"https://steamcommunity.com/market/listings/{appId}/{full_name}" logging.info(f"Найдена подходящая цена для ID {item_id}. Ссылки сохранены.") print(f"Avan: {avan_link}") print(f"Steam: {steam_link}") result = { "avan_link": avan_link, "steam_link": steam_link } results.append(result) except Exception as e: logging.error(f"Ошибка при обработке элемента: {e}") continue page += 1 time.sleep(2) # Задержка между запросами # Сохранение результатов в JSON файл with open(OUTPUT_FILE, 'w', encoding='utf-8') as f: json.dump(results, f, ensure_ascii=False, indent=4) logging.info(f"Результаты сохранены в {OUTPUT_FILE}") driver.quit() if __name__ == "__main__": main()Детальное объяснение скрипта
-
Импорт необходимых библиотек:
undetected_chromedriverиseleniumдля управления браузером и обхода антибот-защиты.requestsдля выполнения HTTP-запросов к API.BeautifulSoupдля парсинга HTML страниц.loggingдля логирования действий.
-
Настройка логирования: Логируются все действия и ошибки в файл
parser.logс временной меткой и уровнем важности. -
Константы:
APPS: Словарь с приложениями, где ключи — это уникальные имена приложений, а значения содержатnameиappId.CURRENCY: Валюта, используемая в API-запросах.OUTPUT_FILE: Имя выходного JSON-файла с результатами.
-
Функции:
initialize_browser(): Инициализирует браузер Chrome сundetected_chromedriver, используя сохранённый профиль для повторного использования куки и избежания повторных проверок.perform_captcha_handling(driver): Открывает сайт и даёт пользователю время вручную пройти капчу. После прохождения капчи пользователь нажимает Enter в консоли для продолжения работы скрипта.get_catalog(appId, currency, page, headers, cookies): Выполняет запрос к API для получения каталога товаров на указанной странице.get_sell_price_from_steam(appId, full_name, headers): Загружает страницу товара в Steam и парсит цену из таблицыmarket_commodity_orders_table.calculate_price(value): Вычисляет минимальную и максимальную цены на основе значения из Steam (15%-35% от значения).
-
Основная логика (
main):- Инициализирует браузер и выполняет прохождение капчи.
- Извлекает куки из браузера для использования в последующих запросах
requests. - Для каждого приложения из
APPS:- Итеративно перебирает страницы каталога, пока данные присутствуют.
- Для каждого элемента в
data:- Извлекает
id,full_nameиsell_items. - Сортирует
sell_itemsпоsell_priceи берёт самый низкий. - Получает цену продажи из Steam.
- Вычисляет ценовые границы и проверяет условие: если
sell_price<= максимальной границе, сохраняет ссылки в результатах.
- Извлекает
- После обработки всех приложений сохраняет результаты в JSON-файл
results.json.
-
Запуск скрипта: Если скрипт запустить напрямую, он выполнит функцию
main().
Важные замечания
-
Обход капчи: Скрипт требует от пользователя вручную пройти капчу Cloudflare в открывшемся браузере и подтвердить это нажатием Enter в консоли. Это необходимо, поскольку автоматическое прохождение капчи может нарушать условия использования сайтов и законодательство.
-
Сохранение сессии: Использование параметра
--user-data-dir=./user_dataв опциях браузера позволяет сохранять куки и другую сессионую информацию, чтобы избежать повторных проверок при последующих запусках скрипта. -
Обработка ошибок: Скрипт включает базовую обработку ошибок и логирование. В реальных условиях может потребоваться более изощрённая обработка различных типов ошибок и исключений.
-
Задержки между запросами: Добавлены задержки (
time.sleep(2)) между запросами, чтобы избежать перегрузки серверов и снизить риск блокировки. -
Персональные настройки: Убедитесь, что вы правильно заполнили словарь
APPSс вашими приложениями (имя и ID). -
Логирование и отладка: Все действия и ошибки записываются в файл
parser.log. Это поможет отслеживать работу скрипта и выявлять возможные проблемы.
Запуск скрипта
-
Убедитесь, что все зависимости установлены:
pip install undetected-chromedriver selenium requests beautifulsoup4 -
Запустите скрипт:
python ваш_скрипт.py -
Прохождение капчи:
- Откроется браузер Chrome.
- Вручную пройдите капчу Cloudflare на сайте
https://avan.market/. - После успешного прохождения капчи перейдите в консоль и нажмите Enter, чтобы продолжить выполнение скрипта.
-
Результаты:
- Результаты будут выведены в консоль и сохранены в файл
results.json. - Все действия и возможные ошибки записаны в файл
parser.log.
- Результаты будут выведены в консоль и сохранены в файл
Заключение
Этот скрипт предоставляет основу для парсинга цен с указанных сайтов с использованием браузера для обхода защит. В зависимости от изменений на сайтах или требований вашего проекта, может потребоваться дополнительная доработка и оптимизация.
-