Напиши Python скрипт который должен парсить сайты и высчитывать цену. Для этого он…
- User
Напиши Python скрипт который должен парсить сайты и высчитывать цену. Для этого он должен: 0) Предоставить пользователю выполнить первичное ручное прохождение капчи Cloudflare на реалистичной симуляции браузера с сохранением данных, чтобы избежать повторных проверок. undetected_chromedriver.
- Получать список (объект) по запросу к https://avan.market/v1/api/users/catalog?app_id=appId¤cy=2&page=1 где appId это номер приложения который должен указываться в константе-объекте в формате: {appName: name, appId: 123}.
- В списке (объекте) найти ключ "data" с массивом объектов и сохранить в переменную.
- В сохранённой переменной "data" найти значение ключей "id" и "full_name" и сохранить в переменную.
- В сохранённой переменной "data" найти значения ключа "sell_items" с массивом объектов и сохранить в переменную.
- Отсортировать массив объектов "sell_items" по ключу "sell_price" в порядке от меньшего к большему и сохранить наименьший "sell_price" в переменную.
- Получить страницу "https://steamcommunity.com/market/listings/appID/full_name" в которой нужно найти таблицу с классом "market_commodity_orders_table".
- В таблице "market_commodity_orders_table" получить значение цены в первой ячейки из второй строки и сохранить в переменную.
- Выполнить вычисление значения из таблицы "market_commodity_orders_table" по формуле: Значение-15%-35% и сохранить результат в переменную
- Если значение ключа "sell_price" меньше либо равно результату вычисления, то вывести в консоль и сформировать в json файл со следующими ссылками: "https://avan.market/ru/market/appName/id?currency=2" "https://steamcommunity.com/market/listings/appId/full_name"
- Повторять шаги для следующих страниц page до тех пор пока data не станет пустой.
- Подробно логировать каждое действие и переходы.
- Assistant
Конечно! Ниже представлен полный Python-скрипт, который выполняет все указанные вами шаги. Этот скрипт использует
undetected_chromedriverдля обхода защитных механизмов Cloudflare и выполняет парсинг необходимых данных с сайтовavan.marketиsteamcommunity.com. Скрипт также включает подробное логирование каждого шага.Необходимые библиотеки
Перед запуском скрипта убедитесь, что у вас установлены все необходимые библиотеки. Вы можете установить их с помощью
pip:pip install undetected-chromedriver selenium requests beautifulsoup4Сам скрипт
import undetected_chromedriver as uc from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import requests import json import logging import time from bs4 import BeautifulSoup # Настройка логирования logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s', handlers=[ logging.FileHandler("parser.log"), logging.StreamHandler() ] ) # Константы для приложений APPS = [ {"appName": "ExampleApp", "appId": 123}, # Замените на реальные данные # Добавьте другие приложения при необходимости ] CURRENCY = 2 # Валюта, используемая в запросах # Функция для инициализации браузера и прохождения CAPTCHA def initialize_browser(): logging.info("Инициализация браузера для обхода Cloudflare CAPTCHA.") options = uc.ChromeOptions() options.add_argument("--no-sandbox") options.add_argument("--disable-infobars") options.add_argument("--disable-extensions") driver = uc.Chrome(options=options) driver.maximize_window() # Открываем главную страницу для инициализации сессии driver.get("https://avan.market") logging.info("Пожалуйста, вручную пройдите CAPTCHA и авторизуйтесь, если необходимо.") # Ждём, пока пользователь закончит подтверждение input("Нажмите Enter после завершения подтверждения CAPTCHA и полной загрузки страницы...") logging.info("Captcha пройдена и сессия инициализирована.") return driver # Функция для получения куки из браузера def get_cookies(driver): logging.info("Получение cookies из браузера.") cookies = driver.get_cookies() session = requests.Session() for cookie in cookies: session.cookies.set(cookie['name'], cookie['value']) logging.info("Cookies успешно перенесены в сессию requests.") return session # Функция для обработки одного приложения def process_app(session, app): app_name = app["appName"] app_id = app["appId"] page = 1 results = [] logging.info(f"Начало обработки приложения: {app_name} (ID: {app_id})") while True: url = f"https://avan.market/v1/api/users/catalog?app_id={app_id}¤cy={CURRENCY}&page={page}" logging.info(f"Запрос к API: {url}") try: response = session.get(url) response.raise_for_status() data = response.json() items = data.get("data", []) logging.info(f"Получено {len(items)} элементов на странице {page}.") if not items: logging.info("Данные пусты. Завершение обхода страниц.") break for item in items: item_id = item.get("id") full_name = item.get("full_name") sell_items = item.get("sell_items", []) if not sell_items: logging.info(f"Нет sell_items для элемента ID: {item_id}. Пропуск.") continue # Сортировка sell_items по sell_price sorted_sell = sorted(sell_items, key=lambda x: x.get("sell_price", float('inf'))) if not sorted_sell: logging.info(f"Нет доступных sell_price для элемента ID: {item_id}. Пропуск.") continue min_sell_price = sorted_sell[0].get("sell_price") logging.info(f"Минимальная sell_price для ID {item_id}: {min_sell_price}") # Формирование URL Steam steam_url = f"https://steamcommunity.com/market/listings/{app_id}/{full_name.replace(' ', '%20')}" logging.info(f"Запрос к Steam URL: {steam_url}") try: steam_response = session.get(steam_url) steam_response.raise_for_status() soup = BeautifulSoup(steam_response.text, 'html.parser') table = soup.find("table", {"class": "market_commodity_orders_table"}) if not table: logging.warning(f"Таблица 'market_commodity_orders_table' не найдена на странице {steam_url}. Пропуск.") continue # Получение первой цены из таблицы first_row = table.find("tbody").find_all("tr")[1] # Вторая строка (индекс 1) price_cell = first_row.find_all("td")[1] # Вторая ячейка price_text = price_cell.get_text().strip().replace(',', '.').replace('₽', '').strip() try: steam_price = float(price_text) logging.info(f"Цена из Steam: {steam_price}") except ValueError: logging.warning(f"Не удалось преобразовать цену из Steam: '{price_text}'. Пропуск.") continue # Вычисление значений lower_bound = steam_price * 0.65 upper_bound = steam_price * 0.85 logging.info(f"Вычисленные границы: {lower_bound} - {upper_bound}") if min_sell_price <= upper_bound: logging.info(f"Условие выполнено для ID {item_id}. Цена: {min_sell_price} <= {upper_bound}") result = { "avan_market_url": f"https://avan.market/ru/market/{app_name}/{item_id}?currency=2", "steam_market_url": steam_url } results.append(result) except requests.RequestException as e: logging.error(f"Ошибка при запросе к Steam URL {steam_url}: {e}") continue except Exception as e: logging.error(f"Неожиданная ошибка при обработке Steam страницы: {e}") continue page += 1 time.sleep(2) # Задержка между запросами except requests.RequestException as e: logging.error(f"Ошибка при запросе к API {url}: {e}") break except json.JSONDecodeError: logging.error(f"Невозможно декодировать JSON ответ от {url}. Пропуск страницы.") break except Exception as e: logging.error(f"Неожиданная ошибка: {e}") break # Сохранение результатов в JSON файл if results: filename = f"{app_name}_results.json" with open(filename, 'w', encoding='utf-8') as f: json.dump(results, f, ensure_ascii=False, indent=4) logging.info(f"Результаты сохранены в файл {filename}.") else: logging.info(f"Нет результатов для сохранения для приложения {app_name}.") # Основная функция def main(): driver = initialize_browser() session = get_cookies(driver) for app in APPS: process_app(session, app) driver.quit() logging.info("Скрипт завершен.") if __name__ == "__main__": main()Пояснения к скрипту
-
Инициализация браузера и обход CAPTCHA (Шаг 0):
- Скрипт использует
undetected_chromedriverдля запуска браузера Chrome, который обходит защиту Cloudflare. - Пользователю предлагается вручную пройти CAPTCHA и, при необходимости, авторизоваться на сайте
avan.market. - После завершения пользователем этих действий, скрипт сохраняет cookies из браузера для последующих запросов.
- Скрипт использует
-
Получение и обработка данных (Шаги 1-10):
- Для каждого приложения, указанного в константе
APPS, скрипт выполняет запрос к APIavan.marketс использованием сохранённых cookies. - Из полученного JSON-ответа извлекаются необходимые данные (
id,full_name,sell_items). sell_itemsсортируются поsell_price, и выбирается минимальная цена.- Затем формируется URL для Steam Community Market и выполняется запрос к этой странице.
- Скрипт парсит HTML-страницу Steam, находит таблицу с классом
market_commodity_orders_tableи извлекает цену из первой ячейки второй строки. - Вычисляются границы (15% и 35% от цены из Steam).
- Если
sell_priceизavan.marketменьше или равен верхней границе, ссылки сохраняются в JSON-файл.
- Для каждого приложения, указанного в константе
-
Логирование (Шаг 11):
- Все действия и переходы логируются как в консоль, так и в файл
parser.log. - Это помогает отслеживать процесс выполнения скрипта и устранять возможные ошибки.
- Все действия и переходы логируются как в консоль, так и в файл
-
Повторение для всех страниц и приложений (Шаг 10):
- Скрипт последовательно обрабатывает все страницы API до тех пор, пока не обнаружит, что данные пусты.
- В конце обработки каждого приложения результаты сохраняются в отдельный JSON-файл.
Рекомендации
-
Настройка приложений:
- Обновите список
APPSв скрипте, добавив необходимыеappNameиappId.
- Обновите список
-
Обработка ошибок:
- Скрипт включает базовую обработку ошибок. В зависимости от специфики сайтов, возможно, потребуется добавить дополнительные проверки и обработку исключений.
-
Ограничения по скорости:
- Включены задержки между запросами (
time.sleep(2)), чтобы избежать возможного блокирования со стороны сайтов. При необходимости можно настроить эти задержки.
- Включены задержки между запросами (
-
Расширение функционала:
- По желанию, можно добавить возможность автоматического запуска браузера для повторных обходов, сохранения сессий и др.
Этот скрипт предоставляет базовый функционал, соответствующий вашим требованиям. Вы можете модифицировать и расширять его в зависимости от специфики ваших задач и особенностей целевых сайтов.
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.