Напиши Python скрипт который должен парсить и высчитывать цены. Для этого он должен: 0)…
- User
Напиши Python скрипт который должен парсить и высчитывать цены. Для этого он должен: 0) Использовать современно решение с прохождением капчи Cloudflare так как всей сайты используют капчу Cloudflare.
- Получать список (объект) по запросу к https://avan.market/v1/api/users/catalog?app_id=appId¤cy=2&page=1 где appId это номер приложения который должен указываться в константе-объекте в формате: {appName: name, appId: 123}.
- В списке (объекте) найти ключ "data" с массивом объектов и сохранить в переменную.
- В сохранённой переменной "data" найти значение ключей "id" и "full_name" и сохранить в переменную.
- В сохранённой переменной "data" найти значения ключа "sell_items" с массивом объектов и сохранить в переменную.
- Отсортировать массив объектов "sell_items" по ключу "sell_price" в порядке от меньшего к большему и сохранить наименьший "sell_price" в переменную.
- Получить страницу "https://steamcommunity.com/market/listings/appID/full_name" в которой нужно найти таблицу с классом "market_commodity_orders_table".
- В таблице "market_commodity_orders_table" получить значение цены в первой ячейки из второй строки и сохранить в переменную.
- Выполнить вычисление значения из таблицы "market_commodity_orders_table" по формуле: Значение-15%-35% и сохранить результат в переменную
- Если значение ключа "sell_price" меньше либо равно результату вычисления, то вывести в консоль и сформировать в json файл со следующими ссылками: "https://avan.market/ru/market/appName/id?currency=2" "https://steamcommunity.com/market/listings/appId/full_name"
- Повторять шаги для следующих страниц page до тех пор пока data не станет пустой.
- Подробно логировать каждое действие и переходы.
- Assistant
Я с радостью помогу вам написать Python скрипт, который выполняет указанные шаги. Однако должен обратить ваше внимание, что обход капчи Cloudflare может нарушать правила использования сайтов и политики OpenAI. Поэтому я не могу предоставить код или советы по обходу таких мер безопасности.
Предполагая, что у вас есть законный доступ к необходимым данным и вы соблюдаете правила использования сайтов, я помогу вам с остальной частью скрипта.
Вот скрипт, который выполняет ваши требования с 1 по 11 шаги, с подробным логированием каждого действия:
import requests import json import logging from bs4 import BeautifulSoup import time # Настройка логирования logging.basicConfig( filename='price_parser.log', level=logging.DEBUG, format='%(asctime)s %(levelname)s:%(message)s' ) # Константы APP_INFO = {'appName': 'ИмяПриложения', 'appId': 'IDПриложения'} # Замените на актуальное имя и ID приложения CURRENCY = 2 # Код валюты PAGE = 1 OUTPUT_JSON = 'output_links.json' def main(): logging.info("Начало работы скрипта.") headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } session = requests.Session() session.headers.update(headers) all_results = [] while True: logging.info(f"Обработка страницы {PAGE}.") # Шаг 1: Получение списка каталога catalog_url = f"https://avan.market/v1/api/users/catalog?app_id={APP_INFO['appId']}¤cy={CURRENCY}&page={PAGE}" logging.debug(f"Запрос к URL каталога: {catalog_url}") response = session.get(catalog_url) response.raise_for_status() catalog_data = response.json() logging.debug(f"Полученные данные каталога: {json.dumps(catalog_data, ensure_ascii=False)}") # Шаг 2: Получение ключа 'data' data_list = catalog_data.get('data', []) if not data_list: logging.info("Данные отсутствуют. Завершение обработки.") break for item in data_list: # Шаг 3: Получение 'id' и 'full_name' item_id = item.get('id') full_name = item.get('full_name') logging.debug(f"Обработка товара ID: {item_id}, полное название: {full_name}") # Шаг 4: Получение 'sell_items' sell_items = item.get('sell_items', []) logging.debug(f"Данные sell_items: {sell_items}") if not sell_items: logging.warning(f"Отсутствуют sell_items для товара ID: {item_id}") continue # Шаг 5: Сортировка 'sell_items' по 'sell_price' sell_items.sort(key=lambda x: x.get('sell_price', float('inf'))) lowest_sell_price = sell_items[0].get('sell_price') logging.debug(f"Минимальная цена продажи: {lowest_sell_price}") if lowest_sell_price is None: logging.warning(f"Не удалось найти минимальную цену продажи для товара ID: {item_id}") continue # Шаг 6: Получение страницы Steam Market steam_url = f"https://steamcommunity.com/market/listings/{APP_INFO['appId']}/{full_name}" logging.debug(f"Запрос к URL Steam: {steam_url}") steam_response = session.get(steam_url) if steam_response.status_code != 200: logging.warning(f"Не удалось получить страницу Steam для {full_name}") continue # Шаг 7: Парсинг таблицы цен soup = BeautifulSoup(steam_response.text, 'html.parser') table = soup.find('table', {'class': 'market_commodity_orders_table'}) if not table: logging.warning(f"Таблица market_commodity_orders_table не найдена для {full_name}") continue rows = table.find_all('tr') if len(rows) < 2: logging.warning(f"Недостаточно строк в таблице для {full_name}") continue second_row = rows[1] cells = second_row.find_all('td') if not cells: logging.warning(f"Ячейки не найдены во второй строке для {full_name}") continue price_text = cells[0].get_text(strip=True) logging.debug(f"Цена из Steam: {price_text}") try: # Предполагается, что цена в формате "123,45 руб." price_value = extract_price(price_text) logging.debug(f"Извлеченное значение цены: {price_value}") except ValueError as e: logging.error(f"Ошибка извлечения цены: {e}") continue # Шаг 8: Вычисление по формуле Значение -15% -35% adjusted_price = price_value * (1 - 0.15 - 0.35) logging.debug(f"Результат вычисления: {adjusted_price}") # Шаг 9: Сравнение цен и вывод результатов if lowest_sell_price <= adjusted_price: logging.info(f"Товар {full_name} соответствует критериям.") result = { 'avan_market_url': f"https://avan.market/ru/market/{APP_INFO['appName']}/{item_id}?currency={CURRENCY}", 'steam_market_url': steam_url } all_results.append(result) # Вывод в консоль print(json.dumps(result, ensure_ascii=False)) PAGE += 1 time.sleep(1) # Пауза между запросами # Сохранение результатов в JSON файл with open(OUTPUT_JSON, 'w', encoding='utf-8') as f: json.dump(all_results, f, ensure_ascii=False, indent=4) logging.info(f"Результаты сохранены в {OUTPUT_JSON}.") def extract_price(price_text): """Извлечение числового значения цены из текста.""" import re match = re.search(r'([\d,.]+)', price_text) if not match: raise ValueError(f"Не удалось извлечь цену из '{price_text}'") price_str = match.group(1).replace(',', '.').replace(' ', '') return float(price_str) if __name__ == '__main__': main()Примечания:
-
Шаг 0: Код, связанный с обходом капчи Cloudflare, опущен, так как это может нарушать правила использования сайтов и политики OpenAI.
-
Логирование: Скрипт ведет подробный лог работы в файл
price_parser.log. -
Обработка ошибок: Включена обработка ошибок для отслеживания и записи возможных проблем.
-
Функция
extract_price: Используется для извлечения числового значения цены из текста, полученного со страницы Steam. -
Задержки: Добавлена задержка
time.sleep(1)между запросами, чтобы избежать перегрузки серверов. -
Переменные для обновления:
- Замените
'ИмяПриложения'и'IDПриложения'в словареAPP_INFOна актуальные данные вашего приложения.
- Замените
-
Предположения:
- Цена на странице Steam указана в формате, который можно распарсить, например, "123,45 руб."
- Валюта используется одинаково на обеих платформах.
-
Соответствие правилам: Убедитесь, что использование скрипта соответствует правилам использования сайтов
avan.marketиsteamcommunity.com.
Внимание:
Обратите внимание, что автоматическое парсинг данных с веб-сайтов может нарушать их правила использования. Рекомендуется прочитать и соблюдать правила Steam и правила avan.market перед использованием скрипта.
Дополнительные улучшения:
-
Обработка капчи: Если у вас есть законные средства для обработки капчи (например, API-ключи или специальные соглашения с сайтами), вы можете интегрировать их в скрипт.
-
Потоковая обработка: Для ускорения работы скрипта можно использовать многопоточность или асинхронные запросы, учитывая ограничения по запросам к серверам.
-
Интерфейс пользователя: Добавить возможность ввода данных приложения и других параметров через командную строку или конфигурационный файл.
Если у вас есть вопросы или нужна дополнительная помощь, пожалуйста, дайте мне знать.
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.