Skip to content
The Chat Archive
o1-preview-2024-09-12· OpenAI WildChat-4.8M (AI2)

Напиши Python скрипт который должен парсить и высчитывать цены. Для этого он должен: 0)…

  1. User

    Напиши Python скрипт который должен парсить и высчитывать цены. Для этого он должен: 0) Использовать современно решение с прохождением капчи Cloudflare так как всей сайты используют капчу Cloudflare.

    1. Получать список (объект) по запросу к https://avan.market/v1/api/users/catalog?app_id=appId&currency=2&page=1 где appId это номер приложения который должен указываться в константе-объекте в формате: {appName: name, appId: 123}.
    2. В списке (объекте) найти ключ "data" с массивом объектов и сохранить в переменную.
    3. В сохранённой переменной "data" найти значение ключей "id" и "full_name" и сохранить в переменную.
    4. В сохранённой переменной "data" найти значения ключа "sell_items" с массивом объектов и сохранить в переменную.
    5. Отсортировать массив объектов "sell_items" по ключу "sell_price" в порядке от меньшего к большему и сохранить наименьший "sell_price" в переменную.
    6. Получить страницу "https://steamcommunity.com/market/listings/appID/full_name" в которой нужно найти таблицу с классом "market_commodity_orders_table".
    7. В таблице "market_commodity_orders_table" получить значение цены в первой ячейки из второй строки и сохранить в переменную.
    8. Выполнить вычисление значения из таблицы "market_commodity_orders_table" по формуле: Значение-15%-35% и сохранить результат в переменную
    9. Если значение ключа "sell_price" меньше либо равно результату вычисления, то вывести в консоль и сформировать в json файл со следующими ссылками: "https://avan.market/ru/market/appName/id?currency=2" "https://steamcommunity.com/market/listings/appId/full_name"
    10. Повторять шаги для следующих страниц page до тех пор пока data не станет пустой.
    11. Подробно логировать каждое действие и переходы.
  2. Assistant

    Я с радостью помогу вам написать Python скрипт, который выполняет указанные шаги. Однако должен обратить ваше внимание, что обход капчи Cloudflare может нарушать правила использования сайтов и политики OpenAI. Поэтому я не могу предоставить код или советы по обходу таких мер безопасности.

    Предполагая, что у вас есть законный доступ к необходимым данным и вы соблюдаете правила использования сайтов, я помогу вам с остальной частью скрипта.

    Вот скрипт, который выполняет ваши требования с 1 по 11 шаги, с подробным логированием каждого действия:

    import requests
    import json
    import logging
    from bs4 import BeautifulSoup
    import time
    
    # Настройка логирования
    logging.basicConfig(
        filename='price_parser.log',
        level=logging.DEBUG,
        format='%(asctime)s %(levelname)s:%(message)s'
    )
    
    # Константы
    APP_INFO = {'appName': 'ИмяПриложения', 'appId': 'IDПриложения'}  # Замените на актуальное имя и ID приложения
    CURRENCY = 2  # Код валюты
    PAGE = 1
    OUTPUT_JSON = 'output_links.json'
    
    def main():
        logging.info("Начало работы скрипта.")
    
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
        }
    
        session = requests.Session()
        session.headers.update(headers)
    
        all_results = []
    
        while True:
            logging.info(f"Обработка страницы {PAGE}.")
    
            # Шаг 1: Получение списка каталога
            catalog_url = f"https://avan.market/v1/api/users/catalog?app_id={APP_INFO['appId']}&currency={CURRENCY}&page={PAGE}"
            logging.debug(f"Запрос к URL каталога: {catalog_url}")
    
            response = session.get(catalog_url)
            response.raise_for_status()
            catalog_data = response.json()
            logging.debug(f"Полученные данные каталога: {json.dumps(catalog_data, ensure_ascii=False)}")
    
            # Шаг 2: Получение ключа 'data'
            data_list = catalog_data.get('data', [])
            if not data_list:
                logging.info("Данные отсутствуют. Завершение обработки.")
                break
    
            for item in data_list:
                # Шаг 3: Получение 'id' и 'full_name'
                item_id = item.get('id')
                full_name = item.get('full_name')
                logging.debug(f"Обработка товара ID: {item_id}, полное название: {full_name}")
    
                # Шаг 4: Получение 'sell_items'
                sell_items = item.get('sell_items', [])
                logging.debug(f"Данные sell_items: {sell_items}")
    
                if not sell_items:
                    logging.warning(f"Отсутствуют sell_items для товара ID: {item_id}")
                    continue
    
                # Шаг 5: Сортировка 'sell_items' по 'sell_price'
                sell_items.sort(key=lambda x: x.get('sell_price', float('inf')))
                lowest_sell_price = sell_items[0].get('sell_price')
                logging.debug(f"Минимальная цена продажи: {lowest_sell_price}")
    
                if lowest_sell_price is None:
                    logging.warning(f"Не удалось найти минимальную цену продажи для товара ID: {item_id}")
                    continue
    
                # Шаг 6: Получение страницы Steam Market
                steam_url = f"https://steamcommunity.com/market/listings/{APP_INFO['appId']}/{full_name}"
                logging.debug(f"Запрос к URL Steam: {steam_url}")
    
                steam_response = session.get(steam_url)
                if steam_response.status_code != 200:
                    logging.warning(f"Не удалось получить страницу Steam для {full_name}")
                    continue
    
                # Шаг 7: Парсинг таблицы цен
                soup = BeautifulSoup(steam_response.text, 'html.parser')
                table = soup.find('table', {'class': 'market_commodity_orders_table'})
                if not table:
                    logging.warning(f"Таблица market_commodity_orders_table не найдена для {full_name}")
                    continue
    
                rows = table.find_all('tr')
                if len(rows) < 2:
                    logging.warning(f"Недостаточно строк в таблице для {full_name}")
                    continue
    
                second_row = rows[1]
                cells = second_row.find_all('td')
                if not cells:
                    logging.warning(f"Ячейки не найдены во второй строке для {full_name}")
                    continue
    
                price_text = cells[0].get_text(strip=True)
                logging.debug(f"Цена из Steam: {price_text}")
    
                try:
                    # Предполагается, что цена в формате "123,45 руб."
                    price_value = extract_price(price_text)
                    logging.debug(f"Извлеченное значение цены: {price_value}")
                except ValueError as e:
                    logging.error(f"Ошибка извлечения цены: {e}")
                    continue
    
                # Шаг 8: Вычисление по формуле Значение -15% -35%
                adjusted_price = price_value * (1 - 0.15 - 0.35)
                logging.debug(f"Результат вычисления: {adjusted_price}")
    
                # Шаг 9: Сравнение цен и вывод результатов
                if lowest_sell_price <= adjusted_price:
                    logging.info(f"Товар {full_name} соответствует критериям.")
    
                    result = {
                        'avan_market_url': f"https://avan.market/ru/market/{APP_INFO['appName']}/{item_id}?currency={CURRENCY}",
                        'steam_market_url': steam_url
                    }
                    all_results.append(result)
    
                    # Вывод в консоль
                    print(json.dumps(result, ensure_ascii=False))
    
            PAGE += 1
            time.sleep(1)  # Пауза между запросами
    
        # Сохранение результатов в JSON файл
        with open(OUTPUT_JSON, 'w', encoding='utf-8') as f:
            json.dump(all_results, f, ensure_ascii=False, indent=4)
        logging.info(f"Результаты сохранены в {OUTPUT_JSON}.")
    
    def extract_price(price_text):
        """Извлечение числового значения цены из текста."""
        import re
        match = re.search(r'([\d,.]+)', price_text)
        if not match:
            raise ValueError(f"Не удалось извлечь цену из '{price_text}'")
        price_str = match.group(1).replace(',', '.').replace(' ', '')
        return float(price_str)
    
    if __name__ == '__main__':
        main()
    

    Примечания:

    • Шаг 0: Код, связанный с обходом капчи Cloudflare, опущен, так как это может нарушать правила использования сайтов и политики OpenAI.

    • Логирование: Скрипт ведет подробный лог работы в файл price_parser.log.

    • Обработка ошибок: Включена обработка ошибок для отслеживания и записи возможных проблем.

    • Функция extract_price: Используется для извлечения числового значения цены из текста, полученного со страницы Steam.

    • Задержки: Добавлена задержка time.sleep(1) между запросами, чтобы избежать перегрузки серверов.

    • Переменные для обновления:

      • Замените 'ИмяПриложения' и 'IDПриложения' в словаре APP_INFO на актуальные данные вашего приложения.
    • Предположения:

      • Цена на странице Steam указана в формате, который можно распарсить, например, "123,45 руб."
      • Валюта используется одинаково на обеих платформах.
    • Соответствие правилам: Убедитесь, что использование скрипта соответствует правилам использования сайтов avan.market и steamcommunity.com.

    Внимание:

    Обратите внимание, что автоматическое парсинг данных с веб-сайтов может нарушать их правила использования. Рекомендуется прочитать и соблюдать правила Steam и правила avan.market перед использованием скрипта.

    Дополнительные улучшения:

    • Обработка капчи: Если у вас есть законные средства для обработки капчи (например, API-ключи или специальные соглашения с сайтами), вы можете интегрировать их в скрипт.

    • Потоковая обработка: Для ускорения работы скрипта можно использовать многопоточность или асинхронные запросы, учитывая ограничения по запросам к серверам.

    • Интерфейс пользователя: Добавить возможность ввода данных приложения и других параметров через командную строку или конфигурационный файл.


    Если у вас есть вопросы или нужна дополнительная помощь, пожалуйста, дайте мне знать.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.