Степашка, [23.09.2024 17:26] У меня проблема, данный код иногда выдаёт данную ошибку:…
- User
Степашка, [23.09.2024 17:26] У меня проблема, данный код иногда выдаёт данную ошибку: telegram.error.BadRequest: Can't parse entities: unsupported start tag "" at byte offset 731 исправь только фрагмент кода, весь код переписывать не нужно.
Код: import re import time import asyncio import logging import functools from gradio_client import Client from collections import defaultdict from telegram import Update, ForceReply from telegram.constants import ChatAction from apscheduler.jobstores.base import JobLookupError from telegram.ext import ApplicationBuilder, CommandHandler, ContextTypes, MessageHandler, filters
TOKEN = "7628126368:AAGToIsnwlZdX4N5HYc4kRZkvIpUiTPTBv8"
Включение логирования
logger = logging.getLogger(name)
Инициализация клиента Gradio
try: logger.info("Initializing Gradio client...") client = Client("yuntian-deng/o1mini") logger.info("Gradio client initialized successfully") except Exception as e: logger.error(f"Failed to initialize Gradio client: {e}", exc_info=True)
Словарь для хранения истории чатов для каждого пользователя
chat_histories = {}
разрешённые ID
ALLOWED_USER_IDS = [[1956293525, "@Stepan_Hacker"]]
ADMIN_ID = 1956293525
Словарь для хранения частичных сообщений
partial_messages = defaultdict(dict)
Максимальный интервал между сообщениями в секундах
MAX_INTERVAL = 1 # Вы можете настроить это значение
async def process_accumulated_message(context: ContextTypes.DEFAULT_TYPE): user_id = context.job.data['user_id'] if user_id in partial_messages: full_message = partial_messages[user_id]['text'] # Удаляем накопленное сообщение из словаря del partial_messages[user_id]
# Вызываем функцию handle_message с полным сообщением await handle_message(context.job.data['update'], context, user_message=full_message) # Удаляем задачу из context.chat_data['jobs'], чтобы избежать попыток отменить ее снова if 'jobs' in context.chat_data and user_id in context.chat_data['jobs']: del context.chat_data['jobs'][user_id]async def message_collector(update: Update, context: ContextTypes.DEFAULT_TYPE): user_id = update.effective_user.id
# Проверка, разрешен ли доступ пользователю if user_id not in [item[0] for item in ALLOWED_USER_IDS]: await update.message.reply_text("Извините, у вас нет доступа к этому боту.") return user_id = update.effective_user.id message_text = update.message.text current_time = time.time() # Добавляем или обновляем частичное сообщение пользователя if user_id in partial_messages: partial_messages[user_id]['text'] += message_text partial_messages[user_id]['last_time'] = current_time else: partial_messages[user_id] = {'text': message_text, 'last_time': current_time} # Отменяем предыдущую задачу обработки сообщений для этого пользователя, если она есть if 'jobs' not in context.chat_data: context.chat_data['jobs'] = {} if user_id in context.chat_data['jobs']: try: context.chat_data['jobs'][user_id].schedule_removal() except JobLookupError: pass # Задача уже была удалена # Планируем новую задачу обработки через MAX_INTERVAL секунд job = context.job_queue.run_once( process_accumulated_message, when=MAX_INTERVAL, data={'user_id': user_id, 'update': update}, chat_id=update.effective_chat.id ) context.chat_data['jobs'][user_id] = jobdef markdown_to_telegram_html(text): # Заголовки text = re.sub(r'^# (.+)', r'<b>\1</b>', text, flags=re.MULTILINE) text = re.sub(r'^## (.+)', r'\1', text, flags=re.MULTILINE) text = re.sub(r'^### (.+)$', r'\1', text, flags=re.MULTILINE)
# Жирный курсивный текст text = re.sub(r'\*\*\*(.*?)\*\*\*', r'<b><i>\1</i></b>', text) # Жирный текст text = re.sub(r'\*\*(.*?)\*\*', r'<b>\1</b>', text) # Курсивный текст text = re.sub(r'\*(.*?)\*', r'<i>\1</i>', text)# Зачёркнутый текст text = re.sub(r'(.*?)', r'<s>\1</s>', text)Степашка, [23.09.2024 17:26]
Горизонтальная линия (заменяем на символы, поддерживаемые Telegram)
text = re.sub(r'^---$', r'――――――――――', text, flags=re.MULTILINE) # Ссылки text = re.sub(r'\[(.*?)\]\((.*?)\)', r'<a href="\2">\1</a>', text) # Блоки кода (многострочные) text = re.sub(r'(?:\w+\n)?([\s\S]+?) ', r'\1', text)
# Однострочный код text = re.sub(r'(.*?)', r'<code>\1</code>', text) # Списки (упрощенно) #text = re.sub(r'^-\s(.+)$', r'• \1', text, flags=re.MULTILINE) #text = re.sub(r'^\d+\.\s(.+)$', r' \1', text, flags=re.MULTILINE) # Удаление неподдерживаемых элементов #text = re.sub(r'!\[.*?\]\(.*?\)', '', text) # Изображения #text = re.sub(r'^\|.*\|.*$', '', text, flags=re.MULTILINE) # Таблицы #text = re.sub(r':[a-z_+-]+:', '', text) # Эмодзи #text = re.sub(r'[\^~](.+?)[\^~]', r'\1', text) # Подстрочный и надстрочный текст #text = re.sub(r'\$\$.*?\$\$', '', text, flags=re.DOTALL) # Формулы TeX #text = re.sub(r'\[\d+\]:\s*http.*$', '', text, flags=re.MULTILINE) # Сноски #text = re.sub(r'^> (.+)$', r'\1', text, flags=re.MULTILINE) # Цитаты # Удаление неподдерживаемых HTML-тегов def remove_unsupported_html_tags(text): allowed_tags = ['a', 'b', 'strong', 'i', 'em', 'u', 'ins', 's', 'strike', 'del', 'code', 'pre'] # Исправленное регулярное выражение pattern = r'</?(?!(?:' + '|'.join(allowed_tags) + r')\b)([a-zA-Z]+)(?:\s[^>]*)?>' text = re.sub(pattern, '', text) return text text = remove_unsupported_html_tags(text) return text.strip()Команда /start
async def start(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None: user = update.effective_user
# Проверка, разрешен ли доступ пользователю if user.id not in [item[0] for item in ALLOWED_USER_IDS]: await update.message.reply_text("Извините, у вас нет доступа к этому боту.") return await update.message.reply_html( rf"Привет, {user.mention_html()}! Как я могу вам помочь?", reply_markup=ForceReply(selective=True), )Обработка текстовых сообщений
async def handle_message(update: Update, context: ContextTypes.DEFAULT_TYPE, user_message=None) -> None: user_id = update.effective_user.id
if user_message is None: user_message = update.message.text # Флаг для контроля длительности отправки действия processing = True async def send_typing_action(): while processing: # Отправляем индикатор "печатает..." await update.effective_chat.send_action(action=ChatAction.TYPING) await asyncio.sleep(4) # Повторяем каждые 4 секунды # Запускаем отправку индикатора в фоне task = context.application.create_task(send_typing_action()) # Получение истории чата пользователя или инициализация новой history = chat_histories.get(user_id, []) try: loop = asyncio.get_running_loop() # Вызов API /predict # Используем run_in_executor для выполнения client.predict в отдельном потоке result = await loop.run_in_executor( None, functools.partial( client.predict, inputs=user_message, top_p=1, temperature=1, chat_counter=len(history), chatbot=history, api_name="/predict" ) ) # Разбор результата chatbot_output, chat_counter, status_code, reset_text = result # Извлечение последнего ответа бота if chatbot_output and len(chatbot_output) > 0: last_message = chatbot_output[-1] if isinstance(last_message, list) and len(last_message) == 2: bot_reply = last_message[1] else: bot_reply = "Произошла непредвиденная ошибка." else: bot_reply = "Произошла непредвиденная ошибка."# Обновление истории чата history.append((user_message, bot_reply)) chat_histories[user_id] = historyСтепашка, [23.09.2024 17:26]
Отправка ответа пользователю
def tokenize(message): tokens = [] pos = 0 length = len(message) while pos < length: if message[pos] == '<': # Это тег end_tag_pos = message.find('>', pos) if end_tag_pos == -1: # Неполный тег, считаем остальное текстом tokens.append(('text', message[pos:])) break else: token_content = message[pos+1:end_tag_pos] # Проверяем, является ли это закрывающим тегом if token_content.startswith('/'): tag_name = token_content[1:].split()[0] tokens.append(('end_tag', tag_name, '<'+token_content+'>')) else: # Тег может содержать атрибуты tag_name = token_content.split()[0] tokens.append(('start_tag', tag_name, '<'+token_content+'>')) pos = end_tag_pos + 1 else: # Это текст next_tag_pos = message.find('<', pos) if next_tag_pos == -1: # Больше нет тегов tokens.append(('text', message[pos:])) break else: tokens.append(('text', message[pos:next_tag_pos])) pos = next_tag_pos return tokens def generate_closing_tags(open_tags): closing_tags = '' for start_tag in reversed(open_tags): # Получаем имя тега из стартового тега tag_content = start_tag[1:-1].strip() if ' ' in tag_content: tag_name = tag_content.split(' ',1)[0] else: tag_name = tag_content closing_tags += '</{}>'.format(tag_name) return closing_tags async def send_large_message(message, update): MAX_MESSAGE_LENGTH = 4000 tokens = tokenize(message) open_tags = [] current_part = '' current_length = 0 parts = []Степашка, [23.09.2024 17:26]for token in tokens: if token[0] == 'start_tag': tag_name = token[1] tag_string = token[2] token_length = len(tag_string) if current_length + token_length > MAX_MESSAGE_LENGTH: # Закрываем теги и начинаем новую часть closing_tags = generate_closing_tags(open_tags) current_part += closing_tags parts.append(current_part) current_part = '' current_length = 0 # Открываем теги снова opening_tags = ''.join(open_tags) current_part += opening_tags current_length += len(opening_tags) current_part += tag_string current_length += token_length open_tags.append(tag_string) elif token[0] == 'end_tag': tag_name = token[1] tag_string = token[2] token_length = len(tag_string) if current_length + token_length > MAX_MESSAGE_LENGTH: # Закрываем теги и начинаем новую часть closing_tags = generate_closing_tags(open_tags) current_part += closing_tags parts.append(current_part) current_part = '' current_length = 0 # Открываем теги снова opening_tags = ''.join(open_tags) current_part += opening_tags current_length += len(opening_tags) current_part += tag_string current_length += token_length if open_tags: open_tags.pop() elif token[0] == 'text': text_content = token[1] text_length = len(text_content) pos = 0 while pos < text_length: remaining_space = MAX_MESSAGE_LENGTH - current_length if remaining_space <= 0: # Закрываем теги и начинаем новую часть closing_tags = generate_closing_tags(open_tags) current_part += closing_tags parts.append(current_part) current_part = '' current_length = 0 # Открываем теги снова opening_tags = ''.join(open_tags) current_part += opening_tags current_length += len(opening_tags) remaining_space = MAX_MESSAGE_LENGTH - current_length take_length = min(remaining_space, text_length - pos) current_part += text_content[pos:pos+take_length] current_length += take_length pos += take_length else: pass
# Закрываем оставшиеся открытые теги и добавляем последнюю часть if open_tags: closing_tags = generate_closing_tags(open_tags) current_part += closing_tags if current_part: parts.append(current_part) # Отправляем части сообщения for part in parts: await update.message.reply_text(part, parse_mode='HTML') send_bot_reply = markdown_to_telegram_html(bot_reply) await send_large_message(send_bot_reply, update) except Exception as e: logger.error(f"Ошибка при обработке сообщения: {e}", exc_info=True) await update.message.reply_text("Извините, произошла ошибка при обработке вашего запроса.", parse_mode='HTML')Степашка, [23.09.2024 17:26]finally: # Останавливаем отправку индикатора processing = False await task # Дожидаемся завершения задачи
Команда /clear для сброса истории чата
async def clear_chat(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None: user_id = update.effective_user.id
# Проверка, разрешен ли доступ пользователю if user_id not in [item[0] for item in ALLOWED_USER_IDS]: await update.message.reply_text("Извините, у вас нет доступа к этому боту.") return chat_histories[user_id] = [] await update.message.reply_text("Чат сброшен. Начнем с чистого листа!", parse_mode='HTML')async def get_my_id(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None: user_id = update.effective_user.id await update.message.reply_text(f"Ваш Telegram ID: {user_id}")
Функция для добавления пользователя в ALLOWED_USER_IDS
async def add_user(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None: # Проверяем, является ли пользователь администратором if update.effective_user.id != ADMIN_ID: await update.message.reply_text("Извините, у вас нет прав для выполнения этой команды.") return
# Получаем ID пользователя и имя из аргументов команды args = context.args if len(args) < 2: await update.message.reply_text("Пожалуйста, используйте команду в формате /add user_id username") return try: user_id = int(args[0]) username = ' '.join(args[1:]) # Проверяем, есть ли уже пользователь в списке if any(user[0] == user_id for user in ALLOWED_USER_IDS): await update.message.reply_text(f"Пользователь с ID {user_id} уже имеет доступ.") else: ALLOWED_USER_IDS.append([user_id, username]) await update.message.reply_text(f"Пользователь с ID {user_id} и именем {username} добавлен в список доступа.") except ValueError: await update.message.reply_text("Пожалуйста, введите корректный числовой ID пользователя.")Функция для удаления пользователя из ALLOWED_USER_IDS
async def remove_user(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None: # Проверяем, является ли пользователь администратором if update.effective_user.id != ADMIN_ID: await update.message.reply_text("Извините, у вас нет прав для выполнения этой команды.") return
# Получаем ID пользователя из аргументов команды args = context.args if len(args) != 1: await update.message.reply_text("Пожалуйста, используйте команду в формате /remove user_id") return try: user_id = int(args[0]) # Ищем пользователя в списке и удаляем его for user in ALLOWED_USER_IDS: if user[0] == user_id: ALLOWED_USER_IDS.remove(user) await update.message.reply_text(f"Пользователь с ID {user[0]} и именем {user[1]} удалён из списка доступа.") break else: await update.message.reply_text(f"Пользователь с ID {user_id} не найден в списке доступа.") except ValueError: await update.message.reply_text("Пожалуйста, введите корректный числовой ID пользователя.")Функция для отображения списка разрешённых пользователей
async def list_users(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None: # Проверяем, является ли пользователь администратором if update.effective_user.id != ADMIN_ID: await update.message.reply_text("Извините, у вас нет прав для выполнения этой команды.") return
if ALLOWED_USER_IDS: users_list = "\n".join(f"ID: {user[0]}, Username: {user[1]}" for user in ALLOWED_USER_IDS) await update.message.reply_text(f"Список разрешённых пользователей:\n{users_list}") else: await update.message.reply_text("Список разрешённых пользователей пуст.")Степашка, [23.09.2024 17:26](Необязательно) Функция для отображения помощи администратора
async def admin_help(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None: # Проверяем, является ли пользователь администратором if update.effective_user.id != ADMIN_ID: await update.message.reply_text("Извините, у вас нет прав для выполнения этой команды.") return
help_text = ( "Доступные команды администратора:\n" "/add ID - добавить пользователя в список разрешённых\n" "/remove ID - удалить пользователя из списка разрешённых\n" "/list - показать список разрешённых пользователей" ) await update.message.reply_text(help_text)def main(): # Замените 'YOUR_TELEGRAM_BOT_TOKEN' на токен вашего бота application = ApplicationBuilder().token(TOKEN).build()
# Регистрируем обработчики команд администратора application.add_handler(CommandHandler("add", add_user)) application.add_handler(CommandHandler("remove", remove_user)) application.add_handler(CommandHandler("list", list_users)) application.add_handler(CommandHandler("adminhelp", admin_help)) # Регистрируем обработчики команд и сообщений application.add_handler(CommandHandler("start", start)) application.add_handler(CommandHandler("clear", clear_chat)) application.add_handler(CommandHandler("myid", get_my_id)) message_handler = MessageHandler(filters.TEXT & ~filters.COMMAND, message_collector) application.add_handler(message_handler) # Запуск бота application.run_polling()if name == 'main': main()
- Assistant
Проблема, с которой вы столкнулись, связана с некорректными регулярными выражениями в функции
markdown_to_telegram_html, которые приводят к созданию пустых или неподдерживаемых HTML-тегов. В частности, строки:# Зачёркнутый текст text = re.sub(r'(.*?)', r'<s>\1</s>', text) # Однострочный код text = re.sub(r'(.*?)', r'<code>\1</code>', text)могут преобразовывать весь текст в теги
<s>и<code>, что вызывает ошибки при отправке сообщений в Telegram.Чтобы исправить эту проблему, необходимо изменить регулярные выражения таким образом, чтобы они корректно обрабатывали только соответствующие шаблоны Markdown и избегали создания пустых или некорректных тегов. Вот исправленный фрагмент функции
markdown_to_telegram_html:def markdown_to_telegram_html(text): # Заголовки text = re.sub(r'^# (.+)$', r'<b>\1</b>', text, flags=re.MULTILINE) text = re.sub(r'^## (.+)$', r'<b>\1</b>', text, flags=re.MULTILINE) text = re.sub(r'^### (.+)$', r'<b>\1</b>', text, flags=re.MULTILINE) # Жирный курсивный текст text = re.sub(r'\*\*\*(.*?)\*\*\*', r'<b><i>\1</i></b>', text) # Жирный текст text = re.sub(r'\*\*(.*?)\*\*', r'<b>\1</b>', text) # Курсивный текст text = re.sub(r'\*(.*?)\*', r'<i>\1</i>', text) # Зачёркнутый текст text = re.sub(r'~~(.*?)~~', r'<s>\1</s>', text) # Горизонтальная линия (заменяем на символы, поддерживаемые Telegram) text = re.sub(r'^---$', r'――――――――――', text, flags=re.MULTILINE) # Ссылки text = re.sub(r'\[(.*?)\]\((.*?)\)', r'<a href="\2">\1</a>', text) # Блоки кода (многострочные) text = re.sub(r'```([\s\S]+?)```', r'<pre>\1</pre>', text) # Однострочный код text = re.sub(r'`([^`]+)`', r'<code>\1</code>', text) # Удаление неподдерживаемых HTML-тегов def remove_unsupported_html_tags(text): allowed_tags = ['a', 'b', 'strong', 'i', 'em', 'u', 'ins', 's', 'strike', 'del', 'code', 'pre'] # Исправленное регулярное выражение pattern = r'</?(?!(?:' + '|'.join(allowed_tags) + r')\b)([a-zA-Z]+)(?:\s[^>]*)?>' text = re.sub(pattern, '', text) return text text = remove_unsupported_html_tags(text) return text.strip()Основные изменения:
-
Зачёркнутый текст:
- До:
text = re.sub(r'(.*?)', r'<s>\1</s>', text) - После:
text = re.sub(r'~~(.*?)~~', r'<s>\1</s>', text) - Пояснение: Теперь только текст, заключённый в
~~, будет преобразовываться в теги<s>, предотвращая оборачивание всего текста.
- До:
-
Однострочный код:
- До:
text = re.sub(r'(.*?)', r'<code>\1</code>', text) - После:
text = re.sub(r'`([^`]+)`', r'<code>\1</code>', text) - Пояснение: Теперь только текст, заключённый в
`, будет преобразовываться в теги<code>, избегая оборачивания всего текста.
- До:
-
Блоки кода (многострочные):
- Изменено регулярное выражение для корректного захвата многострочных блоков кода:
text = re.sub(r'```([\s\S]+?)```', r'<pre>\1</pre>', text) - Пояснение: Это обеспечивает правильное преобразование многострочных блоков кода, заключённых в тройные обратные кавычки.
- Изменено регулярное выражение для корректного захвата многострочных блоков кода:
Дополнительные рекомендации:
-
Порядок замен: Убедитесь, что более специфичные заменяются раньше, чтобы избежать перекрытия шаблонов. Например, сначала обрабатывайте тройные звёздочки
***(жирный курсив), затем двойные**(жирный), и только потом одинарные*(курсив). -
Экранирование символов: Если пользовательский ввод может содержать символы
<и>, убедитесь, что они правильно экранируются, чтобы избежать некорректного формирования HTML. -
Тестирование: После внесения изменений протестируйте бота с различными комбинациями Markdown-разметки, чтобы убедиться в корректности преобразования и отсутствии ошибок.
Пример изменения в контексте вашего кода:
Вот как будет выглядеть обновлённая функция
markdown_to_telegram_htmlв вашем коде:def markdown_to_telegram_html(text): # Заголовки text = re.sub(r'^# (.+)$', r'<b>\1</b>', text, flags=re.MULTILINE) text = re.sub(r'^## (.+)$', r'<b>\1</b>', text, flags=re.MULTILINE) text = re.sub(r'^### (.+)$', r'<b>\1</b>', text, flags=re.MULTILINE) # Жирный курсивный текст text = re.sub(r'\*\*\*(.*?)\*\*\*', r'<b><i>\1</i></b>', text) # Жирный текст text = re.sub(r'\*\*(.*?)\*\*', r'<b>\1</b>', text) # Курсивный текст text = re.sub(r'\*(.*?)\*', r'<i>\1</i>', text) # Зачёркнутый текст text = re.sub(r'~~(.*?)~~', r'<s>\1</s>', text) # Горизонтальная линия (заменяем на символы, поддерживаемые Telegram) text = re.sub(r'^---$', r'――――――――――', text, flags=re.MULTILINE) # Ссылки text = re.sub(r'\[(.*?)\]\((.*?)\)', r'<a href="\2">\1</a>', text) # Блоки кода (многострочные) text = re.sub(r'```([\s\S]+?)```', r'<pre>\1</pre>', text) # Однострочный код text = re.sub(r'`([^`]+)`', r'<code>\1</code>', text) # Удаление неподдерживаемых HTML-тегов def remove_unsupported_html_tags(text): allowed_tags = ['a', 'b', 'strong', 'i', 'em', 'u', 'ins', 's', 'strike', 'del', 'code', 'pre'] # Исправленное регулярное выражение pattern = r'</?(?!(?:' + '|'.join(allowed_tags) + r')\b)([a-zA-Z]+)(?:\s[^>]*)?>' text = re.sub(pattern, '', text) return text text = remove_unsupported_html_tags(text) return text.strip()Заключение
После внесения этих изменений функция
markdown_to_telegram_htmlбудет корректно преобразовывать Markdown-разметку в HTML, избегая создания пустых или неподдерживаемых тегов. Это должно устранить ошибкуtelegram.error.BadRequest: Can't parse entities: unsupported start tag "" at byte offset 731.Если проблема сохраняется после этого, рекомендуется добавить дополнительную обработку для проверки корректности HTML перед отправкой или использовать библиотеку для безопасного преобразования Markdown в HTML, такую как
markdownс соответствующими настройками безопасности. -
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.