Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-05-13· OpenAIAi2 WildChat-4.8M (AI2)

есть ли ИИ с поддержкой русского языка, с открытым кодом, возможностью до обучения, не…

  1. User

    есть ли ИИ с поддержкой русского языка, с открытым кодом, возможностью до обучения, не продолжение диалога, а вопрос/ответ. НА УРОВНЕ CHAT GPT 3.5/4o от OpenAI. С ВОЗМОЖНОСТЬЮ ИНТЕРГРАЦИИ В ТЕЛЕГРАМ БОТА НА TELEBOT. С возможностью до обучения и редактирования базы

    ПРИШЛИ БОЛЬШОЙ СПИСОК ИИ

  2. Assistant

    Вот список ИИ с открытым кодом, которые поддерживают русский язык и могут быть интегрированы в Telegram-бота на библиотеке Telebot. Они поддерживают дообучение и редактирование базы знаний:

    1. GPT-J и GPT-Neo (EleutherAI):

      • Описание: Модели GPT-J и GPT-Neo от EleutherAI — это открытые версии GPT с архитектурой, аналогичной GPT-3.
      • Поддерживаемые языки: Основной — английский, но могут быть дообучены для поддержки русского языка.
      • Репозиторий: EleutherAI
    2. BERT и его модификации (Google):

      • Описание: BERT (Bidirectional Encoder Representations from Transformers) подходит для разнообразных NLP-задач, включая классификацию текстов, вопросы-ответы и извлечение именованных сущностей.
      • Поддержка: Есть модели предобученные для русского.
      • Репозиторий: BERT
    3. RoBERTa (Facebook AI):

      • Описание: Усовершенствованная версия BERT с большими объемами данных для обучения.
      • Поддержка: Есть модели, адаптированные для русского языка.
      • Репозиторий: RoBERTa
    4. Transformers от Hugging Face:

      • Описание: Библиотека, предоставляющая предобученные модели, включая BERT, GPT-2, GPT-J и другие.
      • Поддержка: Множество моделей, в том числе и для русского языка.
      • Репозиторий: Transformers
    5. DeepPavlov (MIPT):

      • Описание: Открытая библиотека для построения систем обработки естественного языка.
      • Поддержка: Полная поддержка русского языка, различные модели и инструменты.
      • Репозиторий: DeepPavlov
    6. Yandex YAMNet:

      • Описание: Нейросетевые модели для обработки естественного языка, разрабатываемые Yandex.
      • Поддержка: Специфические API и инструменты для русского языка.
      • Информация: Нужно проверять конкретные детали и использование.
    7. RuGPT-3 (Sber AI):

      • Описание: Российская версия GPT-3 адаптированная для русского языка.
      • Поддержка: Полная поддержка русского языка.
      • Репозиторий: RuGPT-3
    8. Open-Assistant:

      • Описание: Проект по созданию open-source ассистента с поддержкой различных языков.
      • Поддержка: Планируется поддержка русского языка.
      • Репозиторий: Open-Assistant

    Для интеграции в Telegram-бота на основе библиотеки Telebot, достаточно выбрать подходящую модель, развернуть её, и затем написать простую обёртку на Python, использующую Telebot для взаимодействия с пользователями. Многих из вышеуказанных проектов можно дообучить на вашем датасете и адаптировать под конкретные задачи.

  3. Assistant

    Вот список ИИ с открытым кодом, которые поддерживают русский язык и имеют возможность дообучения, а также могут быть интегрированы в Telegram-бота с использованием библиотеки Telebot. Эти ИИ системы обеспечивают поддержку диалоговых систем и могут быть настроены под ваши конкретные нужды:

    1. GPT-J и GPT-Neo (EleutherAI):

      • Описание: GPT-J и GPT-Neo — это открытые версии GPT, аналогичные GPT-3.
      • Поддерживаемые языки: Английский, но могут быть дообучены для русского языка.
      • Репозиторий: EleutherAI
    2. Transformers от Hugging Face:

      • Описание: Библиотека предоставляет предобученные модели, включая BERT, GPT-2, GPT-J и другие. Поддержка множества языков.
      • Поддержка русского языка: Есть модели для русского языка.
      • Репозиторий: Transformers
      • Инструкции по интеграции с Telebot: Используя Hugging Face Transformers, можно легко интегрировать модель в Telegram-бота путем написания кода на Python с использованием библиотеки Telebot.
    3. DeepPavlov (MIPT):

      • Описание: Открытая библиотека для NLP от Московского института физики и технологий.
      • Поддержка русского языка: Полная поддержка.
      • Репозиторий: DeepPavlov
      • Инструкции по интеграции с Telebot: Библиотека предлагает множество предобученных моделей и можно использовать их API для построения Telegram-бота.
    4. RuGPT-3 (Sber AI):

      • Описание: Российская версия GPT-3, адаптированная для русского языка.
      • Поддержка русского языка: Полная.
      • Репозиторий: RuGPT-3
      • Инструкции по интеграции с Telebot: Модели можно использовать через API или задеплоить самостоятельно и подключить к Telebot.
    5. Yandex YAMNet:

      • Описание: Нейросетевые модели для NLP от Яндекса.
      • Поддержка русского языка: Полная.
      • Информация и примеры: Нужно проверить конкретные детали и возможности использования.
      • Поддержка Telebot: Возможна через API или развертывание собственных решений.
    6. BERT и его модификации (Google):

      • Описание: BERT подходит для различных NLP-задач.
      • Поддержка русского языка: Присутствуют модели, предобученные для русского.
      • Репозиторий: BERT
      • Инструкции по интеграции с Telebot: Интеграция моделей BERT в цепочку обработки сообщений Telegram-бота.
    7. T5 (Text-to-Text Transfer Transformer) от Hugging Face:

      • Описание: Многофункциональная модель для различных задач NLP.
      • Поддержка русского языка: Есть модели для русского.
      • Репозиторий: T5
      • Инструкции по интеграции с Telebot: Можно дообучение модели и интеграция как сервис через API с использованием Telebot.

    Пример интеграции с использованием Telebot и Transformers от Hugging Face:

    from transformers import pipeline
    from telebot import TeleBot
    
    # Загрузка модели вопрос-ответ от Hugging Face
    model_name = "deepset/roberta-base-squad2"  # Замените на модель, поддерживающую русский язык
    qa_pipeline = pipeline("question-answering", model=model_name)
    
    # Создание Телеграм-бота
    API_TOKEN = "YOUR_API_TOKEN"
    bot = TeleBot(API_TOKEN)
    
    @bot.message_handler(commands=['start', 'help'])
    def send_welcome(message):
        bot.reply_to(message, "Здравствуйте! Задайте мне вопрос.")
    
    @bot.message_handler(func=lambda message: True)
    def handle_message(message):
        question = message.text
        context = "Ваш текст или база данных для извлечения ответа."  # Замените вашим контекстом
        answer = qa_pipeline({'question': question, 'context': context})
        bot.reply_to(message, answer['answer'])
    
    # Запуск бота
    bot.polling()
    
    

    Этот пример показывает, как интегрировать модель от Hugging Face в Telegram-бот используя библиотеку Telebot. Вы можете адаптировать этот пример под любую из перечисленных выше моделей.