Skip to content
TheChatArchiveThe Chat Archive
Qwenqwen-max-2025-01-25· Alibaba (Qwen)Hugging Face LMArena Human Preference 140K

Перепиши текст со следующими замечаниями: Замечания: но в прикладных задачах он нас все…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Kimikimi-k2-0711-preview’s answer.
  1. User

    Перепиши текст со следующими замечаниями:

    Замечания: но в прикладных задачах он нас все еще не устраивает, и нам нужно закладывать факты и умения на гораздо более ранние фазы обучения, чем файнтбн на задачу. Наш опыт показывает что это невозможно сделать без воспроизведения в какой то степени всех этапов обучения современных ллм с подмешиванием своих данных и очень тонкого процесса наслоения этого обучаенич поверх существующих моделей. Это область требует большого количества экспериментов и know how, и по результатам мы делимся не только самими базовыми моделями для которых мы улучшили понимание русского языка, но и методологией и данными, с помощью которых и другие компании смогут глубоко адаптировать опенсорс под свои прикладные задачи

    Не вставляй замечания прямым тестом.

    Текст: Для нас важно уметь дообучать самые продвинутые (в том числе ризонинговые) LLM и уметь не терять в общих способностях моделей. в тоже время решая важные для нас задачи:

    • Управлять стоимостью инференса и скоростью генерации
    • Дообучать на важные для нас домены (например домен саппорта или распределение внутреннего промптинга)
    • Уменьшать количество артефактов и проблем с русским языком

    Внутренние линейки моделей, которые мы используем в своих продуктах, проходят похожий процесс дообучения, но с использованием различных внутренних данных, которыми мы по понятным причинам поделиться не можем.

    Модель T-pro 2.0 дообучена только на открытых данных и является для нас результатом работы над рецептом дообучения и артефактом которым мы можем поделиться с комьюнити. Модель можно использовать как для решения задач в промптинге так и для дообучения на свои задачи.

    Мы впервые решили поделиться большим инструктивным датасетом T-Wix, датасет содержит более 500k примеров, включает в себя ризонинговую и неризонинговую часть. Примеры в датасете прошли многостадийный процесс очистки и балансировки. Его можно использовать для дообучения открытых и внутренних LLM как самостоятельно, так и с домешиванием доменных или внутренних данных.

    Надеемся что наличие такого датасета в открытом доступе позволит большему кол-во энтузиастов и компаний делать свои крутые продукты на основе LLM моделей!

  2. Qwen Assistant

    Вот переработанный текст с учетом замечаний:

    Для нас критически важно уметь эффективно дообучать самые современные языковые модели, включая ризонинговые, сохраняя при этом их базовые способности. При этом мы фокусируемся на ключевых аспектах:

    • Оптимизация стоимости и скорости работы моделей
    • Развитие компетенций в специфических областях
    • Улучшение работы с русским языком

    Практика показывает, что для достижения качественных результатов недостаточно простого файнтюнинга. Требуется комплексный подход, включающий воспроизведение этапов обучения современных LLM с интеграцией собственных данных и многоступенчатый процесс наслоения адаптаций поверх базовых моделей.

    Наши внутренние модели проходят схожий путь адаптации, но используют проприетарные данные, которые не подлежат раскрытию.

    T-pro 2.0 представляет собой результат нашей экспериментальной работы по созданию методологии эффективного дообучения. Модель тренировалась исключительно на открытых данных и доступна сообществу как готовый инструмент для промптинга или база для дальнейшей адаптации.

    Особое внимание мы уделили созданию инструктивного датасета T-Wix, содержащего свыше 500 тысяч тщательно отобранных и обработанных примеров. Датасет включает как ризонинговые, так и неризонинговые задачи и прошел многоэтапную очистку. Его гибкая структура позволяет использовать его как самостоятельно, так и в комбинации с доменными данными.

    Мы уверены, что открытый доступ к таким инструментам и методологиям существенно расширит возможности разработчиков и компаний в создании качественных продуктов на базе языковых моделей.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.