Перепиши текст со следующими замечаниями: Замечания: но в прикладных задачах он нас все…
- User
Перепиши текст со следующими замечаниями:
Замечания: но в прикладных задачах он нас все еще не устраивает, и нам нужно закладывать факты и умения на гораздо более ранние фазы обучения, чем файнтбн на задачу. Наш опыт показывает что это невозможно сделать без воспроизведения в какой то степени всех этапов обучения современных ллм с подмешиванием своих данных и очень тонкого процесса наслоения этого обучаенич поверх существующих моделей. Это область требует большого количества экспериментов и know how, и по результатам мы делимся не только самими базовыми моделями для которых мы улучшили понимание русского языка, но и методологией и данными, с помощью которых и другие компании смогут глубоко адаптировать опенсорс под свои прикладные задачи
Не вставляй замечания прямым тестом.
Текст: Для нас важно уметь дообучать самые продвинутые (в том числе ризонинговые) LLM и уметь не терять в общих способностях моделей. в тоже время решая важные для нас задачи:
- Управлять стоимостью инференса и скоростью генерации
- Дообучать на важные для нас домены (например домен саппорта или распределение внутреннего промптинга)
- Уменьшать количество артефактов и проблем с русским языком
Внутренние линейки моделей, которые мы используем в своих продуктах, проходят похожий процесс дообучения, но с использованием различных внутренних данных, которыми мы по понятным причинам поделиться не можем.
Модель T-pro 2.0 дообучена только на открытых данных и является для нас результатом работы над рецептом дообучения и артефактом которым мы можем поделиться с комьюнити. Модель можно использовать как для решения задач в промптинге так и для дообучения на свои задачи.
Мы впервые решили поделиться большим инструктивным датасетом T-Wix, датасет содержит более 500k примеров, включает в себя ризонинговую и неризонинговую часть. Примеры в датасете прошли многостадийный процесс очистки и балансировки. Его можно использовать для дообучения открытых и внутренних LLM как самостоятельно, так и с домешиванием доменных или внутренних данных.
Надеемся что наличие такого датасета в открытом доступе позволит большему кол-во энтузиастов и компаний делать свои крутые продукты на основе LLM моделей!
Assistant
Вот переработанный текст с учетом замечаний:
Для нас критически важно уметь эффективно дообучать самые современные языковые модели, включая ризонинговые, сохраняя при этом их базовые способности. При этом мы фокусируемся на ключевых аспектах:
- Оптимизация стоимости и скорости работы моделей
- Развитие компетенций в специфических областях
- Улучшение работы с русским языком
Практика показывает, что для достижения качественных результатов недостаточно простого файнтюнинга. Требуется комплексный подход, включающий воспроизведение этапов обучения современных LLM с интеграцией собственных данных и многоступенчатый процесс наслоения адаптаций поверх базовых моделей.
Наши внутренние модели проходят схожий путь адаптации, но используют проприетарные данные, которые не подлежат раскрытию.
T-pro 2.0 представляет собой результат нашей экспериментальной работы по созданию методологии эффективного дообучения. Модель тренировалась исключительно на открытых данных и доступна сообществу как готовый инструмент для промптинга или база для дальнейшей адаптации.
Особое внимание мы уделили созданию инструктивного датасета T-Wix, содержащего свыше 500 тысяч тщательно отобранных и обработанных примеров. Датасет включает как ризонинговые, так и неризонинговые задачи и прошел многоэтапную очистку. Его гибкая структура позволяет использовать его как самостоятельно, так и в комбинации с доменными данными.
Мы уверены, что открытый доступ к таким инструментам и методологиям существенно расширит возможности разработчиков и компаний в создании качественных продуктов на базе языковых моделей.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.