какие есть Lora адаптеры файнтюны для церковногславянского и на каких датасетах их обучали
- User
какие есть Lora адаптеры файнтюны для церковногславянского и на каких датасетах их обучали
Assistant
На данный момент в открытых источниках нет информации о специализированных LoRA-адаптерах (LoRA fine-tunes) для церковнославянского языка, а также о конкретных датасетах, на которых они обучались. Ниже приведено разъяснение по теме LoRA-адаптеров и их обучению, а также почему именно для церковнославянского языка таких данных пока нет.
Что такое LoRA-адаптеры (LoRA fine-tunes)
- LoRA (Low-Rank Adaptation) — это метод дообучения больших языковых моделей, при котором фиксируются основные веса модели, а обучаются лишь небольшие матрицы низкого ранга, корректирующие поведение модели. Это позволяет значительно снизить требования к ресурсам и объему обучающих данных[2].
- LoRA-адаптеры занимают мало места, позволяют быстро и эффективно адаптировать модели под новые задачи или стили, не требуя полного переобучения всей модели.
- Обучение LoRA-адаптеров обычно проводится на специализированных датасетах, соответствующих целевой задаче (например, для стилей, языков, тематик)[4].
LoRA-адаптеры для церковнославянского языка
- Церковнославянский язык — это исторический язык с ограниченным корпусом текстов, что затрудняет создание больших и качественных датасетов для обучения.
- В открытых источниках и сообществах, занимающихся дообучением моделей с помощью LoRA, нет упоминаний о готовых LoRA-адаптерах, специально обученных на церковнославянском языке.
- Для обучения LoRA-адаптеров на церковнославянском потребовался бы специализированный датасет, состоящий из текстов на церковнославянском, который должен быть достаточно большим и качественным. Такие датасеты либо отсутствуют в открытом доступе, либо не были широко использованы для обучения LoRA.
О датасетах для обучения LoRA-адаптеров
- Для обучения LoRA-адаптеров обычно используют датасеты, содержащие тексты или изображения, соответствующие целевой задаче. Например, для языковых моделей — тексты на нужном языке или в нужном стиле[4].
- В случае церковнославянского языка, если датасет существует, он может включать церковнославянские тексты из религиозных книг, рукописей и переводов, но таких датасетов в открытом доступе мало.
- В сообществе машинного обучения часто создают собственные датасеты из доступных источников, но информации о публичных датасетах для церковнославянского языка под LoRA нет.
Вывод
- Специализированных LoRA-адаптеров для церковнославянского языка в открытых источниках не найдено.
- Для их создания необходимы качественные датасеты церковнославянских текстов, которые либо отсутствуют, либо не опубликованы.
- Метод LoRA позволяет эффективно дообучать модели на небольших датасетах, так что при наличии корпуса церковнославянских текстов возможно создание таких адаптеров в будущем.
Если вы заинтересованы в создании LoRA-адаптера для церковнославянского, рекомендуется собрать или подготовить датасет из доступных церковнославянских текстов и использовать инструменты для обучения LoRA, описанные в гайдах по дообучению моделей[4].
- User
датасет из доступных церковнославянских текстов найди
Assistant
Для создания датасетов церковнославянских текстов доступны следующие основные ресурсы и корпуса:
-
Корпус церковнославянских текстов в составе Национального корпуса русского языка (НКРЯ). Этот корпус включает около 1250 текстов различных жанров церковнославянской литературы (богослужебные, святоотеческие, писание, типикон, церковное право) с объемом около 4.6 миллиона словоупотреблений и 150 тысяч словоформ. Тексты снабжены метатекстовой и грамматической разметкой. Основным источником текстов является «Библиотека святоотеческой литературы» (orthlib.ru), где собраны оцифрованные церковнославянские книги. Корпус доступен для исследований и лингвистического анализа[2][1].
-
Древнерусский корпус и Восточнославянская эпиграфика в НКРЯ. Включают морфологически размеченные тексты XI–XV веков с территории России, Украины, Беларуси и других стран, содержащие надписи на стенах церквей, камнях и предметах. Эти тексты представляют исторический материал, близкий к церковнославянскому языку[1].
-
Библиотека святоотеческой литературы (orthlib.ru) — основной источник для корпуса церковнославянских текстов, где собраны тексты богослужебной и святоотеческой литературы, переведённые и оцифрованные в текстовый формат. Однако тексты требуют дополнительной обработки и разметки для использования в корпусах[2].
-
Проекты и исследования по лингвистической разметке церковнославянских текстов. Включают работы по морфологической и грамматической разметке, что позволяет использовать тексты для NLP-задач и обучения моделей[5].
Таким образом, для создания датасетов церковнославянских текстов можно использовать корпус из НКРЯ с его историческими и богослужебными текстами, а также материалы из библиотеки святоотеческой литературы. Эти ресурсы содержат тексты в стандартизированном формате с лингвистической разметкой, что делает их пригодными для обучения моделей и создания LoRA-адаптеров.
Если требуется доступ к самим текстам, можно начать с сайта Национального корпуса русского языка (ruscorpora.ru), раздела церковнославянских и древнерусских текстов, а также с orthlib.ru для исходных материалов[1][2][5].
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.