У меня есть датафрейм train содержащий колонну text и несколько других колонн. Используя…
- User
У меня есть датафрейм train содержащий колонну text и несколько других колонн. Используя предобученную модель генерации текста для русского языка, дополни датафрейм строками, в которых текст внутри поля text перефразирован, но смысл сохранен, а остальные поля скопированы.
- Assistant
Для того чтобы дополнить ваш датафрейм
trainстроками, где в колонкеtextсодержатся перефразированные тексты, а остальные колонки скопированы, вы можете использовать предобученную модель для перефразирования текста на русском языке. Одной из таких моделей являетсяcointegrated/rut5-base-paraphraserиз библиотеки HuggingFace Transformers.Ниже приведен пример кода, который выполняет данную задачу:
# Установите необходимые библиотеки # Если вы еще не установили их, раскомментируйте следующие строки: # !pip install transformers sentencepiece import pandas as pd from transformers import T5ForConditionalGeneration, T5Tokenizer # Загрузите предобученную модель и токенизатор model_name = 'cointegrated/rut5-base-paraphraser' tokenizer = T5Tokenizer.from_pretrained(model_name) model = T5ForConditionalGeneration.from_pretrained(model_name) # Определите функцию для перефразирования текста def paraphrase(text, num_return_sequences=1, num_beams=5): input_text = f"paraphrase: {text}</s>" # Токенизируем входной текст encoding = tokenizer.encode_plus( input_text, padding='longest', return_tensors="pt" ) input_ids, attention_mask = encoding["input_ids"], encoding["attention_mask"] # Генерируем перефразированный текст outputs = model.generate( input_ids=input_ids, attention_mask=attention_mask, max_length=256, num_beams=num_beams, num_return_sequences=num_return_sequences, no_repeat_ngram_size=2, early_stopping=True ) # Декодируем сгенерированный текст paraphrased = [ tokenizer.decode(output, skip_special_tokens=True, clean_up_tokenization_spaces=True) for output in outputs ] return paraphrased[0] # Загрузите ваш датафрейм # Предположим, что ваш датафрейм называется 'train' # train = pd.read_csv('path_to_your_file.csv') # Создайте список для новых строк new_rows = [] # Проходим по каждой строке датафрейма for idx, row in train.iterrows(): original_text = row['text'] # Получаем перефразированный текст paraphrased_text = paraphrase(original_text) # Копируем строку и заменяем текст на перефразированный new_row = row.copy() new_row['text'] = paraphrased_text # Добавляем новую строку в список new_rows.append(new_row) # Создаем новый датафрейм из перефразированных строк paraphrased_df = pd.DataFrame(new_rows) # Объединяем оригинальный и перефразированный датафреймы augmented_train = pd.concat([train, paraphrased_df], ignore_index=True) # Теперь 'augmented_train' содержит оригинальные и перефразированные данные # Вы можете сохранить его в файл, если необходимо # augmented_train.to_csv('augmented_data.csv', index=False)Пояснения к коду:
- Модель и токенизатор: Мы используем модель
cointegrated/rut5-base-paraphraser, которая специально обучена для задач перефразирования на русском языке. - Функция
paraphrase: Эта функция получает на вход текст и возвращает его перефразированную версию. Она добавляет префиксparaphrase:к входному тексту, как это принято для моделей типа T5. - Перебор строк датафрейма: Мы проходим по каждой строке датафрейма
train, получаем перефразированный текст и создаем новую строку, где заменяем оригинальный текст на перефразированный. - Объединение данных: Используем
pd.concatдля объединения оригинального и перефразированного датафреймов.
Оптимизация для больших данных:
Если ваш датафрейм большой и процесс перефразирования занимает много времени, вы можете оптимизировать код с помощью обработки данных батчами:
def paraphrase_batch(texts, num_return_sequences=1, num_beams=5): paraphrased_texts = [] batch_size = 8 # Подберите оптимальный размер батча исходя из ресурсов for i in range(0, len(texts), batch_size): batch_texts = texts[i:i+batch_size] input_texts = [f"paraphrase: {txt}</s>" for txt in batch_texts] encoding = tokenizer.batch_encode_plus( input_texts, padding=True, truncation=True, max_length=256, return_tensors="pt" ) input_ids, attention_mask = encoding["input_ids"], encoding["attention_mask"] outputs = model.generate( input_ids=input_ids, attention_mask=attention_mask, max_length=256, num_beams=num_beams, num_return_sequences=num_return_sequences, no_repeat_ngram_size=2, early_stopping=True ) for output in outputs: paraphrased = tokenizer.decode( output, skip_special_tokens=True, clean_up_tokenization_spaces=True ) paraphrased_texts.append(paraphrased) return paraphrased_texts # Получаем список текстов из колонки 'text' texts = train['text'].tolist() # Перефразируем тексты батчами paraphrased_texts = paraphrase_batch(texts) # Создаем новый датафрейм с перефразированными текстами paraphrased_df = train.copy() paraphrased_df['text'] = paraphrased_texts # Объединяем оригинальный и перефразированный датафреймы augmented_train = pd.concat([train, paraphrased_df], ignore_index=True)Замечания:
- Качество перефразирования: Обратите внимание, что качество перефразированных текстов зависит от возможностей модели. Всегда проверяйте полученные результаты.
- Ресурсы: Модели типа T5 могут требовать значительных вычислительных ресурсов. Если у вас есть доступ к GPU, рекомендуется использовать его для ускорения вычислений.
- Дополнительные настройки: Вы можете настроить параметры генерации, такие как
num_beams,no_repeat_ngram_size,early_stopping, для получения лучших результатов.
Итог:
Этот подход позволит вам дополнить ваш датафрейм новыми строками с перефразированными текстами, сохраняя остальные данные без изменений. Это может быть полезно для увеличения объема данных при обучении моделей машинного обучения.
- Модель и токенизатор: Мы используем модель