Skip to content
TheChatArchiveThe Chat Archive
o1-preview-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

У меня есть датафрейм train содержащий колонну text и несколько других колонн. Используя…

  1. User

    У меня есть датафрейм train содержащий колонну text и несколько других колонн. Используя предобученную модель генерации текста для русского языка, дополни датафрейм строками, в которых текст внутри поля text перефразирован, но смысл сохранен, а остальные поля скопированы.

  2. Assistant

    Для того чтобы дополнить ваш датафрейм train строками, где в колонке text содержатся перефразированные тексты, а остальные колонки скопированы, вы можете использовать предобученную модель для перефразирования текста на русском языке. Одной из таких моделей является cointegrated/rut5-base-paraphraser из библиотеки HuggingFace Transformers.

    Ниже приведен пример кода, который выполняет данную задачу:

    # Установите необходимые библиотеки
    # Если вы еще не установили их, раскомментируйте следующие строки:
    # !pip install transformers sentencepiece
    
    import pandas as pd
    from transformers import T5ForConditionalGeneration, T5Tokenizer
    
    # Загрузите предобученную модель и токенизатор
    model_name = 'cointegrated/rut5-base-paraphraser'
    tokenizer = T5Tokenizer.from_pretrained(model_name)
    model = T5ForConditionalGeneration.from_pretrained(model_name)
    
    # Определите функцию для перефразирования текста
    def paraphrase(text, num_return_sequences=1, num_beams=5):
        input_text = f"paraphrase: {text}</s>"
        # Токенизируем входной текст
        encoding = tokenizer.encode_plus(
            input_text,
            padding='longest',
            return_tensors="pt"
        )
        input_ids, attention_mask = encoding["input_ids"], encoding["attention_mask"]
        # Генерируем перефразированный текст
        outputs = model.generate(
            input_ids=input_ids,
            attention_mask=attention_mask,
            max_length=256,
            num_beams=num_beams,
            num_return_sequences=num_return_sequences,
            no_repeat_ngram_size=2,
            early_stopping=True
        )
        # Декодируем сгенерированный текст
        paraphrased = [
            tokenizer.decode(output, skip_special_tokens=True, clean_up_tokenization_spaces=True)
            for output in outputs
        ]
        return paraphrased[0]
    
    # Загрузите ваш датафрейм
    # Предположим, что ваш датафрейм называется 'train'
    # train = pd.read_csv('path_to_your_file.csv')
    
    # Создайте список для новых строк
    new_rows = []
    
    # Проходим по каждой строке датафрейма
    for idx, row in train.iterrows():
        original_text = row['text']
        # Получаем перефразированный текст
        paraphrased_text = paraphrase(original_text)
        # Копируем строку и заменяем текст на перефразированный
        new_row = row.copy()
        new_row['text'] = paraphrased_text
        # Добавляем новую строку в список
        new_rows.append(new_row)
    
    # Создаем новый датафрейм из перефразированных строк
    paraphrased_df = pd.DataFrame(new_rows)
    
    # Объединяем оригинальный и перефразированный датафреймы
    augmented_train = pd.concat([train, paraphrased_df], ignore_index=True)
    
    # Теперь 'augmented_train' содержит оригинальные и перефразированные данные
    # Вы можете сохранить его в файл, если необходимо
    # augmented_train.to_csv('augmented_data.csv', index=False)
    

    Пояснения к коду:

    • Модель и токенизатор: Мы используем модель cointegrated/rut5-base-paraphraser, которая специально обучена для задач перефразирования на русском языке.
    • Функция paraphrase: Эта функция получает на вход текст и возвращает его перефразированную версию. Она добавляет префикс paraphrase: к входному тексту, как это принято для моделей типа T5.
    • Перебор строк датафрейма: Мы проходим по каждой строке датафрейма train, получаем перефразированный текст и создаем новую строку, где заменяем оригинальный текст на перефразированный.
    • Объединение данных: Используем pd.concat для объединения оригинального и перефразированного датафреймов.

    Оптимизация для больших данных:

    Если ваш датафрейм большой и процесс перефразирования занимает много времени, вы можете оптимизировать код с помощью обработки данных батчами:

    def paraphrase_batch(texts, num_return_sequences=1, num_beams=5):
        paraphrased_texts = []
        batch_size = 8  # Подберите оптимальный размер батча исходя из ресурсов
        for i in range(0, len(texts), batch_size):
            batch_texts = texts[i:i+batch_size]
            input_texts = [f"paraphrase: {txt}</s>" for txt in batch_texts]
            encoding = tokenizer.batch_encode_plus(
                input_texts,
                padding=True,
                truncation=True,
                max_length=256,
                return_tensors="pt"
            )
            input_ids, attention_mask = encoding["input_ids"], encoding["attention_mask"]
            outputs = model.generate(
                input_ids=input_ids,
                attention_mask=attention_mask,
                max_length=256,
                num_beams=num_beams,
                num_return_sequences=num_return_sequences,
                no_repeat_ngram_size=2,
                early_stopping=True
            )
            for output in outputs:
                paraphrased = tokenizer.decode(
                    output,
                    skip_special_tokens=True,
                    clean_up_tokenization_spaces=True
                )
                paraphrased_texts.append(paraphrased)
        return paraphrased_texts
    
    # Получаем список текстов из колонки 'text'
    texts = train['text'].tolist()
    
    # Перефразируем тексты батчами
    paraphrased_texts = paraphrase_batch(texts)
    
    # Создаем новый датафрейм с перефразированными текстами
    paraphrased_df = train.copy()
    paraphrased_df['text'] = paraphrased_texts
    
    # Объединяем оригинальный и перефразированный датафреймы
    augmented_train = pd.concat([train, paraphrased_df], ignore_index=True)
    

    Замечания:

    • Качество перефразирования: Обратите внимание, что качество перефразированных текстов зависит от возможностей модели. Всегда проверяйте полученные результаты.
    • Ресурсы: Модели типа T5 могут требовать значительных вычислительных ресурсов. Если у вас есть доступ к GPU, рекомендуется использовать его для ускорения вычислений.
    • Дополнительные настройки: Вы можете настроить параметры генерации, такие как num_beams, no_repeat_ngram_size, early_stopping, для получения лучших результатов.

    Итог:

    Этот подход позволит вам дополнить ваш датафрейм новыми строками с перефразированными текстами, сохраняя остальные данные без изменений. Это может быть полезно для увеличения объема данных при обучении моделей машинного обучения.