В чём ошибка? Создание нового аугментированного датасета augmentedtrain = DatasetDict({…
- User
В чём ошибка?
Создание нового аугментированного датасета
augmented_train = DatasetDict({ 'train': trainset.map(augment_with_synonyms, batched=True) })
KeyError Traceback (most recent call last) in <cell line: 2>() 1 # Создание нового аугментированного датасета 2 augmented_train = DatasetDict({ ----> 3 'train': trainset.map(augment_with_synonyms, batched=True) 4 })
5 frames /usr/local/lib/python3.10/dist-packages/datasets/formatting/formatting.py in getitem(self, key) 275 276 def getitem(self, key): --> 277 value = self.data[key] 278 if key in self.keys_to_format: 279 value = self.format(key)
KeyError: 'text'
- Assistant
Ошибка, с которой вы столкнулись, связана с тем, что в вашем наборе данных
trainsetотсутствует столбец с именем'text'. Когда вы вызываете метод.map(), функция обработки, которая у вас указана (в данном случаеaugment_with_synonyms), пытается получить доступ к этому столбцу, но не может его найти.Чтобы решить эту проблему, вы можете выполнить следующие шаги:
-
Проверьте схему вашего датасета. Убедитесь, что в вашем
trainsetдействительно есть нужные столбцы. Для этого вы можете использовать:print(trainset.column_names) -
Убедитесь, что столбец имеет правильное имя. Если столбец с текстом имеет другое имя (например,
'content'или'sentence'), вам нужно изменить его в функцииaugment_with_synonyms, чтобы он обращался к правильному столбцу. -
Измените
augment_with_synonyms. Проверьте реализацию вашей функцииaugment_with_synonymsи убедитесь, что она ожидает правильное имя аргумента. Например:def augment_with_synonyms(batch): texts = batch['text'] # Убедитесь, что здесь указано правильное имя столбца. # остальная часть функции -
Попробуйте запустить код снова. После внесения необходимых изменений попробуйте еще раз выполнить код с созданием аугментированного датасета.
Если после всех этих шагов ошибка все еще сохраняется, предоставьте больше информации о структуре вашего
trainsetи реализацииaugment_with_synonyms, чтобы можно было дать более конкретные советы. -
- User
Функция у меня такая:
Функция для аугментации
def augment_with_synonyms(example): perturbed = Perturb.perturb(example['text'], Perturb.slang) augmented_texts = perturbed.data results = [] for text in augmented_texts: tokens = tokenizer.tokenize(text) labels = ['O'] * len(tokens) # Простое правило, можно уточнять для сложных случаев results.append({'tokens': tokens, 'ner_tags': labels}) return results
- Assistant
Судя по вашей функции
augment_with_synonyms, она ожидает, что в каждом передаваемом ей объекте будет ключ'text'. Если вы получаете ошибкуKeyError: 'text', это значит, что вtrainsetотсутствует такой ключ.Вот несколько способов, как вы можете решить эту проблему:
-
Проверьте названия столбцов: Убедитесь, что в
trainsetдействительно есть столбец с текстами. Вы можете это сделать, выполнив следующее:print(trainset.column_names)Убедитесь, что
trainsetимеет столбец с именем'text', или измените его на реальное имя столбца. -
Измените название ключа в функции: Если ваш столбец назван, например,
'content', вы можете изменить функциюaugment_with_synonymsтак, чтобы она обращалась к правильному ключу:def augment_with_synonyms(example): perturbed = Perturb.perturb(example['content'], Perturb.slang) # Измените 'text' на 'content' augmented_texts = perturbed.data results = [] for text in augmented_texts: tokens = tokenizer.tokenize(text) labels = ['O'] * len(tokens) # Простое правило, можно уточнять для сложных случаев results.append({'tokens': tokens, 'ner_tags': labels}) return results -
Если столбца нет: Если в вашем
trainsetнет столбца с текстом, вам нужно добавить его, например, если у вас есть другой столбец, который содержит текстовые данные. Это можно сделать, создав новый столбец. -
Используйте
batched=Trueправильно: Убедитесь, что в вызовеtrainset.map()правильный аргумент настроен. Если вы используетеbatched=True, ваша функция должна ожидать, чтоexampleбудет словарем с одним уровнем вложенности. В этом случае вам нужно изменить функцию, чтобы она обрабатывала батчи:def augment_with_synonyms(batch): perturbed_data = [] for text in batch['text']: # Здесь также проверьте правильность ключа perturbed = Perturb.perturb(text, Perturb.slang) augmented_texts = perturbed.data for aug_text in augmented_texts: tokens = tokenizer.tokenize(aug_text) labels = ['O'] * len(tokens) # Простое правило, можно уточнять для сложных случаев perturbed_data.append({'tokens': tokens, 'ner_tags': labels}) return perturbed_data
Сделав одно из подготовленных решений, попробуйте снова создать аугментированный датасет.
-
- User
Ошибка всё-равно остаётся
- Assistant
Если ошибка
KeyError: 'text'продолжает возникать, это может указывать на несколько потенциальных проблем в том, как вы обрабатываете ваш датасет и используете вашу функцию. Давайте разберем, что еще можно проверить или исправить.-
Проверьте, существует ли ключ
'text'вtrainset: Убедитесь, что ключ действительно существует в вашемtrainset. Используйте следующий код для проверки:print(trainset.column_names) -
Проверьте структуру ваших данных: Попробуйте вывести несколько записей вашего
trainset, чтобы увидеть их структуру:print(trainset[0]) # Выводим первую запись -
Измените код для проверки наличия ключа: Обновите вашу функцию
augment_with_synonyms, чтобы она проверяла, существует ли ключ'text', и выводила информативное сообщение в случае его отсутствия:def augment_with_synonyms(batch): if 'text' not in batch: raise KeyError("Ключ 'text' не найден в переданном батче!") perturbed_data = [] for text in batch['text']: perturbed = Perturb.perturb(text, Perturb.slang) augmented_texts = perturbed.data for aug_text in augmented_texts: tokens = tokenizer.tokenize(aug_text) labels = ['O'] * len(tokens) # Простое правило, можно уточнять для сложных случаев perturbed_data.append({'tokens': tokens, 'ner_tags': labels}) return perturbed_data -
Убедитесь, что вы правильно вызываете метод
map: После изменения функции попробуйте снова вызватьmap, вот так:augmented_train = DatasetDict({ 'train': trainset.map(augment_with_synonyms, batched=True) }) -
Попробуйте Богатое представление: Если после всех шагов ошибка сохраняется, попробуйте следующий подход:
- Обратите внимание на содержимое каждого элемента в
trainsetс помощью цикла:
for i in range(len(trainset)): print(trainset[i])Это поможет вам понять, что именно находится в датасете, и как можно адаптировать вашу функцию.
- Обратите внимание на содержимое каждого элемента в
-
Если вы используете другие ключи: Если ваш ключ не
'text', но, например,'content', измените его на нужное значение в вашей функции, как и в предыдущем примере.
Если после выполнения всех этих шагов ошибка все еще возникает, пожалуйста, предоставьте больше информации о структуре вашего датасета, включая вывод
print(trainset[0]), чтобы помочь более точно диагностировать проблему. -
- User
Вот что даёт мне print(trainset.column_names): ['bibcode', 'label_studio_id', 'ner_ids', 'ner_tags', 'section', 'tokens', 'unique_id']
- Assistant
Судя по вашему выводу
trainset.column_names, у вас нет столбца с именем'text'. Вместо него у вас есть другие ключи, такие как'tokens','ner_ids', и'ner_tags'. Ваша функцияaugment_with_synonymsдолжна быть изменена, чтобы использовать существующий формат вашего датасета.Изменение функции
Поскольку в вашем датасете есть поле
tokens, которое содержит уже токенизированные данные, возможно, вам нужен другой подход для аугментации. Если вам нужно просто аугментировать текущие данные изtokens, вы можете переписать функцию таким образом:def augment_with_synonyms(batch): perturbed_data = [] for tokens in batch['tokens']: # Соберите строку из токенов, если необходимо text = tokenizer.convert_tokens_to_string(tokens) perturbed = Perturb.perturb(text, Perturb.slang) augmented_texts = perturbed.data for aug_text in augmented_texts: aug_tokens = tokenizer.tokenize(aug_text) labels = ['O'] * len(aug_tokens) # Простое правило, можно уточнять для сложных случаев perturbed_data.append({'tokens': aug_tokens, 'ner_tags': labels}) return perturbed_dataВ данной версии возвращается новое значение для
tokens, основанное на аугментации текста, который изначально был собран из массивов токенов.Вызов
mapПосле изменения функции, вам нужно будет снова вызвать
map:augmented_train = DatasetDict({ 'train': trainset.map(augment_with_synonyms, batched=True) })Итог
Теперь ваш новый код должен работать, а ключи должны совпадать с теми, что есть в вашем исходном датасете. Если у вас есть вопросы или если возникнут другие ошибки, не стесняйтесь делиться ими!
- User
Теперь такая ошибка: AttributeError Traceback (most recent call last) in <cell line: 2>() 1 # Создание нового аугментированного датасета 2 augmented_train = DatasetDict({ ----> 3 'train': trainset.map(augment_with_synonyms, batched=True) 4 })
4 frames in augment_with_synonyms(batch) 6 text = tokenizer.convert_tokens_to_string(tokens) 7 ----> 8 perturbed = Perturb.perturb(text, Perturb.slang) 9 augmented_texts = perturbed.data 10
AttributeError: type object 'Perturb' has no attribute 'slang'
- Assistant
Ошибка
AttributeError: type object 'Perturb' has no attribute 'slang'указывает на то, что в классе или модулеPerturbне существует атрибута или метода с именемslang. Это может происходить по нескольким причинам:-
Ошибки в названии: Возможно, вы ошиблись в написании имени атрибута (например, оно может называться иначе).
-
Класс или модуль не загружен или не импортирован правильно: Убедитесь, что вы правильно импортировали класс
Perturbи все его атрибуты. Проверьте документацию, если это сторонний модуль, чтобы убедиться, какие атрибуты и методы доступны.
Как проверить и исправить
-
Проверить доступные атрибуты класса
Perturb: Вы можете просмотреть все атрибуты и методы класса или модуля, выполнив следующее:print(dir(Perturb))Это даст вам список всех методов и атрибутов, доступных в классе
Perturb, и вы сможете увидеть, есть ли среди нихslang. -
Проверьте документацию: Если
Perturb— это часть стороннего пакета, посмотрите документацию, чтобы понять, как правильно использовать класс и какие методы доступны. -
Используйте существующий метод: Если атрибута
slangнет, но есть другой метод или параметр для аугментации, замените его в строке:perturbed = Perturb.perturb(text, Perturb.slang) # Проверьте правильность использованияНапример, если атрибут называется
some_other_method, вам нужно будет изменить строку на:perturbed = Perturb.perturb(text, Perturb.some_other_method) -
Если у вас есть альтернативная реализация: Возможно, вам предстоит использовать другой способ аугментации. Если
Perturbне предоставляет нужной функциональности, вы можете рассмотреть использование других методов аугментации текста (например, с помощью библиотекиnlpaugили других решений для обработки текста).
После проверки указанных шагов попробуйте выполнить код снова. Если ошибка сохраняется, предоставьте дополнительные детали об объекте
Perturb, чтобы я мог помочь вам более конкретно. -
- User
Вот что даёт dir: ['class', 'delattr', 'dict', 'dir', 'doc', 'eq', 'format', 'ge', 'getattribute', 'gt', 'hash', 'init', 'init_subclass', 'le', 'lt', 'module', 'ne', 'new', 'reduce', 'reduce_ex', 'repr', 'setattr', 'sizeof', 'str', 'subclasshook', 'weakref', 'add_negation', 'add_typos', 'change_location', 'change_names', 'change_number', 'contract', 'contractions', 'data', 'expand_contractions', 'perturb', 'punctuation', 'remove_negation', 'strip_punctuation']
- Assistant
Согласно выводу
dir(Perturb), у вас действительно нет атрибутаslang. Однако методperturbдоступен, и он используется для выполнения аугментации. Чтобы выяснить, как использовать методperturb, вам потребуется проверить его документацию или реализацию.Работа с методом
perturb-
Проверьте документацию: Убедитесь, что вы знаете, какие параметры принимает метод
perturbи как его наилучшим образом использовать. Например, возможно, что метод принимает дополнительные параметры, которые вы должны передать при его вызове.Если метод
perturbотносится к стороннему пакету, найдите его документацию. Если это ваш собственный класс, посмотрите реализацию метода, чтобы понять, какие параметры он ожидает. -
Примеры использования: Попробуйте выполнить следующий пример, чтобы увидеть, как работает метод:
# Например, если perturb принимает текст и опционально дополнительные параметры perturbed = Perturb.perturb(text) # Попробуйте без 'Perturb.slang' сначала -
Предоставьте информацию о методе
perturb: Если у вас есть доступ к исходному коду или документации методаperturb, проверьте, какие параметры его должны передаваться. Например, он может требовать некоторые настройки, такие как выбор типа аугментации.
Исправление вашего кода
Если вы не уверены, какие параметры должен принимать метод
perturb, вы можете попробовать следующий код для отладки:def augment_with_synonyms(batch): perturbed_data = [] for tokens in batch['tokens']: text = tokenizer.convert_tokens_to_string(tokens) # Попробуйте вызвать метод perturb без вторичного параметра perturbed = Perturb.perturb(text) # Проверьте только с текстом augmented_texts = perturbed.data if hasattr(perturbed, 'data') else perturbed # Проверьте, есть ли data for aug_text in augmented_texts: aug_tokens = tokenizer.tokenize(aug_text) labels = ['O'] * len(aug_tokens) # Простое правило, можно уточнять для сложных случаев perturbed_data.append({'tokens': aug_tokens, 'ner_tags': labels}) return perturbed_dataЗаключение
После этих изменений попробуйте снова запустить ваш код. Если ошибка сохраняется или возникают новые проблемы, пожалуйста, поделитесь ее текстом, чтобы мы могли лучше понять проблему.
-
- User
Теперь вот: TypeError Traceback (most recent call last) in <cell line: 2>() 1 # Создание нового аугментированного датасета 2 augmented_train = DatasetDict({ ----> 3 'train': trainset.map(augment_with_synonyms, batched=True) 4 })
4 frames in augment_with_synonyms(batch) 6 7 # Попробуйте вызвать метод perturb без вторичного параметра ----> 8 perturbed = Perturb.perturb(text) # Проверьте только с текстом 9 augmented_texts = perturbed.data if hasattr(perturbed, 'data') else perturbed # Проверьте, есть ли data 10
TypeError: Perturb.perturb() missing 1 required positional argument: 'perturb_fn'
- Assistant
Теперь, когда вы видите ошибку
TypeError: Perturb.perturb() missing 1 required positional argument: 'perturb_fn', это указывает на то, что методperturbтребует обязательный аргумент, который вы не передали.Судя по имени аргумента
perturb_fn, он, вероятно, указывает на метод или функцию, которая будет использоваться для аугментации текста. Вам нужно выяснить, какие значения принимает этот параметр.Шаги для решения
-
Проверьте, какими функциями можно использовать
perturb_fn:В вашем случае,
Perturbможет содержать разные функции аугментации. В вашем первоначальном коде вы упоминалиPerturb.slang, что, вероятно, было тем, что вам нужно было использовать в качестве функции аугментации.Вы можете проверить, какие доступные функции есть в вашем классе
Perturb:print([name for name in dir(Perturb) if callable(getattr(Perturb, name))])Это даст вам список доступных методов, которые можно использовать.
-
Используйте правильный параметр для
perturb_fn:Теперь, когда вы знаете, что
perturb_fn— это обязательный параметр, вам нужно передать одну из функций, доступных в классеPerturb. Например, если вы хотите использоватьslang, это может выглядеть следующим образом (при условии, что она доступна):perturbed = Perturb.perturb(text, Perturb.slang) -
Обновите функцию:
Обновите вашу функцию
augment_with_synonymsследующим образом:def augment_with_synonyms(batch): perturbed_data = [] for tokens in batch['tokens']: text = tokenizer.convert_tokens_to_string(tokens) # Вызовите perturb с нужной функцией аугментации perturbed = Perturb.perturb(text, Perturb.slang) # Убедитесь, что Perturb.slang существует augmented_texts = perturbed.data if hasattr(perturbed, 'data') else perturbed for aug_text in augmented_texts: aug_tokens = tokenizer.tokenize(aug_text) labels = ['O'] * len(aug_tokens) # Простое правило perturbed_data.append({'tokens': aug_tokens, 'ner_tags': labels}) return perturbed_data
Заключение
После этих изменений попробуйте снова выполнить код, создающий аугментированный датасет. Если появятся новые ошибки или если что-то будет непонятно, не стесняйтесь задавать вопросы!
-