maxlen = 600 # максимальная длина последовательности numclasses = 13 # число классов для…
- User
max_len = 600 # максимальная длина последовательности num_classes = 13 # число классов для классификации
создаем токенизатор
tokenizer = Tokenizer() tokenizer.fit_on_texts(train_df['text'])
from tensorflow.keras.utils import to_categorical
преобразуем категории в one-hot формат
train_labels = to_categorical(train_df['category'], num_classes=num_classes) test_labels = to_categorical(test_df['category'], num_classes=num_classes) val_labels = to_categorical(val_df['category'], num_classes=num_classes) ValueError: invalid literal for int() with base 10: 'extreme'
- Assistant
Ошибка связана с тем, что в категориях данных есть значение "extreme", которое не может быть преобразовано в целое число. Необходимо проверить исходные данные и убедиться, что все значения категорий могут быть преобразованы в целые числа. Если это невозможно, необходимо использовать другой подход к обработке категориальных данных.
- User
а что нужно сделать? train_df[‘category’] это категориальные данные
- Assistant
Если в данных есть значение "extreme", которое не может быть преобразовано в число, то нужно удалить все строки с этим значением в столбце "category" из датафрейма train_df.
Например, можно сделать так:
train_df = train_df[train_df['category'] != 'extreme']Эта команда удалит все строки со значением "extreme" из датафрейма train_df. После этого можно запустить код снова и проверить, что ошибка исчезла.
- User
там все значения строковые.МОжет быть другой нужен подход?
- Assistant
Если все значения в столбце "category" строковые, то преобразование в one-hot формат может быть осуществлено с помощью метода pandas
get_dummies(). Вот как это можно сделать:train_labels = pd.get_dummies(train_df['category'], dtype=float).values test_labels = pd.get_dummies(test_df['category'], dtype=float).values val_labels = pd.get_dummies(val_df['category'], dtype=float).valuesВ этом случае значения категорий будут автоматически преобразованы в one-hot формат. Можно проверить, что все значения категорий преобразованы корректно при помощи метода
unique():print(train_df['category'].unique())Результатом должен быть список строк, содержащий имена категорий в датафрейме. Далее, можно продолжать работать с train_labels, test_labels и val_labels для тренировки модели.