Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· OpenAIAi2 WildChat-4.8M (AI2)

maxlen = 600 # максимальная длина последовательности numclasses = 13 # число классов для…

  1. User

    max_len = 600 # максимальная длина последовательности num_classes = 13 # число классов для классификации

    создаем токенизатор

    tokenizer = Tokenizer() tokenizer.fit_on_texts(train_df['text'])

    from tensorflow.keras.utils import to_categorical

    преобразуем категории в one-hot формат

    train_labels = to_categorical(train_df['category'], num_classes=num_classes) test_labels = to_categorical(test_df['category'], num_classes=num_classes) val_labels = to_categorical(val_df['category'], num_classes=num_classes) ValueError: invalid literal for int() with base 10: 'extreme'

  2. Assistant

    Ошибка связана с тем, что в категориях данных есть значение "extreme", которое не может быть преобразовано в целое число. Необходимо проверить исходные данные и убедиться, что все значения категорий могут быть преобразованы в целые числа. Если это невозможно, необходимо использовать другой подход к обработке категориальных данных.

  3. User

    а что нужно сделать? train_df[‘category’] это категориальные данные

  4. Assistant

    Если в данных есть значение "extreme", которое не может быть преобразовано в число, то нужно удалить все строки с этим значением в столбце "category" из датафрейма train_df.

    Например, можно сделать так:

    train_df = train_df[train_df['category'] != 'extreme']
    

    Эта команда удалит все строки со значением "extreme" из датафрейма train_df. После этого можно запустить код снова и проверить, что ошибка исчезла.

  5. User

    там все значения строковые.МОжет быть другой нужен подход?

  6. Assistant

    Если все значения в столбце "category" строковые, то преобразование в one-hot формат может быть осуществлено с помощью метода pandas get_dummies(). Вот как это можно сделать:

    train_labels = pd.get_dummies(train_df['category'], dtype=float).values
    test_labels = pd.get_dummies(test_df['category'], dtype=float).values
    val_labels = pd.get_dummies(val_df['category'], dtype=float).values
    

    В этом случае значения категорий будут автоматически преобразованы в one-hot формат. Можно проверить, что все значения категорий преобразованы корректно при помощи метода unique():

    print(train_df['category'].unique())
    

    Результатом должен быть список строк, содержащий имена категорий в датафрейме. Далее, можно продолжать работать с train_labels, test_labels и val_labels для тренировки модели.