Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

У меня ошибка в строке: category:…

  1. User

    У меня ошибка в строке: category: random.choice(df_train_balanced[df_train_balanced['category'] == category]['text']) KeyError: 153 Вот мой код целиком:

    Импортирование необходимых библиотек

    import random import re from typing import Dict, List, Union

    from datasets import load_dataset from fuzzywuzzy import fuzz, process from sklearn.metrics import classification_report from tqdm.notebook import tqdm from transformers import pipeline import torch from transformers import AutoTokenizer from collections import Counter from imblearn.over_sampling import RandomOverSampler import pandas as pd

    Ваша функция для подготовки сообщений осталась без изменений

    Токенизация и предобработка

    tokenizer = AutoTokenizer.from_pretrained('distilbert-base-multilingual-cased')

    def preprocess(text): # Приведение к нижнему регистру и очистка text = text.lower() # Удаление знаков пунктуации и небуквенных символов text = re.sub(r'\W+', ' ', text) return text

    Загрузка данных

    DATASET_NAME = 'Davlan/sib200' DATASET_LANGUAGE = 'rus_Cyrl' train_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='train') validation_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='validation') test_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='test')

    Предобработка текста

    train_set = train_set.map(lambda x: {'text': preprocess(x['text'])}) validation_set = validation_set.map(lambda x: {'text': preprocess(x['text'])}) test_set = test_set.map(lambda x: {'text': preprocess(x['text'])})

    Проверка на количество классов и их баланс

    print(Counter(train_set['category']))

    Преобразование в DataFrame для использования с imbalanced-learn

    df_train = pd.DataFrame(train_set) ros = RandomOverSampler(random_state=42) df_train_balanced, y_balanced = ros.fit_resample(df_train, df_train['category']) print(Counter(y_balanced))

    Инициализация pipeline для zero-shot классификации

    llm_pipeline = pipeline( 'zero-shot-classification', model='distilbert-base-multilingual-cased', device=0 if torch.cuda.is_available() else -1 )

    Подготовка примеров для классификации

    examples_by_categories = { category: random.choice(df_train_balanced[df_train_balanced['category'] == category]['text']) for category in df_train_balanced['category'].unique() }

    def prepare_dataset_for_llm(dataset): return dataset.map(lambda it: prepare_message_for_llm(it['text'], examples_by_categories))

    Подготовка данных для LLM

    validation_set_for_llm = prepare_dataset_for_llm(validation_set) test_set_for_llm = prepare_dataset_for_llm(test_set)

    Генерация предсказаний для валидационного набора

    y_pred = list(map( lambda messages: llm_pipeline( messages[1]['content'], candidate_labels=list_of_categories, hypothesis_template="Этот текст связан с категорией {}." )['labels'][0], tqdm(validation_set_for_llm['message_for_llm']) ))

    y_true = validation_set['category']

    print(f"Первое предсказание: {y_pred[0]}") print(classification_report(y_true=y_true, y_pred=y_pred))

    Нормализация предсказаний

    y_pred_with_normalization = list(map( lambda it: process.extractOne(it, list_of_categories, scorer=fuzz.token_sort_ratio)[0], y_pred ))

    print(f"Первое нормализованное предсказание: {y_pred_with_normalization[0]}") print(classification_report(y_true=y_true, y_pred=y_pred_with_normalization))

    Генерация предсказаний для тестового набора

    y_pred_test = list(map( lambda messages: llm_pipeline( messages[1]['content'], candidate_labels=list_of_categories, hypothesis_template="Этот текст связан с категорией {}." )['labels'][0], tqdm(test_set_for_llm['message_for_llm']) ))

    y_true_test = test_set['category']

    Печать отчета о классификации для тестового набора

    print(classification_report(y_true=y_true_test, y_pred=y_pred_test))

    Нормализация предсказаний для тестового набора

    y_pred_test_with_normalization = list(map( lambda it: process.extractOne(it, list_of_categories, scorer=fuzz.token_sort_ratio)[0], y_pred_test ))

    print(classification_report(y_true=y_true_test, y_pred=y_pred_test_with_normalization))

  2. Assistant

    Ошибка KeyError: 153 возникает, когда вы пытаетесь извлечь данные из DataFrame по ключу, которого там нет. В данном случае, проблема, по-видимому, связана с random.choice(df_train_balanced[df_train_balanced['category'] == category]['text']). Чтобы понять, что именно происходит, давайте разберемся с возможными проблемами и их решениями:

    1. Проверка значений категорий: Проверьте, какие категории реально присутствуют в df_train_balanced. Вполне возможно, что category принимает какое-то значение, которого нет в столбце category в df_train_balanced. Вы можете сделать это с помощью:

      print(df_train_balanced['category'].unique())
      
    2. Проверка наличия данных для категории: Перед использованием random.choice, убедитесь, что для текущей category есть хотя бы один текст. Вы можете добавить проверку:

      for category in df_train_balanced['category'].unique():
          texts = df_train_balanced[df_train_balanced['category'] == category]['text']
          if texts.empty:
              print(f"No texts found for category {category}")
          else:
              examples_by_categories[category] = random.choice(texts)
      
    3. Поиск источника ошибки: Проверьте, соответствует ли структура вашего DataFrame тому, что ожидается. Вы можете сделать это с помощью:

      print(df_train_balanced.head())
      
    4. Сохранение состояния кода: Чтобы лучше отладить, сохраните состояние после применения RandomOverSampler и сравните с исходными данными, чтобы проверить, что каждая категория имеет хотя бы один элемент.

    Давайте теперь исправим в коде:

    examples_by_categories = {}
    for category in df_train_balanced['category'].unique():
        texts = df_train_balanced[df_train_balanced['category'] == category]['text']
        if texts.empty:
            print(f"No texts found for category {category}")
        else:
            examples_by_categories[category] = random.choice(texts)
    

    Проверьте, появляются ли сообщения о том, что для какой-то категории не найдены тексты. Если да, проблема, вероятно, связана с отсутствием данных конкретной категории, и вам нужно будет обработать этот случай отдельно.

  3. User

    теперь так: examples_by_categories[category] = random.choice(texts) KeyError: 38

  4. Assistant

    Появление KeyError: 38 указывает на проблему с получением значений из структуры данных по ключу, которого не существует. В данном случае 38 может относиться к строке данных в DataFrame или к отсутствующему значению в индексе DataFrame после подвыборки. Эта проблема может быть решена несколькими способами:

    1. Обновление индексов после подвыборки: После выполнения фильтрации в строке texts = df_train_balanced[df_train_balanced['category'] == category]['text'] индексы остаются из оригинального DataFrame. Для обновления индексов вы можете использовать метод reset_index:

      texts = df_train_balanced[df_train_balanced['category'] == category]['text'].reset_index(drop=True)
      
    2. Проверка наличия данных после подвыборки: Убедитесь, что после фильтрации отобран хотя бы один элемент. Возможно, проблема также связана с пустыми строками. Добавьте проверку для текста и скорректируйте ваш код:

      examples_by_categories = {}
      for category in df_train_balanced['category'].unique():
          texts = df_train_balanced[df_train_balanced['category'] == category]['text'].reset_index(drop=True)
          if texts.empty:
              print(f"No texts found for category {category}")
          else:
              try:
                  examples_by_categories[category] = random.choice(texts)
              except IndexError:
                  print(f"IndexError: no selectable items for category {category}")
      

    Попробуйте добавить предложенные изменения и проверьте, остается ли ошибка. Это должно помочь выявить и устранить причину появления KeyError.