Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0613· openaiHugging Face Suzhen/CodeChat

Привет! У меня есть текст с его классификацией на позитивный и отрицательный. Данные…

  1. User

    Привет! У меня есть текст с его классификацией на позитивный и отрицательный. Данные хранятся в csv файле с колонками: текст и значение. Реализуй мне BERT для классификации этого текста

  2. Assistant

    Привет! Конечно, я могу помочь тебе реализовать модель BERT для классификации текста по его тональности.

    Следуй этим шагам:

    1. Установи необходимые библиотеки, такие как Transformers и PyTorch:
    !pip install transformers
    !pip install torch
    
    1. Загрузи необходимые библиотеки в Python:
    import pandas as pd
    import torch
    from transformers import BertTokenizer, BertForSequenceClassification, AdamW
    from sklearn.model_selection import train_test_split
    from torch.utils.data import TensorDataset, DataLoader, RandomSampler, SequentialSampler
    
    1. Загрузи csv файл с данными:
    data = pd.read_csv('путь_к_твоему_файлу.csv')
    
    1. Раздели данные на обучающую и тестовую выборки:
    train_texts, val_texts, train_labels, val_labels = train_test_split(data['текст'].values, data['значение'].values, test_size=0.2, random_state=42)
    
    1. Инициализируй токенизатор BERT:
    tokenizer = BertTokenizer.from_pretrained("bert-base-uncased", do_lower_case=True)
    
    1. Токенизируй тексты и преобразуй их в формат, понятный для модели BERT:
    train_encodings = tokenizer(train_texts.tolist(), truncation=True, padding=True)
    val_encodings = tokenizer(val_texts.tolist(), truncation=True, padding=True)
    
    train_dataset = TensorDataset(torch.tensor(train_encodings['input_ids']),
                                  torch.tensor(train_encodings['attention_mask']),
                                  torch.tensor(train_labels))
    val_dataset = TensorDataset(torch.tensor(val_encodings['input_ids']),
                                torch.tensor(val_encodings['attention_mask']),
                                torch.tensor(val_labels))
    
    1. Инициализируй модель BERT для классификации с двумя классами (позитивный и отрицательный):
    model = BertForSequenceClassification.from_pretrained("bert-base-uncased", num_labels=2)
    
    1. Установи параметры для обучения модели:
    batch_size = 16
    epochs = 5
    learning_rate = 2e-5
    
    train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
    val_loader = DataLoader(val_dataset, batch_size=batch_size)
    optimizer = AdamW(model.parameters(), lr=learning_rate)
    
    1. Обучи модель на своих данных:
    device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu')
    model.to(device)
    model.train()
    
    for epoch in range(epochs):
        for batch in train_loader:
            inputs = {'input_ids': batch[0].to(device),
                      'attention_mask': batch[1].to(device),
                      'labels': batch[2].to(device)}
            optimizer.zero_grad()
            outputs = model(**inputs)
            loss = outputs.loss
            loss.backward()
            optimizer.step()
    
    1. Оцени модель на тестовой выборке:
    model.eval()
    val_preds = []
    
    for batch in val_loader:
        with torch.no_grad():
            inputs = {'input_ids': batch[0].to(device),
                      'attention_mask': batch[1].to(device)}
            outputs = model(**inputs)
            logits = outputs.logits
            preds = torch.argmax(logits, dim=1)
            val_preds.extend(preds.cpu().numpy())
    

    Теперь у тебя есть модель BERT для классификации текста на позитивный и отрицательный. Помни, что это базовый пример, и ты можешь настроить гиперпараметры, а также добавить дополнительные слои или функциональности для достижения лучшей производительности.