Kode python sentimen analisis data banyak berita berbahasa indonesia (karena berbahasa…
- User
Kode python sentimen analisis data banyak berita berbahasa indonesia (karena berbahasa indonesia, tolong cek apakah sudah sesuai kodenya untuk kebutuhan bahasa indonesia) dengan satu berita berkisar sekitar 200 - 500 kata menggunakan metode Transformer adalah sebagai berikut.
Membaca dataset
data = pd.read_csv('data_berita.csv') data['Isi Berita'] = data['Isi Berita'].apply(pre_process)
Tentukan label
sentiment_mapping = {'positif': 0, 'negatif': 1, 'netral': 2} data['Label'] = data['Label'].map(sentiment_mapping)
Split dataset
train_texts, test_texts, train_labels, test_labels = train_test_split(data['Isi Berita'].tolist(), data['Label'].tolist(), test_size=0.20, random_state=42)
Load tokenizer dan model
tokenizer = AutoTokenizer.from_pretrained('indolem/indobert-base-uncased') model = AutoModelForSequenceClassification.from_pretrained('indolem/indobert-base-uncased', num_labels=len(sentiment_mapping))
Atur dataset
class NewsDataset(Dataset): def init(self, texts, labels, tokenizer, max_len): self.texts = texts self.labels = labels self.tokenizer = tokenizer self.max_len = max_len
def len(self): return len(self.texts) def getitem(self, index): text = str(self.texts[index]) label = self.labels[index] inputs = self.tokenizer.encode_plus( text, add_special_tokens=True, max_length=self.max_len, padding='max_length', truncation=True ) return {'input_ids': torch.tensor(inputs['input_ids'], dtype=torch.long), 'attention_mask': torch.tensor(inputs['attention_mask'], dtype=torch.long), 'labels': torch.tensor(label, dtype=torch.long) }max_len = 400 train_dataset = NewsDataset(train_texts, train_labels, tokenizer, max_len) test_dataset = NewsDataset(test_texts, test_labels, tokenizer, max_len)
Melatih dan menguji model
training_args = TrainingArguments(output_dir='output', num_train_epochs=2, per_device_train_batch_size=8, per_device_eval_batch_size=16, warmup_steps=500, weight_decay=0.001, logging_dir='logs', logging_steps=10, evaluation_strategy='steps') trainer = Trainer(model=model, args=training_args, train_dataset=train_dataset, eval_dataset=test_dataset) trainer.train()
Menguji model
predictions, true_labels, _ = trainer.predict(test_dataset) predicted_labels = np.argmax(predictions, axis=1) print(classification_report(test_labels, predicted_labels)) print("Accuracy: ", accuracy_score(test_labels, predicted_labels))
Tolong ubah yang awalnya memakai data csv menjadi memakai data pickle berjudul "filtered_pre_processed_berita_joined.pkl" dengan kolom pickle adalah 'judul', 'isi', 'pre_processed', 'Label', 'Nama_Pelabel' dengan label berada pada kolom 'Label' dengan pilihan 'Positif', 'Negatif', dan 'Netral'. Tolong jelaskan juga apakah kode ini sudah melakukan konversi ke vektor kata roBERTa, jika belum tolong tambahkan konversi ke vektor kata roBERTa (jika diperlukan).
- Assistant
Untuk mengganti penggunaan data csv menjadi memakai data pickle, Anda hanya perlu mengganti baris baca dataset dari
pd.read_csv()menjadipd.read_pickle(). Selain itu, Anda perlu mengganti nama kolom sesuai dengan data yang ada di file pickle, seperti 'pre_processed' untuk kolom teks yang sudah di pre-process dan 'Label' untuk label sentimen. Berikut ini adalah kode yang telah dimodifikasi sesuai dengan permintaan Anda:import pandas as pd import numpy as np import torch from torch.utils.data import Dataset from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report, accuracy_score from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer # Membaca dataset data = pd.read_pickle('filtered_pre_processed_berita_joined.pkl') data['Isi Berita'] = data['pre_processed'] # Tentukan label sentiment_mapping = {'Positif': 0, 'Negatif': 1, 'Netral': 2} data['Label'] = data['Label'].map(sentiment_mapping) # Split dataset train_texts, test_texts, train_labels, test_labels = train_test_split(data['Isi Berita'].tolist(), data['Label'].tolist(), test_size=0.20, random_state=42) # Load tokenizer dan model tokenizer = AutoTokenizer.from_pretrained('indolem/indobert-base-uncased') model = AutoModelForSequenceClassification.from_pretrained('indolem/indobert-base-uncased', num_labels=len(sentiment_mapping)) # Atur dataset class NewsDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_len): self.texts = texts self.labels = labels self.tokenizer = tokenizer self.max_len = max_len def __len__(self): return len(self.texts) def __getitem__(self, index): text = str(self.texts[index]) label = self.labels[index] inputs = self.tokenizer.encode_plus( text, add_special_tokens=True, max_length=self.max_len, padding='max_length', truncation=True ) return {'input_ids': torch.tensor(inputs['input_ids'], dtype=torch.long), 'attention_mask': torch.tensor(inputs['attention_mask'], dtype=torch.long), 'labels': torch.tensor(label, dtype=torch.long) } max_len = 400 train_dataset = NewsDataset(train_texts, train_labels, tokenizer, max_len) test_dataset = NewsDataset(test_texts, test_labels, tokenizer, max_len) # Melatih dan menguji model training_args = TrainingArguments(output_dir='output', num_train_epochs=2, per_device_train_batch_size=8, per_device_eval_batch_size=16, warmup_steps=500, weight_decay=0.001, logging_dir='logs', logging_steps=10, evaluation_strategy='steps') trainer = Trainer(model=model, args=training_args, train_dataset=train_dataset, eval_dataset=test_dataset) trainer.train() # Menguji model predictions, true_labels, _ = trainer.predict(test_dataset) predicted_labels = np.argmax(predictions, axis=1) print(classification_report(test_labels, predicted_labels)) print("Accuracy: ", accuracy_score(test_labels, predicted_labels))Model yang digunakan ('indolem/indobert-base-uncased') dalam kode ini merupakan model bert yang telah dilatih khusus untuk bahasa Indonesia. Namun, jika Anda ingin menggunakan model roBERTa untuk konversi ke vektor kata, Anda dapat menggunakan tokenizer dan model dasar roBERTa dari Hugging Face dengan mengganti baris berikut:
tokenizer = AutoTokenizer.from_pretrained('indolem/indobert-base-uncased') model = AutoModelForSequenceClassification.from_pretrained('indolem/indobert-base-uncased', num_labels=len(sentiment_mapping))menjadi:
tokenizer = AutoTokenizer.from_pretrained('roberta-base') model = AutoModelForSequenceClassification.from_pretrained('roberta-base', num_labels=len(sentiment_mapping))Perlu diingat bahwa model roBERTa mungkin tidak memberikan hasil yang optimal untuk teks berbahasa Indonesia jika tidak dilatih khusus untuk bahasa tersebut. Anda mungkin perlu menggunakan model seperti IndoBERT yang telah dilatih untuk bahasa Indonesia.
- User
muncul error data[‘Isi Berita’] = data[‘pre_processed’]
TypeError: list indices must be integers or slices, not str contoh salah satu isi kolom ‘pre_processed’ adalah teks ‘saya suka makan’, ada 900+ row pre_processed. Bagaimana mengatasinya? - Assistant
Oh, karena dataset berupa list, kita harus melakukan sesuatu yang sedikit berbeda. Ini adalah modifikasi dari bagian Membaca dataset yang akan membuat DataFrame dari list dengan kolom
pre_processed:# Membaca dataset data_list = pickle.load(open('filtered_pre_processed_berita_joined.pkl', 'rb')) data = pd.DataFrame(data_list, columns=['judul', 'isi', 'pre_processed', 'Label', 'Nama_Pelabel']) data['Isi Berita'] = data['pre_processed']Maka kode yang sudah dimodifikasi akan menjadi:
import pandas as pd import numpy as np import torch from torch.utils.data import Dataset from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report, accuracy_score from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer # Membaca dataset data_list = pickle.load(open('filtered_pre_processed_berita_joined.pkl', 'rb')) data = pd.DataFrame(data_list, columns=['judul', 'isi', 'pre_processed', 'Label', 'Nama_Pelabel']) data['Isi Berita'] = data['pre_processed'] # Tentukan label sentiment_mapping = {'Positif': 0, 'Negatif': 1, 'Netral': 2} data['Label'] = data['Label'].map(sentiment_mapping) # Split dataset train_texts, test_texts, train_labels, test_labels = train_test_split(data['Isi Berita'].tolist(), data['Label'].tolist(), test_size=0.20, random_state=42) # Load tokenizer dan model tokenizer = AutoTokenizer.from_pretrained('indolem/indobert-base-uncased') model = AutoModelForSequenceClassification.from_pretrained('indolem/indobert-base-uncased', num_labels=len(sentiment_mapping)) # Atur dataset class NewsDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_len): self.texts = texts self.labels = labels self.tokenizer = tokenizer self.max_len = max_len def __len__(self): return len(self.texts) def __getitem__(self, index): text = str(self.texts[index]) label = self.labels[index] inputs = self.tokenizer.encode_plus( text, add_special_tokens=True, max_length=self.max_len, padding='max_length', truncation=True ) return {'input_ids': torch.tensor(inputs['input_ids'], dtype=torch.long), 'attention_mask': torch.tensor(inputs['attention_mask'], dtype=torch.long), 'labels': torch.tensor(label, dtype=torch.long) } max_len = 400 train_dataset = NewsDataset(train_texts, train_labels, tokenizer, max_len) test_dataset = NewsDataset(test_texts, test_labels, tokenizer, max_len) # Melatih dan menguji model training_args = TrainingArguments(output_dir='output', num_train_epochs=2, per_device_train_batch_size=8, per_device_eval_batch_size=16, warmup_steps=500, weight_decay=0.001, logging_dir='logs', logging_steps=10, evaluation_strategy='steps') trainer = Trainer(model=model, args=training_args, train_dataset=train_dataset, eval_dataset=test_dataset) trainer.train() # Menguji model predictions, true_labels, _ = trainer.predict(test_dataset) predicted_labels = np.argmax(predictions, axis=1) print(classification_report(test_labels, predicted_labels)) print("Accuracy: ", accuracy_score(test_labels, predicted_labels))Ini akan membaca data dari file
filtered_pre_processed_berita_joined.pkl, membuat DataFrame, dan mengatur kolomIsi Beritasebagai kolompre_processed. - User
Muncul peringatan dan error berikut. Tolong jelaskan dan bagaimana solusinya? Some weights of the model checkpoint at indolem/indobert-base-uncased were not used when initializing BertForSequenceClassification: ['cls.predictions.transform.dense.weight', 'cls.predictions.transform.dense.bias', 'cls.predictions.decoder.bias', 'cls.predictions.transform.LayerNorm.bias', 'cls.predictions.bias', 'cls.predictions.decoder.weight', 'cls.predictions.transform.LayerNorm.weight']
- This IS expected if you are initializing BertForSequenceClassification from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).
- This IS NOT expected if you are initializing BertForSequenceClassification from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model). Some weights of BertForSequenceClassification were not initialized from the model checkpoint at indolem/indobert-base-uncased and are newly initialized: ['classifier.bias', 'classifier.weight'] You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference. Sampe sini5 Traceback (most recent call last): File "C:\Users\User\Documents\SKRIPSI\Eksperimen\analisis_sentimen_transformer_lengkap.py", line 85, in train_dataset = NewsDataset(train_texts, train_labels, tokenizer, max_len) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ TypeError: NewsDataset() takes no arguments
- Assistant
Untuk mengatasi error ini, Anda harus memastikan bahwa metode
__init__dalam kelasNewsDatasetmemiliki dua garis bawah di depan dan belakangnya (__init__) dan sama halnya dengan metode__len__dan__getitem__. Sebelumnya, mungkin terjadi kesalahan dalam menyalin kode dan hanya memiliki satu garis bawah. Berikut ini adalah kelas NewsDataset yang sudah diperbaiki:class NewsDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_len): self.texts = texts self.labels = labels self.tokenizer = tokenizer self.max_len = max_len def __len__(self): return len(self.texts) def __getitem__(self, index): text = str(self.texts[index]) label = self.labels[index] inputs = self.tokenizer.encode_plus( text, add_special_tokens=True, max_length=self.max_len, padding='max_length', truncation=True ) return {'input_ids': torch.tensor(inputs['input_ids'], dtype=torch.long), 'attention_mask': torch.tensor(inputs['attention_mask'], dtype=torch.long), 'labels': torch.tensor(label, dtype=torch.long) }Terkait peringatan yang Anda terima, ini karena Anda sedang menggunakan model checkpoint yang dilatih untuk tugas yang berbeda (mungkin untuk pretraining) dan menginisialisasi model
BertForSequenceClassification. Peringatan ini menginformasikan bahwa beberapa bobot dari checkpoint tidak sesuai dengan arsitektur yang sedang Anda gunakan. Ini normal karena kita memang ingin menggunakan checkpoint ini sebagai titik awal dan melatihnya lebih lanjut untuk tugas kita (analisis sentimen).Solusinya adalah melanjutkan dengan pelatihan model yang sudah dimulai dari checkpoint ini, yang memang sudah Anda lakukan dengan kode Anda. Anda tidak perlu khawatir tentang peringatan ini selama Anda melatih model untuk tugas analisis sentimen Anda.
- User
luarannya seperti ini dan masih berlangsung {'loss': 1.1469, 'learning_rate': 1.0000000000000002e-06, 'epoch': 0.1} {'eval_loss': 1.0777902603149414, 'eval_runtime': 61.2739, 'eval_samples_per_second': 3.248, 'eval_steps_per_second': 0.212, 'epoch': 0.1} {'loss': 0.996, 'learning_rate': 2.0000000000000003e-06, 'epoch': 0.2} {'eval_loss': 0.9885867238044739, 'eval_runtime': 60.7907, 'eval_samples_per_second': 3.274, 'eval_steps_per_second': 0.214, 'epoch': 0.2} {'loss': 0.9521, 'learning_rate': 3e-06, 'epoch': 0.3} {'eval_loss': 1.0035326480865479, 'eval_runtime': 60.9355, 'eval_samples_per_second': 3.266, 'eval_steps_per_second': 0.213, 'epoch': 0.3} {'loss': 0.9059, 'learning_rate': 4.000000000000001e-06, 'epoch': 0.4} {'eval_loss': 1.0406590700149536, 'eval_runtime': 60.442, 'eval_samples_per_second': 3.292, 'eval_steps_per_second': 0.215, 'epoch': 0.4} apakah ini luaran per data? kalau datanya ada banyak bakal lama sekali ya?
- Assistant
Luaran yang Anda lihat merupakan hasil dari setiap langkah logging yang telah Anda atur dalam
TrainingArguments. Dalam kode Anda, Anda telah mengaturlogging_steps=10, yang berarti setiap 10 langkah dalam proses pelatihan, model akan mengeluarkan informasi tentang loss, learning rate, dan epoch. Selanjutnya, Anda juga mengaturevaluation_strategy='steps', yang berarti model akan dievaluasi setiap kali ia mencapai langkah logging.Jadi, luaran yang Anda lihat bukan untuk setiap data, tetapi untuk setiap kelompok data (batch) yang diproses dalam interval 10 langkah. Ya, jika Anda memiliki banyak data, proses pelatihan memang akan memakan waktu lebih lama.
Jika Anda ingin mengurangi frekuensi luaran ini, Anda dapat meningkatkan jumlah
logging_stepsatau mengubahevaluation_strategymenjadi'epoch', yang akan mengurangi jumlah evaluasi menjadi satu kali per epoch daripada per 10 langkah.Misalnya, Anda dapat mengubah
TrainingArgumentsmenjadi:training_args = TrainingArguments(output_dir='output', num_train_epochs=2, per_device_train_batch_size=8, per_device_eval_batch_size=16, warmup_steps=500, weight_decay=0.001, logging_dir='logs', logging_steps=50, evaluation_strategy='epoch')Dengan begitu, Anda akan melihat luarannya untuk setiap 50 langkah dan evaluasi hanya akan dilakukan pada akhir setiap epoch. Anda juga dapat menyesuaikan batch size dan jumlah epoch jika Anda ingin mengubah kecepatan pelatihan, tetapi perlu diingat bahwa perubahan ini juga dapat mempengaruhi kualitas model.
- User
jadi kalau ada 1000 data berita, karena logging_stepsnya per 10 langkah, berarti akan ada 100 luaran ?
- Assistant
Jumlah luaran akan tergantung juga pada
per_device_train_batch_sizeyang Anda gunakan. Misalnya, denganper_device_train_batch_size=8, setiap langkah akan memproses 8 berita. Oleh karena itu, jika Anda memiliki 1000 berita, maka ada 125 langkah dalam satu epoch (1000/8 = 125). Jadi, jikalogging_steps=10, model akan mengeluarkan log setiap 10 langkah, yang berarti Anda akan melihat total 12 luaran per epoch (125/10 = 12.5, di mana 0.5 akan diabaikan karena logging hanya dilakukan pada langkah keseluruhan). Jika Anda memiliki 2 epochs, Anda akan memiliki total 24 luaran log.Angka ini belum termasuk luaran dari evaluasi pada setiap langkah logging. Jika evaluasi juga dilakukan setiap 10 langkah, maka Anda akan memiliki 12 luaran evaluasi per epoch (untuk total 24 luaran selama 2 epoch). Jumlah luaran total akan menjadi 48 (24 luaran pelatihan + 24 luaran evaluasi) dalam contoh ini.
Perlu diingat bahwa ini hanya berlaku jika Anda tetap menggunakan
evaluation_strategy='steps'. Jika Anda menggantinya menjadi'epoch', jumlah luaran evaluasi akan menjadi hanya 1 per epoch, yang akan mengurangi jumlah total luaran yang Anda lihat. - User
Apakah ada metode analisis sentimen yang lebih baik dari Transformer?
- Assistant
Metode Transformers, khususnya model seperti BERT, RoBERTa, dan GPT-3, saat ini merupakan pendekatan yang sangat efektif untuk analisis sentimen dan banyak tugas NLP lainnya. Model-model ini menawarkan hasil yang sangat baik dalam hal akurasi dan generalisasi berdasarkan tugas yang mereka hadapi. Selain itu, beberapa model telah dilatih khusus untuk beberapa bahasa seperti IndoBERT untuk bahasa Indonesia, yang bisa memperbaiki performa lebih lanjut.
Namun, ada beberapa faktor yang mungkin membuat Anda ingin mencari metode alternatif. Salah satu faktor adalah ukuran model dan waktu inferensi. Model Transformers cenderung memiliki banyak parameter, yang mengakibatkan ukuran model yang besar dan waktu inferensi yang lebih lama. Jika Anda tertarik pada model yang lebih kecil dan lebih cepat, beberapa metode analisis sentimen yang lebih ringkas termasuk:
-
Model berbasis LSTM (Long Short-Term Memory): Model ini adalah jenis dari Recurrent Neural Networks (RNN) yang mengatasi masalah hilangnya gradien dalam RNN standar. LSTM telah terbukti efektif untuk berbagai tugas NLP termasuk analisis sentimen, dan memiliki jumlah parameter yang umumnya lebih sedikit daripada model Transformers.
-
Model berbasis CNN (Convolutional Neural Networks): Meskipun lebih dikenal untuk tugas pengenalan gambar, model CNN juga telah digunakan untuk tugas NLP seperti analisis sentimen. CNN dapat mengambil fitur lokal dalam teks, seperti n-grams, yang bisa bermanfaat untuk memahami sentimen.
-
Pendekatan berbasis aturan atau leksikon: Metode-metode ini mencakup teknik seperti algoritme VADER atau TextBlob yang mengandalkan kamus atau leksikon sentimen yang telah terdefinisi untuk menghitung skor sentimen dari teks.
Pendekatan berbasis aturan atau leksikon memiliki kecepatan inferensi yang sangat cepat dan biasanya tidak memerlukan banyak sumber daya. Namun, metode ini mungkin tidak menggabungkan konteks gramatikal saat menghitung sentimen.
Secara keseluruhan, keputusan tentang metode yang paling sesuai untuk analisis sentimen akan tergantung pada kebutuhan Anda, seperti kecepatan inferensi, akurasi, ukuran model, dan sumber daya yang tersedia. Model Transformer umumnya memberikan hasil yang sangat baik dalam hal akurasi, tetapi mungkin lebih lambat dan lebih besar daripada pendekatan alternatif. Jika kecepatan atau sumber daya menjadi pembatas, Anda mungkin ingin mencoba metode yang lebih ringkas seperti LSTM, CNN, atau metode berbasis aturan/leksikon.
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.