Saya ingin melakukan analisis sentimen berita politik berbahasa Indonesia 5 tahun…
- User
Saya ingin melakukan analisis sentimen berita politik berbahasa Indonesia 5 tahun terakhir pada sebuah portal berita, misal Kompas.com. Saya ingin mengetahui apakah berita ini memiliki sentimen yang positif, negatif, atau netral terhadap topik politik yang dibicarakan pada beritanya. Saya telah mengumpulkan data berita tersebut menggunakan web scraping Python dan dihasilkan sekitar 16.500 baris data .csv berita politik dengan satu berita memiliki kisaran 200-400 kata. Data tersebut berisi kolom Judul, Tanggal, Isi Berita, dan Label. Kelas pelabelan data adalah “positif”, “negatif”, dan “netral” pada 16.500 data tersebut. Data sudah di preprocessed dan kolom data 'pre_processed' pada .pickle adalah hasil tokenisasi yang sudah dilakukan joined, seperti "partai buruh tuju jokowi bikin perppu ciptaker kasih dpr partai buruh" Dataset dibaca dengan pickle dengan kode Python berikut: “# Membaca dataset data_list = pickle.load(open(‘filtered_pre_processed_berita_joined_done.pkl’, ‘rb’)) data = pd.DataFrame(data_list, columns=[‘judul’, ‘isi’, ‘pre_processed’, ‘Label’, ‘Nama_Pelabel’]) data[‘Isi Berita’] = data[‘pre_processed’]”
Buat kode Python analisis sentimen menggunakan SVM!
- Assistant
Untuk melakukan analisis sentimen pada data berita politik berbahasa Indonesia, Anda bisa mengikuti langkah-langkah berikut dengan menggunakan metode Support Vector Machine (SVM) dari scikit-learn:
- Import library yang diperlukan:
import pickle import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.svm import SVC from sklearn.metrics import classification_report, confusion_matrix, accuracy_score from sklearn.pipeline import Pipeline- Baca dataset Anda seperti yang telah Anda lakukan sebelumnya:
data_list = pickle.load(open('filtered_pre_processed_berita_joined_done.pkl', 'rb')) data = pd.DataFrame(data_list, columns=['judul', 'isi', 'pre_processed', 'Label', 'Nama_Pelabel']) data['Isi Berita'] = data['pre_processed']- Pisahkan dataset menjadi data latih dan data uji (misal, 80% untuk pelatihan, 20% untuk pengujian):
X = data['Isi Berita'] y = data['Label'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)- Buat vektor fitur menggunakan TF-IDF:
vectorizer = TfidfVectorizer() X_train_tfidf = vectorizer.fit_transform(X_train) X_test_tfidf = vectorizer.transform(X_test)- Buat model SVM dan latih pada vektor fitur TF-IDF:
svm_model = SVC(kernel='linear', C=1) svm_model.fit(X_train_tfidf, y_train)- Lakukan prediksi dengan model yang telah dilatih:
y_pred = svm_model.predict(X_test_tfidf)- Evaluasi kinerja model dengan menghitung matriks kebingungan, laporan klasifikasi (presisi, recall, F1-score), dan akurasi:
print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred)) print("\nClassification Report:\n", classification_report(y_test, y_pred)) print("Accuracy Score: ", accuracy_score(y_test, y_pred))- (Opsional) Anda juga dapat menggabungkan langkah 4, 5, dan 6 dengan menggunakan Pipeline dari scikit-learn, sehingga lebih mudah untuk mengelola pekerjaan preprocessing dan pelatihan model:
pipeline = Pipeline([ ('tfidf', TfidfVectorizer()), ('svm', SVC(kernel='linear', C=1)) ]) pipeline.fit(X_train, y_train) y_pred = pipeline.predict(X_test)Setelah menjalankan kode di atas, Anda akan mendapatkan matriks kebingungan, laporan klasifikasi, dan skor akurasi yang mencerminkan kinerja model SVM Anda dalam mengklasifikasikan sentimen berita politik. Anda dapat menyesuaikan parameter pada langkah 4 dan 5, seperti mengganti kernel SVM atau mengatur parameter C, untuk meningkatkan kinerja model.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.