Saya ingin melakukan analisis sentimen berita politik berbahasa Indonesia 5 tahun…
- User
Saya ingin melakukan analisis sentimen berita politik berbahasa Indonesia 5 tahun terakhir pada sebuah portal berita, misal Kompas.com. Saya ingin mengetahui apakah berita ini memiliki sentimen yang positif, negatif, atau netral terhadap topik politik yang dibicarakan pada beritanya. Saya telah mengumpulkan data berita tersebut menggunakan web scraping Python dan dihasilkan sekitar 16.500 baris data .csv berita politik dengan satu berita memiliki kisaran 200-400 kata. Data tersebut berisi kolom Judul, Tanggal, Isi Berita, dan Label. Kelas pelabelan data adalah “positif”, “negatif”, dan “netral” pada 16.500 data tersebut. Data sudah di preprocessed dan kolom data ‘pre_processed’ pada .pickle adalah hasil tokenisasi yang sudah dilakukan joined, seperti “partai buruh tuju jokowi bikin perppu ciptaker kasih dpr partai buruh” Dataset dibaca dengan pickle dengan kode Python berikut: “# Membaca dataset data_list = pickle.load(open(‘filtered_pre_processed_berita_joined_done.pkl’, ‘rb’)) data = pd.DataFrame(data_list, columns=[‘judul’, ‘isi’, ‘pre_processed’, ‘Label’, ‘Nama_Pelabel’]) data[‘Isi Berita’] = data[‘pre_processed’]”
Buat kode Python analisis sentimen menggunakan CNN layer yang kemudian dilanjutkan dengan LSTM layer!
- Assistant
Untuk menganalisis sentimen berita politik berbahasa Indonesia menggunakan CNN dan LSTM pada dataset Anda, Anda dapat mengikuti langkah-langkah berikut:
- Import pustaka yang diperlukan
import numpy as np import pandas as pd import pickle from keras.preprocessing.text import Tokenizer from keras.preprocessing.sequence import pad_sequences from keras.utils import to_categorical from keras.models import Sequential from keras.layers import Embedding, Conv1D, MaxPooling1D, LSTM, Dense, Dropout from sklearn.model_selection import train_test_split- Membaca dataset (sudah disertakan dalam soal)
data_list = pickle.load(open('filtered_pre_processed_berita_joined_done.pkl', 'rb')) data = pd.DataFrame(data_list, columns=['judul', 'isi', 'pre_processed', 'Label', 'Nama_Pelabel']) data['Isi Berita'] = data['pre_processed']- Siapkan data dan ubah label ke numerik
max_words = 10000 max_sequence_length = 400 tokenizer = Tokenizer(num_words=max_words) tokenizer.fit_on_texts(data['Isi Berita']) sequences = tokenizer.texts_to_sequences(data['Isi Berita']) # Membulatkan sequence ke nilai maksimum X = pad_sequences(sequences, maxlen=max_sequence_length) # Ubah label ke numerik labels_index = {'positif': 0, 'negatif': 1, 'netral': 2} y = to_categorical(np.asarray([labels_index[label] for label in data['Label']]))- Split dataset menjadi data latih dan data uji
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)- Bangun model CNN-LSTM untuk analisis sentimen
embedding_dim = 100 model = Sequential() model.add(Embedding(max_words, embedding_dim, input_length=max_sequence_length)) model.add(Conv1D(128, 5, activation='relu')) model.add(MaxPooling1D(5)) model.add(Conv1D(128, 5, activation='relu')) model.add(MaxPooling1D(5)) model.add(Conv1D(128, 5, activation='relu')) model.add(MaxPooling1D(5)) model.add(LSTM(128, dropout=0.2, recurrent_dropout=0.2)) model.add(Dense(3, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])- Latih model dengan data latih
epochs = 10 batch_size = 128 model.fit(X_train, y_train, batch_size=batch_size, epochs=epochs, validation_split=0.2)- Evaluasi model dengan data uji
loss, accuracy = model.evaluate(X_test, y_test) print('Loss:', loss) print('Accuracy:', accuracy)Dengan kode ini, Anda bisa membuat model analisis sentimen berita politik berbahasa Indonesia menggunakan CNN dan LSTM. Anda juga dapat menyesuaikan parameter, seperti
max_words,max_sequence_length,embedding_dim,epochs, danbatch_sizeuntuk meningkatkan kinerja model jika diperlukan.