Ini adalah kode analisis sentimen teks yang menggunakan SVM yang kemudian dilanjutkan…
- User
Ini adalah kode analisis sentimen teks yang menggunakan SVM yang kemudian dilanjutkan menggunakan model gabungan BiLSTM-CNN. import numpy as np import pandas as pd import pickle import re from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder from sklearn.metrics import confusion_matrix, classification_report from sklearn.pipeline import Pipeline from sklearn.svm import SVC from keras.preprocessing.text import Tokenizer from keras.utils import pad_sequences from keras.models import Sequential from keras.layers import Dense, Embedding, SpatialDropout1D, Conv1D, MaxPooling1D, GlobalMaxPooling1D, Bidirectional, LSTM from keras.callbacks import EarlyStopping from sklearn.feature_extraction.text import TfidfVectorizer
Membaca dataset
data_list = pickle.load(open('filtered_pre_processed_berita_joined_done.pkl', 'rb')) data = pd.DataFrame(data_list, columns=['judul', 'isi', 'pre_processed', 'Label', 'Nama_Pelabel']) data['Isi Berita'] = data['pre_processed']
Tokenisasi data
tokenizer = Tokenizer(num_words=5000) tokenizer.fit_on_texts(data['Isi Berita']) X = tokenizer.texts_to_sequences(data['Isi Berita']) X = pad_sequences(X, maxlen=300)
Encoding label
le = LabelEncoder() y = le.fit_transform(data['Label'])
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
Memformat ulang data ke format teks sederhana
X_train_text = [' '.join(x) for x in data['pre_processed'].iloc[X_train]] X_test_text = [' '.join(x) for x in data['pre_processed'].iloc[X_test]]
Melatih SVM classifier dengan data berformat teks
svm_clf = Pipeline([ ('tfidf', TfidfVectorizer()), ('clf', SVC(kernel='linear', probability=True)) ])
svm_clf.fit(X_train_text, y_train)
Menghasilkan probabilitas SVM untuk setiap kelas
train_proba = svm_clf.predict_proba(X_train_text) test_proba = svm_clf.predict_proba(X_test_text)
Menggabungkan probabilitas dengan tokennya
X_train_new = np.hstack((X_train, train_proba)) X_test_new = np.hstack((X_test, test_proba))
Membangun dan melatih model Bi-LSTM dan CNN
model = Sequential() model.add(Embedding(input_dim=5000, output_dim=128, input_length=302)) # input_length menjadi 302 karena dua kolom probabilitas ditambahkan model.add(SpatialDropout1D(0.4)) model.add(Bidirectional(LSTM(196, dropout=0.2, recurrent_dropout=0.2, return_sequences=True))) model.add(Conv1D(filters=32, kernel_size=3, activation='relu')) model.add(MaxPooling1D(pool_size=2)) model.add(Conv1D(filters=64, kernel_size=3, activation='relu')) model.add(MaxPooling1D(pool_size=2)) model.add(Conv1D(filters=128, kernel_size=3, activation='relu')) model.add(GlobalMaxPooling1D()) model.add(Dense(1, activation='sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
history = model.fit(X_train_new, y_train, epochs=5, batch_size=256, validation_split=0.2, callbacks=[EarlyStopping(monitor='val_loss', patience=2)])
Evaluasi akurasi dan laporan klasifikasi
scores = model.evaluate(X_test_new, y_test, verbose=1) print("Accuracy: %.2f%%" % (scores[1]*100))
predictions = model.predict(X_test_new) y_pred = (predictions > 0.5).astype(int)
labels = np.unique(y) conf_matrix = confusion_matrix(y_test, y_pred, labels=labels) class_report = classification_report(y_test, y_pred)
print("Classification Report:\n\n", class_report)
- Assistant
Kode di atas menggambarkan proses analisis sentimen menggunakan SVM (Support Vector Machine) dan kemudian menggunakan model gabungan BiLSTM (Bidirectional Long Short-Term Memory) dan CNN (Convolutional Neural Network). Berikut adalah langkah-langkah dalam kode tersebut:
- Memuat dataset yang telah diproses sebelumnya dan menyimpannya dalam format DataFrame.
- Melakukan tokenisasi pada teks berita menggunakan
Tokenizerdari Keras. - Menggabungkan dan mengisi urutan token yang dihasilkan menjadi panjang yang sama.
- Melakukan Label Encoding pada label berita.
- Membagi dataset menjadi data latihan dan data pengujian.
- Memformat ulang data latihan dan pengujian menjadi format teks sederhana.
- Melatih classifier SVM dengan data berformat teks.
- Menghasilkan probabilitas SVM untuk setiap kelas pada data latihan dan pengujian.
- Menggabungkan probabilitas dengan tokennya untuk menghasilkan data latihan dan pengujian baru.
- Membangun dan melatih model BiLSTM dan CNN dengan dataset yang baru.
- Menampilkan akurasi dan laporan klasifikasi dari model yang dilatih.
Ketika Anda menjalankan kode di atas, Anda akan melatih model analisis sentimen ini, dan Anda akan mendapatkan akurasi dan laporan klasifikasi.
- User
Muncul error berikut "X_train_text = [' '.join(x) for x in data['pre_processed'].iloc[X_train]] raise IndexError("positional indexers are out-of-bounds") from err IndexError: positional indexers are out-of-bounds " Bagaimana?
- Assistant
Error yang Anda alami karena salah menggunakan iloc[]. Anda seharusnya menggunakan X_train dan X_test sebagai index dari data['pre_processed'] dengan menggunakan loc[]. Berikut adalah kode yang diperbaiki:
Gantikan kode ini:
X_train_text = [' '.join(x) for x in data['pre_processed'].iloc[X_train]] X_test_text = [' '.join(x) for x in data['pre_processed'].iloc[X_test]]dengan kode ini:
X_train_text = [' '.join(x) for x in data.loc[X_train, 'pre_processed']] X_test_text = [' '.join(x) for x in data.loc[X_test, 'pre_processed']]Sekarang kode harus berfungsi dengan benar tanpa error IndexError.
- User
Sekarang muncul error " X_train_text = [' '.join(x) for x in data.loc[X_train, 'pre_processed']] ~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^ raise ValueError("Cannot index with multidimensional key") ValueError: Cannot index with multidimensional key" Kenapa itu?
- Assistant
Mohon maaf atas kesalahpahaman sebelumnya. Saya menyadari bahwa saya membuat kesalahan dalam menggunakan metode
.loc[]. Sebenarnya, Anda seharusnya tidak mengekstrak teks dengan cara tersebut. Anda seharusnya menggunakan teks yang sudah ada di variabelX_train_textdanX_test_text. Berikut adalah perbaikannya:Gantikan kode ini:
X_train_text = [' '.join(x) for x in data.loc[X_train, 'pre_processed']] X_test_text = [' '.join(x) for x in data.loc[X_test, 'pre_processed']]dengan kode ini:
X_train_text = [' '.join(x) for x in data['pre_processed'][X_train]] X_test_text = [' '.join(x) for x in data['pre_processed'][X_test]]Sekarang kode harus berfungsi dengan benar tanpa error ValueError.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.