Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· OpenAIAi2 WildChat-4.8M (AI2)

Ini adalah kode analisis sentimen teks yang menggunakan SVM yang kemudian dilanjutkan…

  1. User

    Ini adalah kode analisis sentimen teks yang menggunakan SVM yang kemudian dilanjutkan menggunakan model gabungan BiLSTM-CNN. import numpy as np import pandas as pd import pickle import re from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder from sklearn.metrics import confusion_matrix, classification_report from sklearn.pipeline import Pipeline from sklearn.svm import SVC from keras.preprocessing.text import Tokenizer from keras.utils import pad_sequences from keras.models import Sequential from keras.layers import Dense, Embedding, SpatialDropout1D, Conv1D, MaxPooling1D, GlobalMaxPooling1D, Bidirectional, LSTM from keras.callbacks import EarlyStopping from sklearn.feature_extraction.text import TfidfVectorizer

    Membaca dataset

    data_list = pickle.load(open('filtered_pre_processed_berita_joined_done.pkl', 'rb')) data = pd.DataFrame(data_list, columns=['judul', 'isi', 'pre_processed', 'Label', 'Nama_Pelabel']) data['Isi Berita'] = data['pre_processed']

    Tokenisasi data

    tokenizer = Tokenizer(num_words=5000) tokenizer.fit_on_texts(data['Isi Berita']) X = tokenizer.texts_to_sequences(data['Isi Berita']) X = pad_sequences(X, maxlen=300)

    Encoding label

    le = LabelEncoder() y = le.fit_transform(data['Label'])

    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

    Memformat ulang data ke format teks sederhana

    X_train_text = [' '.join(x) for x in data['pre_processed'].iloc[X_train]] X_test_text = [' '.join(x) for x in data['pre_processed'].iloc[X_test]]

    Melatih SVM classifier dengan data berformat teks

    svm_clf = Pipeline([ ('tfidf', TfidfVectorizer()), ('clf', SVC(kernel='linear', probability=True)) ])

    svm_clf.fit(X_train_text, y_train)

    Menghasilkan probabilitas SVM untuk setiap kelas

    train_proba = svm_clf.predict_proba(X_train_text) test_proba = svm_clf.predict_proba(X_test_text)

    Menggabungkan probabilitas dengan tokennya

    X_train_new = np.hstack((X_train, train_proba)) X_test_new = np.hstack((X_test, test_proba))

    Membangun dan melatih model Bi-LSTM dan CNN

    model = Sequential() model.add(Embedding(input_dim=5000, output_dim=128, input_length=302)) # input_length menjadi 302 karena dua kolom probabilitas ditambahkan model.add(SpatialDropout1D(0.4)) model.add(Bidirectional(LSTM(196, dropout=0.2, recurrent_dropout=0.2, return_sequences=True))) model.add(Conv1D(filters=32, kernel_size=3, activation='relu')) model.add(MaxPooling1D(pool_size=2)) model.add(Conv1D(filters=64, kernel_size=3, activation='relu')) model.add(MaxPooling1D(pool_size=2)) model.add(Conv1D(filters=128, kernel_size=3, activation='relu')) model.add(GlobalMaxPooling1D()) model.add(Dense(1, activation='sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

    history = model.fit(X_train_new, y_train, epochs=5, batch_size=256, validation_split=0.2, callbacks=[EarlyStopping(monitor='val_loss', patience=2)])

    Evaluasi akurasi dan laporan klasifikasi

    scores = model.evaluate(X_test_new, y_test, verbose=1) print("Accuracy: %.2f%%" % (scores[1]*100))

    predictions = model.predict(X_test_new) y_pred = (predictions > 0.5).astype(int)

    labels = np.unique(y) conf_matrix = confusion_matrix(y_test, y_pred, labels=labels) class_report = classification_report(y_test, y_pred)

    print("Classification Report:\n\n", class_report)

  2. Assistant

    Kode di atas menggambarkan proses analisis sentimen menggunakan SVM (Support Vector Machine) dan kemudian menggunakan model gabungan BiLSTM (Bidirectional Long Short-Term Memory) dan CNN (Convolutional Neural Network). Berikut adalah langkah-langkah dalam kode tersebut:

    1. Memuat dataset yang telah diproses sebelumnya dan menyimpannya dalam format DataFrame.
    2. Melakukan tokenisasi pada teks berita menggunakan Tokenizer dari Keras.
    3. Menggabungkan dan mengisi urutan token yang dihasilkan menjadi panjang yang sama.
    4. Melakukan Label Encoding pada label berita.
    5. Membagi dataset menjadi data latihan dan data pengujian.
    6. Memformat ulang data latihan dan pengujian menjadi format teks sederhana.
    7. Melatih classifier SVM dengan data berformat teks.
    8. Menghasilkan probabilitas SVM untuk setiap kelas pada data latihan dan pengujian.
    9. Menggabungkan probabilitas dengan tokennya untuk menghasilkan data latihan dan pengujian baru.
    10. Membangun dan melatih model BiLSTM dan CNN dengan dataset yang baru.
    11. Menampilkan akurasi dan laporan klasifikasi dari model yang dilatih.

    Ketika Anda menjalankan kode di atas, Anda akan melatih model analisis sentimen ini, dan Anda akan mendapatkan akurasi dan laporan klasifikasi.

  3. User

    Muncul error berikut "X_train_text = [' '.join(x) for x in data['pre_processed'].iloc[X_train]] raise IndexError("positional indexers are out-of-bounds") from err IndexError: positional indexers are out-of-bounds " Bagaimana?

  4. Assistant

    Error yang Anda alami karena salah menggunakan iloc[]. Anda seharusnya menggunakan X_train dan X_test sebagai index dari data['pre_processed'] dengan menggunakan loc[]. Berikut adalah kode yang diperbaiki:

    Gantikan kode ini:

    X_train_text = [' '.join(x) for x in data['pre_processed'].iloc[X_train]]
    X_test_text = [' '.join(x) for x in data['pre_processed'].iloc[X_test]]
    

    dengan kode ini:

    X_train_text = [' '.join(x) for x in data.loc[X_train, 'pre_processed']]
    X_test_text = [' '.join(x) for x in data.loc[X_test, 'pre_processed']]
    

    Sekarang kode harus berfungsi dengan benar tanpa error IndexError.

  5. User

    Sekarang muncul error " X_train_text = [' '.join(x) for x in data.loc[X_train, 'pre_processed']] ~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^ raise ValueError("Cannot index with multidimensional key") ValueError: Cannot index with multidimensional key" Kenapa itu?

  6. Assistant

    Mohon maaf atas kesalahpahaman sebelumnya. Saya menyadari bahwa saya membuat kesalahan dalam menggunakan metode .loc[]. Sebenarnya, Anda seharusnya tidak mengekstrak teks dengan cara tersebut. Anda seharusnya menggunakan teks yang sudah ada di variabel X_train_text dan X_test_text. Berikut adalah perbaikannya:

    Gantikan kode ini:

    X_train_text = [' '.join(x) for x in data.loc[X_train, 'pre_processed']]
    X_test_text = [' '.join(x) for x in data.loc[X_test, 'pre_processed']]
    

    dengan kode ini:

    X_train_text = [' '.join(x) for x in data['pre_processed'][X_train]]
    X_test_text = [' '.join(x) for x in data['pre_processed'][X_test]]
    

    Sekarang kode harus berfungsi dengan benar tanpa error ValueError.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.