Skip to content
The Chat Archive
gpt-4-0314· OpenAI WildChat-4.8M (AI2)

Kode analisis sentimen dengan model gabungan Bi-LSTM layer dan CNN layer serta digabung…

  1. User

    Kode analisis sentimen dengan model gabungan Bi-LSTM layer dan CNN layer serta digabung dengan SVM classifier yang telah dioptimalkan untuk data teks berita yang memiliki tiga label, yakni label ‘Positif’, label ‘Negatif’, dan label ‘Netral’. Dioptimalkan juga parameter Bi-LSTM layer, CNN layer, dan SVM classifier yang diperlukan dan algoritmanya untuk data teks berita berjumlah 16.600 dengan 1 berita teksnya berkisar 500-10.000 kata agar akurasi yang didapatkan maksimum. import pandas as pd import pickle import numpy as np from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder from keras.preprocessing.text import Tokenizer from keras.utils import pad_sequences from keras import Model, Input from keras.layers import Embedding, Bidirectional, LSTM, Conv1D, GlobalMaxPooling1D from keras.layers import Dense, concatenate from keras.utils import to_categorical from sklearn.svm import LinearSVC from sklearn.metrics import accuracy_score, classification_report

    Membaca dataset

    data_list = pickle.load(open('filtered_pre_processed_berita_2_joined_done.pkl', 'rb')) data = pd.DataFrame(data_list, columns=['judul', 'isi', 'pre_processed', 'Label']) data['Isi Berita'] = data['pre_processed']

    X = data['Isi Berita'] y = data['Label']

    le = LabelEncoder() y = le.fit_transform(y)

    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

    max_vocab_size = 20000 # Gunakan jumlah kata teratas yang banyak muncul max_seq_length = 1000 # Batasi panjang teks yang akan digunakan

    tokenizer = Tokenizer(num_words=max_vocab_size) tokenizer.fit_on_texts(X_train)

    X_train_tokenized = tokenizer.texts_to_sequences(X_train) X_test_tokenized = tokenizer.texts_to_sequences(X_test)

    X_train_padded = pad_sequences(X_train_tokenized, maxlen=max_seq_length) X_test_padded = pad_sequences(X_test_tokenized, maxlen=max_seq_length)

    embedding_dim = 100 # Pastikan cocok dengan dimensi pretrained embedding matrix yang anda gunakan, kalau tidak gunakan embedding matrix yang sudah ada biarkan default 100 sebagai dimensinya embedding_layer = Embedding(max_vocab_size, embedding_dim, input_length=max_seq_length)

    input_seq = Input(shape=(max_seq_length,)) embedded_seq = embedding_layer(input_seq)

    bi_lstm = Bidirectional(LSTM(64, return_sequences=True))(embedded_seq) cnn = Conv1D(128, 3, activation='relu')(bi_lstm) pool = GlobalMaxPooling1D()(cnn)

    output = Dense(64, activation='relu')(pool)

    model = Model(inputs=input_seq, outputs=output) model.summary()

    batch_size = 64 epochs = 5 optimizer = 'adam'

    model.compile(loss='categorical_crossentropy', optimizer=optimizer) model.fit(X_train_padded, to_categorical(y_train), batch_size=batch_size, epochs=epochs, verbose=1, validation_split=0.2)

    train_features = model.predict(X_train_padded) test_features = model.predict(X_test_padded)

    classifier = LinearSVC() classifier.fit(train_features, y_train) y_pred = classifier.predict(test_features)

    accuracy = accuracy_score(y_test, y_pred) classificationReport = classification_report(y_test, y_pred)

    print("Accuracy: ", accuracy) print("Classification Report:\n", classificationReport) Setelah dirunning, di kode ini: model.fit(X_train_padded, to_categorical(y_train), muncul error berikut: " target.shape.assert_is_compatible_with(output.shape)

    ValueError: Shapes (None, 3) and (None, 64) are incompatible"
    

    Bagaimana mengatasinya?

  2. Assistant

    Error tersebut disebabkan oleh benturan dimensi antara layer output dari model neural network (dimensi=64) dan label yang akan diprediksi (dimensi=3). Untuk mengatasi hal tersebut, Anda perlu mengganti layer terakhir (output) dari model Anda agar memiliki jumlah unit yang sama dengan jumlah label.

    Mengganti layer output ke Dense(3, activation='softmax') untuk menghasilkan vektor probabilitas yang mencerminkan 3 kelas:

    output = Dense(3, activation='softmax')(pool)
    

    Sebelum menjalankan kode ini, pastikan Anda mengimpor to_categorical dari keras.utils:

    from keras.utils import to_categorical
    

    Setelah perubahan, struktur dan pelatihan model harus terlihat seperti ini:

    embedding_dim = 100
    embedding_layer = Embedding(max_vocab_size, embedding_dim, input_length=max_seq_length)
    
    input_seq = Input(shape=(max_seq_length,))
    embedded_seq = embedding_layer(input_seq)
    
    bi_lstm = Bidirectional(LSTM(64, return_sequences=True))(embedded_seq)
    cnn = Conv1D(128, 3, activation='relu')(bi_lstm)
    pool = GlobalMaxPooling1D()(cnn)
    
    output = Dense(3, activation='softmax')(pool)
    
    model = Model(inputs=input_seq, outputs=output)
    model.summary()
    
    batch_size = 64
    epochs = 5
    optimizer = 'adam'
    
    model.compile(loss='categorical_crossentropy', optimizer=optimizer)
    model.fit(X_train_padded, to_categorical(y_train),
              batch_size=batch_size,
              epochs=epochs,
              verbose=1,
              validation_split=0.2)
    

    Dengan mengubah layer output dan menggunakan aktivasi softmax, model Anda akan menghasilkan distribusi probabilitas dalam range 0-1 untuk 3 kelas yang berbeda. Perubahan ini akan menghilangkan error yang ada dan melatih model dengan benar.