Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· openaiHugging Face Suzhen/CodeChat

Saya ingin melakukan analisis sentimen berita politik berbahasa Indonesia 5 tahun…

  1. User

    Saya ingin melakukan analisis sentimen berita politik berbahasa Indonesia 5 tahun terakhir pada sebuah portal berita. Saya ingin mengetahui apakah berita ini memiliki sentimen yang positif atau negatif terhadap topik politik yang dibicarakan pada beritanya. Saya telah mengumpulkan data berita tersebut menggunakan web scraping Python dan dihasilkan sekitar 8400 baris data .csv berita politik dengan satu berita memiliki kisaran 200-3000 kata. Data tersebut berisi kolom Judul, Tanggal, Isi Berita, dan Label. Kelas pelabelan data adalah “Positif” dan "Negatif" pada 8400 data tersebut. Dataset dibaca dengan pickle dengan kode Python berikut: "# Membaca dataset data_list = pickle.load(open('filtered_pre_processed_berita_joined_done.pkl', 'rb')) data = pd.DataFrame(data_list, columns=['judul', 'isi', 'pre_processed', 'Label', 'Nama_Pelabel']) data['Isi Berita'] = data['pre_processed']"

    Buat kode Python lengkap analisis sentimen menggunakan LSTM!

  2. Assistant

    Berikut adalah kode Python lengkap untuk analisis sentimen menggunakan LSTM dengan Keras dan TensorFlow:

    import numpy as np
    import pandas as pd
    import pickle
    from keras.preprocessing.text import Tokenizer
    from keras.preprocessing.sequence import pad_sequences
    from keras.models import Sequential
    from keras.layers import Dense, Embedding, LSTM, SpatialDropout1D
    from keras.utils.np_utils import to_categorical
    from sklearn.model_selection import train_test_split
    from keras.callbacks import EarlyStopping
    
    # Membaca dataset
    data_list = pickle.load(open('filtered_pre_processed_berita_joined_done.pkl', 'rb'))
    data = pd.DataFrame(data_list, columns=['judul', 'isi', 'pre_processed', 'Label', 'Nama_Pelabel'])
    data['Isi Berita'] = data['pre_processed']
    
    # Pra-pemrosesan data
    # Konversi label Positif/Negatif menjadi 1/0
    data['Label'] = data['Label'].apply(lambda x: 1 if x == 'Positif' else 0)
    
    # Tokenisasi teks
    max_words = 2000
    tokenizer = Tokenizer(num_words=max_words, split=' ')
    tokenizer.fit_on_texts(data['Isi Berita'].values)
    X = tokenizer.texts_to_sequences(data['Isi Berita'].values)
    X = pad_sequences(X)
    
    # Membangun model LSTM
    embed_dim = 128
    lstm_out = 196
    
    model = Sequential()
    model.add(Embedding(max_words, embed_dim, input_length=X.shape[1]))
    model.add(SpatialDropout1D(0.4))
    model.add(LSTM(lstm_out, dropout=0.2, recurrent_dropout=0.2))
    model.add(Dense(2, activation='softmax'))
    model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
    print(model.summary())
    
    # Membagi data menjadi data latih dan data uji
    Y = pd.get_dummies(data['Label']).values
    X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.33, random_state=42)
    
    # Melatih dan menyimpan model
    batch_size = 32
    epochs = 7
    model.fit(X_train, Y_train, epochs=epochs, batch_size=batch_size, verbose=1)
    
    # Menyimpan model
    model.save("sentimen_model.h5")
    
    # Evaluasi model
    score, accuracy = model.evaluate(X_test, Y_test, verbose=2, batch_size=batch_size)
    print("Score: %.2f" % (score))
    print("Accuracy: %.2f" % (accuracy))
    

    Kode di atas akan menghasilkan model LSTM yang dilatih dalam file "sentimen_model.h5" yang dapat Anda gunakan untuk memprediksi sentimen berita lainnya. Jangan lupa untuk menginstal semua dependensi yang diperlukan dengan perintah pip install (misal: pip install keras tensorflow sklearn).

  3. User

    Tolong tambahkan confusion matrix dan classification report pada bagian Evaluasi Model.

  4. Assistant

    Untuk menambahkan confusion matrix dan classification report, Anda perlu mengimpor fungsi terkait dari library sklearn dan kemudian membuat prediksi pada data uji. Berikut adalah bagian akhir kode yang dimodifikasi dari kode sebelumnya.

    # Import library tambahan
    from sklearn.metrics import classification_report, confusion_matrix
    
    # Evaluasi model
    score, accuracy = model.evaluate(X_test, Y_test, verbose=2, batch_size=batch_size)
    print("Score: %.2f" % (score))
    print("Accuracy: %.2f" % (accuracy))
    
    # Membuat prediksi pada data uji
    Y_pred = model.predict(X_test)
    Y_pred_classes = np.argmax(Y_pred, axis=1)
    Y_true = np.argmax(Y_test, axis=1)
    
    # Menghitung confusion matrix dan classification report
    conf_matrix = confusion_matrix(Y_true, Y_pred_classes)
    print("Confusion Matrix:")
    print(conf_matrix)
    
    class_report = classification_report(Y_true, Y_pred_classes)
    print("\nClassification Report:")
    print(class_report)
    

    Sekarang kode akan mencetak confusion matrix dan classification report sebagai bagian dari evaluasi model.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.