Saya ingin melakukan analisis sentimen berita politik berbahasa Indonesia 5 tahun…
- User
Saya ingin melakukan analisis sentimen berita politik berbahasa Indonesia 5 tahun terakhir pada sebuah portal berita, misal Kompas.com. Saya ingin mengetahui apakah berita ini memiliki sentimen yang positif, negatif, atau netral terhadap topik politik yang dibicarakan pada beritanya. Saya telah mengumpulkan data berita tersebut menggunakan web scraping Python dan dihasilkan sekitar 17.000 baris data .csv berita politik dengan satu berita memiliki kisaran 200-400 kata. Data tersebut berisi kolom Judul, Tanggal, Isi Berita, dan Label. Saya ingin melakukan pelabelan data “positif”, “negatif”, dan “netral” pada 17.000 data tersebut.
Saya menemukan informasi bahwa menemukan topik dari suatu teks berita politik dapat dilakukan dengan Topic Modelling menggunakan LDA (Latent Dirichlet Allocation). Saya berencana untuk menggunakan LDA dalam mengidentifikasi topik dalam berita politik Bahasa Indonesia dan kemudian menerapkan LSTM atau Transformer untuk menganalisis sentimen teks tersebut. Saya menemukan juga informasi bahwa LDA menggunakan keseluruhan data berita untuk mendapatkan distribusi topik yang dominan dalam data dokumen berita, dan dapat juga dilakukan setelah melatih model LDA di seluruh data berita, saya berencana dapat melihat distribusi topik dalam setiap dokumen individu (topik per beritanya bagaimana) untuk memahami topik yang dominan khusus untuk data berita tersebut.
Tolong buatkan kode Python Topic Modelling data berita politik berbahasa Indonesia tersebut! lengkap dengan tahapan pre-processing yang bagus (misal menghapus stopwords, dan lain-lain) serta tahapan stemming atau lemmatisasi!
- Assistant
Berikut adalah contoh kode Python untuk melakukan preprocessing dan topic modeling pada data berita politik berbahasa Indonesia menggunakan LDA:
- Pertama, install package yang diperlukan:
pip install pandas nltk Sastrawi gensim pyLDAvis- Kemudian, gunakan kode Python berikut:
import pandas as pd import re import string import nltk from nltk.tokenize import word_tokenize from Sastrawi.StopWordRemover.StopWordRemoverFactory import StopWordRemoverFactory from Sastrawi.Stemmer.StemmerFactory import StemmerFactory from gensim.corpora import Dictionary from gensim.models import LdaModel import pyLDAvis.gensim_models as gensimvis import pyLDAvis # Load data data = pd.read_csv("berita_politik.csv") # Preprocessing def preprocess(text): # Lowercase text = text.lower() # Remove numbers and punctuations text = re.sub(r'\d+', '', text) text = text.translate(str.maketrans("", "", string.punctuation)) # Tokenization, stopword removal, and stemming tokens = word_tokenize(text) factory_stopwords = StopWordRemoverFactory() stopwords = factory_stopwords.get_stop_words() tokens = [token for token in tokens if token not in stopwords] factory_stemmer = StemmerFactory() stemmer = factory_stemmer.create_stemmer() tokens = [stemmer.stem(token) for token in tokens] return tokens data["tokens"] = data["Isi Berita"].apply(preprocess) # Create dictionary and corpus dictionary = Dictionary(data["tokens"]) corpus = [dictionary.doc2bow(token) for token in data["tokens"]] # Train LDA model and find dominant topics num_topics = 10 lda_model = LdaModel(corpus, num_topics=num_topics, id2word=dictionary, passes=15) # Visualize with pyLDAvis vis = gensimvis.prepare(lda_model, corpus, dictionary) pyLDAvis.display(vis)Asumsikan Anda memiliki file CSV yang berisi berita politik dengan kolom "Isi Berita". Kode di atas akan mengambil teks tersebut, melakukan preprocessing (termasuk menghapus stopword dan stemming menggunakan library Sastrawi), dan kemudian melatih model LDA untuk menemukan distribusi topik dominan dalam dataset.
Jangan lupa untuk menyesuaikan kode di atas sesuai dengan format file CSV Anda. Anda mungkin perlu mengganti nama kolom "Isi Berita" sesuai dengan nama kolom yang ada dalam CSV Anda.
- User
tolong tambahkan kode untuk mengetahui topik per berita!
- Assistant
Anda dapat menambahkan kode berikut setelah melatih model LDA untuk menemukan topik yang dominan untuk setiap berita:
# Find dominant topic per news article def dominant_topic(ldamodel, corpus): topic_ids = [] for doc in corpus: topic_probs = ldamodel.get_document_topics(doc) dominant_topic_id = max(topic_probs, key=lambda x: x[1])[0] topic_ids.append(dominant_topic_id) return topic_ids data["dominant_topic"] = dominant_topic(lda_model, corpus) # Print news article with its dominant topic print(data[["Judul", "dominant_topic"]].head())Kode ini akan mendefinisikan fungsi
dominant_topicyang menerima model LDA dan corpus sebagai input. Fungsi ini akan menghasilkan list yang berisi ID topik dominan untuk setiap berita dalam corpus. Kemudian, kita menambahkan kolom baru "dominant_topic" ke dataframedatadan mencetak beberapa contoh berita beserta topik dominannya.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.