Tolong jelaskan kode ini dengan sangat rinci! import pandas as pd import re import…
- User
Tolong jelaskan kode ini dengan sangat rinci! import pandas as pd import re import string import nltk from nltk.tokenize import word_tokenize from Sastrawi.StopWordRemover.StopWordRemoverFactory import StopWordRemoverFactory from Sastrawi.Stemmer.StemmerFactory import StemmerFactory from gensim.corpora import Dictionary from gensim.models import LdaModel import pyLDAvis.gensim_models as gensimvis import pyLDAvis
Load data
data = pd.read_csv("detikcom_filtered_1000_2.csv", sep=';') print("data sudah")
Preprocessing
def preprocess(text): # Lowercase text = text.lower()
# Remove numbers and punctuations text = re.sub(r'\d+', '', text) text = text.translate(str.maketrans("", "", string.punctuation)) # Tokenization, stopword removal, and stemming tokens = word_tokenize(text) factory_stopwords = StopWordRemoverFactory() stopwords = factory_stopwords.get_stop_words() tokens = [token for token in tokens if token not in stopwords] factory_stemmer = StemmerFactory() stemmer = factory_stemmer.create_stemmer() tokens = [stemmer.stem(token) for token in tokens] return tokensprint("pre process") data["tokens"] = data["Isi_Berita"].apply(preprocess) print("pre process sudah")
Create dictionary and corpus
print("dictionary dan korpus") dictionary = Dictionary(data["tokens"]) corpus = [dictionary.doc2bow(token) for token in data["tokens"]] print("dictionary dan korpus sudah")
Train LDA model and find dominant topics
num_topics = 10 print("sampe sini") lda_model = LdaModel(corpus, num_topics=num_topics, id2word=dictionary, passes=15) print(lda_model)
Visualize with pyLDAvis
vis = gensimvis.prepare(lda_model, corpus, dictionary) vis
#print("Visualization saved in lda_visualization.html")
Find dominant topic per news article
def dominant_topic(ldamodel, corpus): print("sampe sini_2") topic_ids = [] i = 0 for doc in corpus: topic_probs = ldamodel.get_document_topics(doc) dominant_topic_id = max(topic_probs, key=lambda x: x[1])[0] topic_ids.append(dominant_topic_id) i+=1 print(i) return topic_ids
data["dominant_topic"] = dominant_topic(lda_model, corpus)
Print news article with its dominant topic
print(data[["Judul", "dominant_topic"]].head())
- Assistant
Kode ini bertujuan untuk mengklasifikasfikan topik artikel berita dari dataset berkas CSV yang diberikan menggunakan model Latent Dirichlet Allocation (LDA). Berikut adalah penjelasan rinci dari setiap bagian kode:
- Import library yang diperlukan:
- pandas: digunakan untuk memuat dan manipulasi dataset
- re, string: digunakan untuk pengolahan teks
- nltk: Natural Language Toolkit untuk pemrosesan bahasa alami
- Sastrawi: Bahasa Indonesia Natural Language Processing
- gensim: Perpustakaan yang digunakan untuk melatih model LDA
- pyLDAvis: digunakan untuk memvisualisasikan model LDA
-
Load dataset. Menggunakan fungsi
pd.read_csv()untuk membaca file CSV dan menyimpan dalam variabel pengga -
Fungsi
preprocess: Fungsi ini digunakan untuk melakukan pre-processing pada text seperti berikut:- Mengubah teks menjadi huruf kecil,
- Menghilangkan angka dan tanda baca,
- Tokenisasi teks dengan mengkonversi teks menjadi TOKEN dengan fungsi word_tokenize dari NLTK,
- Menghilangkan "stop words" (kata yang tidak memberikan makna atau kontribusi signifikan untuk analisis topik) dari token,
- "Stemming" (mengubah kata ke bentuk dasarnya) dengan menggunakan stemmer dari Sastrawi.
-
Mengaplikasikan fungsi
preprocess()pada setiap isi berita dalam dataframe dan menyimpan hasilnya di kolom baru bernama "tokens". -
Membuat kamus (dictionary) dan korpus dengan hasil pre-processing menggunakan library gensim. Kamus berisi mapeamento dari kata ke ID nya masing-masing, dan korpus berisi representasi BoW (Bag of Words) dari setiap artikel.
-
Melatih model LDA dengan menggunakan corpus dan dictionary yang dibuat sebelumnya.
num_topicsmenentukan jumlah topik yang ada dalam model, danpassesmenentukan berapa kali pelatihan dilakukan. -
Memvisualisasikan model LDA yang telah dilatih menggunakan pyLDAvis.
-
Fungsi
dominant_topic(): Fungsi ini mengklasifikasikan topik dominan untuk setiap artikel berita di korpus. Fungsi ini mengembalikan ID topik dominan untuk setiap dokumen dalam bentuk daftar. -
Menambahkan kolom baru pada dataframe yang berisi topik dominan untuk setiap artikel.
-
Menampilkan sebagian dataframe yang berisi judul artikel dan topik dominannya.
Jadi, program ini melakukan pre-processing pada artikel berita, melatih model LDA, dan mengklasifikasikan topik dominan untuk setiap artikel.