Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· OpenAIAi2 WildChat-4.8M (AI2)

Tolong jelaskan kode ini dengan sangat rinci! import pandas as pd import re import…

  1. User

    Tolong jelaskan kode ini dengan sangat rinci! import pandas as pd import re import string import nltk from nltk.tokenize import word_tokenize from Sastrawi.StopWordRemover.StopWordRemoverFactory import StopWordRemoverFactory from Sastrawi.Stemmer.StemmerFactory import StemmerFactory from gensim.corpora import Dictionary from gensim.models import LdaModel import pyLDAvis.gensim_models as gensimvis import pyLDAvis

    Load data

    data = pd.read_csv("detikcom_filtered_1000_2.csv", sep=';') print("data sudah")

    Preprocessing

    def preprocess(text): # Lowercase text = text.lower()

    # Remove numbers and punctuations
    text = re.sub(r'\d+', '', text)
    text = text.translate(str.maketrans("", "", string.punctuation))
    
    # Tokenization, stopword removal, and stemming
    tokens = word_tokenize(text)
    factory_stopwords = StopWordRemoverFactory()
    stopwords = factory_stopwords.get_stop_words()
    tokens = [token for token in tokens if token not in stopwords]
    factory_stemmer = StemmerFactory()
    stemmer = factory_stemmer.create_stemmer()
    tokens = [stemmer.stem(token) for token in tokens]
    
    return tokens
    

    print("pre process") data["tokens"] = data["Isi_Berita"].apply(preprocess) print("pre process sudah")

    Create dictionary and corpus

    print("dictionary dan korpus") dictionary = Dictionary(data["tokens"]) corpus = [dictionary.doc2bow(token) for token in data["tokens"]] print("dictionary dan korpus sudah")

    Train LDA model and find dominant topics

    num_topics = 10 print("sampe sini") lda_model = LdaModel(corpus, num_topics=num_topics, id2word=dictionary, passes=15) print(lda_model)

    Visualize with pyLDAvis

    vis = gensimvis.prepare(lda_model, corpus, dictionary) vis

    #print("Visualization saved in lda_visualization.html")

    Find dominant topic per news article

    def dominant_topic(ldamodel, corpus): print("sampe sini_2") topic_ids = [] i = 0 for doc in corpus: topic_probs = ldamodel.get_document_topics(doc) dominant_topic_id = max(topic_probs, key=lambda x: x[1])[0] topic_ids.append(dominant_topic_id) i+=1 print(i) return topic_ids

    data["dominant_topic"] = dominant_topic(lda_model, corpus)

    Print news article with its dominant topic

    print(data[["Judul", "dominant_topic"]].head())

  2. Assistant

    Kode ini bertujuan untuk mengklasifikasfikan topik artikel berita dari dataset berkas CSV yang diberikan menggunakan model Latent Dirichlet Allocation (LDA). Berikut adalah penjelasan rinci dari setiap bagian kode:

    1. Import library yang diperlukan:
    • pandas: digunakan untuk memuat dan manipulasi dataset
    • re, string: digunakan untuk pengolahan teks
    • nltk: Natural Language Toolkit untuk pemrosesan bahasa alami
    • Sastrawi: Bahasa Indonesia Natural Language Processing
    • gensim: Perpustakaan yang digunakan untuk melatih model LDA
    • pyLDAvis: digunakan untuk memvisualisasikan model LDA
    1. Load dataset. Menggunakan fungsi pd.read_csv() untuk membaca file CSV dan menyimpan dalam variabel pengga

    2. Fungsi preprocess: Fungsi ini digunakan untuk melakukan pre-processing pada text seperti berikut:

      • Mengubah teks menjadi huruf kecil,
      • Menghilangkan angka dan tanda baca,
      • Tokenisasi teks dengan mengkonversi teks menjadi TOKEN dengan fungsi word_tokenize dari NLTK,
      • Menghilangkan "stop words" (kata yang tidak memberikan makna atau kontribusi signifikan untuk analisis topik) dari token,
      • "Stemming" (mengubah kata ke bentuk dasarnya) dengan menggunakan stemmer dari Sastrawi.
    3. Mengaplikasikan fungsi preprocess() pada setiap isi berita dalam dataframe dan menyimpan hasilnya di kolom baru bernama "tokens".

    4. Membuat kamus (dictionary) dan korpus dengan hasil pre-processing menggunakan library gensim. Kamus berisi mapeamento dari kata ke ID nya masing-masing, dan korpus berisi representasi BoW (Bag of Words) dari setiap artikel.

    5. Melatih model LDA dengan menggunakan corpus dan dictionary yang dibuat sebelumnya. num_topics menentukan jumlah topik yang ada dalam model, dan passes menentukan berapa kali pelatihan dilakukan.

    6. Memvisualisasikan model LDA yang telah dilatih menggunakan pyLDAvis.

    7. Fungsi dominant_topic(): Fungsi ini mengklasifikasikan topik dominan untuk setiap artikel berita di korpus. Fungsi ini mengembalikan ID topik dominan untuk setiap dokumen dalam bentuk daftar.

    8. Menambahkan kolom baru pada dataframe yang berisi topik dominan untuk setiap artikel.

    9. Menampilkan sebagian dataframe yang berisi judul artikel dan topik dominannya.

    Jadi, program ini melakukan pre-processing pada artikel berita, melatih model LDA, dan mengklasifikasikan topik dominan untuk setiap artikel.