Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· OpenAIAi2 WildChat-4.8M (AI2)

Saya ingin melakukan analisis sentimen berita politik berbahasa Indonesia 5 tahun…

  1. User

    Saya ingin melakukan analisis sentimen berita politik berbahasa Indonesia 5 tahun terakhir pada sebuah portal berita, misal Kompas.com. Saya ingin mengetahui apakah berita ini memiliki sentimen yang positif, negatif, atau netral terhadap topik politik yang dibicarakan pada beritanya. Saya telah mengumpulkan data berita tersebut menggunakan web scraping Python dan dihasilkan sekitar 17.000 baris data .csv berita politik dengan satu berita memiliki kisaran 200-400 kata. Data tersebut berisi kolom Judul, Tanggal, Isi Berita, dan Label. Saya ingin melakukan pelabelan data “positif”, “negatif”, dan “netral” pada 17.000 data tersebut.

    Saya menemukan informasi bahwa menemukan topik dari suatu teks berita politik dapat dilakukan dengan Topic Modelling menggunakan LDA (Latent Dirichlet Allocation). Saya berencana untuk menggunakan LDA dalam mengidentifikasi topik dalam berita politik Bahasa Indonesia dan kemudian menerapkan LSTM atau Transformer untuk menganalisis sentimen teks tersebut. Saya menemukan juga informasi bahwa LDA menggunakan keseluruhan data berita untuk mendapatkan distribusi topik yang dominan dalam data dokumen berita, dan dapat juga dilakukan setelah melatih model LDA di seluruh data berita, saya berencana dapat melihat distribusi topik dalam setiap dokumen individu (topik per beritanya bagaimana) untuk memahami topik yang dominan khusus untuk data berita tersebut.

    Tolong buatkan kode Python Topic Modelling data berita politik berbahasa Indonesia tersebut! lengkap dengan tahapan pre-processing yang bagus (misal menghapus stopwords, dan lain-lain) serta tahapan stemming atau lemmatisasi!

  2. Assistant

    Berikut adalah contoh kode Python untuk melakukan preprocessing dan topic modeling pada data berita politik berbahasa Indonesia menggunakan LDA:

    1. Pertama, install package yang diperlukan:
    pip install pandas nltk Sastrawi gensim pyLDAvis
    
    1. Kemudian, gunakan kode Python berikut:
    import pandas as pd
    import re
    import string
    import nltk
    from nltk.tokenize import word_tokenize
    from Sastrawi.StopWordRemover.StopWordRemoverFactory import StopWordRemoverFactory
    from Sastrawi.Stemmer.StemmerFactory import StemmerFactory
    from gensim.corpora import Dictionary
    from gensim.models import LdaModel
    import pyLDAvis.gensim_models as gensimvis
    import pyLDAvis
    
    # Load data
    data = pd.read_csv("berita_politik.csv")
    
    # Preprocessing
    def preprocess(text):
        # Lowercase
        text = text.lower()
        
        # Remove numbers and punctuations
        text = re.sub(r'\d+', '', text)
        text = text.translate(str.maketrans("", "", string.punctuation))
    
        # Tokenization, stopword removal, and stemming
        tokens = word_tokenize(text)
        factory_stopwords = StopWordRemoverFactory()
        stopwords = factory_stopwords.get_stop_words()
        tokens = [token for token in tokens if token not in stopwords]
        factory_stemmer = StemmerFactory()
        stemmer = factory_stemmer.create_stemmer()
        tokens = [stemmer.stem(token) for token in tokens]
    
        return tokens
    
    data["tokens"] = data["Isi Berita"].apply(preprocess)
    
    # Create dictionary and corpus
    dictionary = Dictionary(data["tokens"])
    corpus = [dictionary.doc2bow(token) for token in data["tokens"]]
    
    # Train LDA model and find dominant topics
    num_topics = 10
    lda_model = LdaModel(corpus, num_topics=num_topics, id2word=dictionary, passes=15)
    
    # Visualize with pyLDAvis
    vis = gensimvis.prepare(lda_model, corpus, dictionary)
    pyLDAvis.display(vis)
    

    Asumsikan Anda memiliki file CSV yang berisi berita politik dengan kolom "Isi Berita". Kode di atas akan mengambil teks tersebut, melakukan preprocessing (termasuk menghapus stopword dan stemming menggunakan library Sastrawi), dan kemudian melatih model LDA untuk menemukan distribusi topik dominan dalam dataset.

    Jangan lupa untuk menyesuaikan kode di atas sesuai dengan format file CSV Anda. Anda mungkin perlu mengganti nama kolom "Isi Berita" sesuai dengan nama kolom yang ada dalam CSV Anda.

  3. User

    tolong tambahkan kode untuk mengetahui topik per berita!

  4. Assistant

    Anda dapat menambahkan kode berikut setelah melatih model LDA untuk menemukan topik yang dominan untuk setiap berita:

    # Find dominant topic per news article
    def dominant_topic(ldamodel, corpus):
        topic_ids = []
        for doc in corpus:
            topic_probs = ldamodel.get_document_topics(doc)
            dominant_topic_id = max(topic_probs, key=lambda x: x[1])[0]
            topic_ids.append(dominant_topic_id)
    
        return topic_ids
    
    data["dominant_topic"] = dominant_topic(lda_model, corpus)
    
    # Print news article with its dominant topic
    print(data[["Judul", "dominant_topic"]].head())
    

    Kode ini akan mendefinisikan fungsi dominant_topic yang menerima model LDA dan corpus sebagai input. Fungsi ini akan menghasilkan list yang berisi ID topik dominan untuk setiap berita dalam corpus. Kemudian, kita menambahkan kolom baru "dominant_topic" ke dataframe data dan mencetak beberapa contoh berita beserta topik dominannya.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.