Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· OpenAIAi2 WildChat-4.8M (AI2)

Apakah ada yang harus diperbaiki pada kode ini dari segi logika dan segi lainnya? import…

  1. User

    Apakah ada yang harus diperbaiki pada kode ini dari segi logika dan segi lainnya? import requests from bs4 import BeautifulSoup from collections import Counter import csv

    List partai politik yang akan dicari

    partai_politik = ['PDIP']

    menentukan tanggal terakhir mengacu pada bulan/tahun

    def tanggal_terakhir(bulan, tahun): if bulan == 2: if tahun % 4 == 0 and (tahun % 100 != 0 or tahun % 400 == 0): return 29 else: return 28 elif bulan in [4, 6, 9, 11]: return 30 else: return 31

    Buat file csv

    filename = "oktober2019_2.csv" with open(filename, 'w', newline='', encoding='utf-8') as csv_file: csv_data = [["Judul|", "Tanggal|", "Isi Berita|", "Partai Politik"]] # Looping untuk setiap partai politik dan setiap tanggal for partai in partai_politik: for tahun in range(2019, 2020): for bulan in range(10, 11): output_tanggal_terakhir = tanggal_terakhir(bulan, tahun) for hari in range(19, output_tanggal_terakhir+1): tanggal = "{:02d}/{:02d}/{:4d}".format(hari, bulan, tahun) print("tanggal: " + tanggal + ", partai: " + partai) # Buat URL pencarian url = "https://www.detik.com/search/searchall?query={partai}&sortby=time&fromdatex={date}&todatex={date}&siteid=2".format(partai=partai, date=tanggal)

                    # Lakukan request dan ambil konten HTML
                    response = requests.get(url)
                    content = response.content
    
                    # Parsing HTML dengan BeautifulSoup
                    soup = BeautifulSoup(content, 'html.parser')
    
                    paging_div = soup.find('div', class_='paging')
                    if paging_div and len(paging_div.find_all('a')) > 1:
                        ada_paging = True
                        i = 1
                        while ada_paging:
                            response = requests.get(url + "&page={}".format(i))
                            content = response.content
    
                            # Parsing HTML dengan BeautifulSoup
                            soup = BeautifulSoup(content, 'html.parser')
    
                            # Cari semua tag berita
                            berita_list = soup.find_all('article')
                            if berita_list:
                                # Looping untuk setiap berita pada halaman tersebut
                                for berita in berita_list:
                                    # Ambil judul dan tanggal
                                    judul = berita.find('h2', {'class': 'title'}).text.strip()
                                    tanggal = berita.find('span', {'class': 'date'}).text.strip()
    
                                    # mencari link artikel dan melakukan request ke halaman artikel
                                    article_link = berita.find('a')['href']
                                    article_response = requests.get(article_link + "?single=1")
                                    article_soup = BeautifulSoup(article_response.text, "html.parser")
    
                                    # Ambil isi berita
                                    
                                    isi_berita = article_soup.find('div', {'class': 'detail__body-text'})
                                    if isi_berita is not None:
                                        for div in isi_berita.find_all('div', class_=['paradetail', 'detail__multiple', 'clearfix', 'detail__body-tag']):
                                            div.decompose()
                                        for table in isi_berita.find_all('table', class_=['linksisip']):
                                            table.decompose()
                                        for table in isi_berita.find_all('strong'):
                                            table.decompose()
                                        #mengganti isi_berita menjadi teks
                                        isi_berita = isi_berita.text
    
                                        #hapus break atau enter
                                        isi_berita = isi_berita.replace('\n', '').replace('\r', '')
    
                                        #menghilangkan whitespace pada awal dan akhir teks
                                        isi_berita = isi_berita.strip()
                                        
    
                                        # Jika judul berita mengandung nama partai politik, simpan ke dalam file csv
                                        if any(partai in isi_berita for partai in partai_politik):
                                            kemunculan = Counter(isi_berita.split())
                                            # hitung bobot setiap keyword pada teks
                                            bobot = {}
                                            for keyword in partai_politik:
                                                if keyword in kemunculan:
                                                    bobot[keyword] = kemunculan[keyword]
                                                else:
                                                    bobot[keyword] = 0
    
                                            # tampilkan keyword dengan bobot tertinggi
                                            partai_bobot_tertinggi = max(bobot, key=bobot.get)
                                            # tambahkan ke data csv
                                            csv_data.append([judul + '|', tanggal  + '|', isi_berita  + '|', partai_bobot_tertinggi])
                                i+=1
                            else:
                                ada_paging = False
                    else:
                        # Cari semua tag berita
                        berita_list = soup.find_all('article')
    
                        # Looping untuk setiap berita pada halaman tersebut
                        for berita in berita_list:
                            # Ambil judul dan tanggal
                            judul = berita.find('h2', {'class': 'title'}).text.strip()
                            tanggal = berita.find('span', {'class': 'date'}).text.strip()
    
                            # mencari link artikel dan melakukan request ke halaman artikel
                            article_link = berita.find('a')['href']
                            article_response = requests.get(article_link + "?single=1")
                            article_soup = BeautifulSoup(article_response.text, "html.parser")
    
                            # Ambil isi berita
                            
                            isi_berita = article_soup.find('div', {'class': 'detail__body-text'})
                            if isi_berita is not None:
                                for div in isi_berita.find_all('div', class_=['paradetail', 'detail__multiple', 'clearfix', 'detail__body-tag']):
                                    div.decompose()
                                for table in isi_berita.find_all('table', class_=['linksisip']):
                                    table.decompose()
                                for table in isi_berita.find_all('strong'):
                                    table.decompose()
                                #mengganti isi_berita menjadi teks
                                isi_berita = isi_berita.text
    
                                #hapus break atau enter
                                isi_berita = isi_berita.replace('\n', '').replace('\r', '')
    
                                #menghilangkan whitespace pada awal dan akhir teks
                                isi_berita = isi_berita.strip()
                                
    
                                # Jika judul berita mengandung nama partai politik, simpan ke dalam file csv
                                if any(partai in isi_berita for partai in partai_politik):
                                    kemunculan = Counter(isi_berita.split())
                                    # hitung bobot setiap keyword pada teks
                                    bobot = {}
                                    for keyword in partai_politik:
                                        if keyword in kemunculan:
                                            bobot[keyword] = kemunculan[keyword]
                                        else:
                                            bobot[keyword] = 0
    
                                    # tampilkan keyword dengan bobot tertinggi
                                    partai_bobot_tertinggi = max(bobot, key=bobot.get)
                                    # tambahkan ke data csv
                                    csv_data.append([judul + '|', tanggal  + '|', isi_berita  + '|', partai_bobot_tertinggi])
                            
    writer = csv.writer(csv_file)
    writer.writerows(csv_data)
    
  2. Assistant

    Kode ini tampaknya bekerja dengan baik dalam mengambil dan menyimpan informasi berita terkait partai politik dari situs detik.com ke file CSV. Saya memiliki beberapa saran untuk meningkatkan kualitas kode dan perbaikannya:

    1. Gunakan string multiline triple-quote untuk komentar di awal kode:
    """
    Kode ini digunakan untuk mengambil berita tentang partai politik dari detik.com dan menyimpan data tersebut ke dalam file CSV.
    """
    
    1. Import datetime untuk menggantikan fungsi tanggal_terakhir:
    from datetime import timedelta, date
    
    def tanggal_terakhir(tanggal):
        return (tanggal + timedelta(days=1) - timedelta(days=tanggal.day)).replace(day=1, month=tanggal.month+1)
    
    1. Anda hanya memiliki satu partai politik dalam kode ini ["PDIP"]. Jika ingin memperluas pencarian, tambahkan lebih banyak partai ke daftar partai_politik.

    2. Lebih baik ambil beberapa bagian kode yang berulang dan buat fungsi terpisah. Misalnya, Anda dapat membuat fungsi ambil_data_berita yang mengambil objek berita BeautifulSoup dan mengembalikan judul, tanggal, dan isi berita yang telah diproses lebih lanjut.

    3. Kode ini hanya mencari berita untuk tanggal Oktober 2019. Anda mungkin ingin memperluas rentang pencarian dengan menyesuaikan variabel tahun dan bulan.

    Setelah mempertimbangkan perbaikan di atas, kode Anda akan lebih mudah di-maintain dan diperluas.