Apakah ada yang harus diperbaiki pada kode ini dari segi logika dan segi lainnya? import…
- User
Apakah ada yang harus diperbaiki pada kode ini dari segi logika dan segi lainnya? import requests from bs4 import BeautifulSoup from collections import Counter import csv
List partai politik yang akan dicari
partai_politik = ['PDIP']
menentukan tanggal terakhir mengacu pada bulan/tahun
def tanggal_terakhir(bulan, tahun): if bulan == 2: if tahun % 4 == 0 and (tahun % 100 != 0 or tahun % 400 == 0): return 29 else: return 28 elif bulan in [4, 6, 9, 11]: return 30 else: return 31
Buat file csv
filename = "oktober2019_2.csv" with open(filename, 'w', newline='', encoding='utf-8') as csv_file: csv_data = [["Judul|", "Tanggal|", "Isi Berita|", "Partai Politik"]] # Looping untuk setiap partai politik dan setiap tanggal for partai in partai_politik: for tahun in range(2019, 2020): for bulan in range(10, 11): output_tanggal_terakhir = tanggal_terakhir(bulan, tahun) for hari in range(19, output_tanggal_terakhir+1): tanggal = "{:02d}/{:02d}/{:4d}".format(hari, bulan, tahun) print("tanggal: " + tanggal + ", partai: " + partai) # Buat URL pencarian url = "https://www.detik.com/search/searchall?query={partai}&sortby=time&fromdatex={date}&todatex={date}&siteid=2".format(partai=partai, date=tanggal)
# Lakukan request dan ambil konten HTML response = requests.get(url) content = response.content # Parsing HTML dengan BeautifulSoup soup = BeautifulSoup(content, 'html.parser') paging_div = soup.find('div', class_='paging') if paging_div and len(paging_div.find_all('a')) > 1: ada_paging = True i = 1 while ada_paging: response = requests.get(url + "&page={}".format(i)) content = response.content # Parsing HTML dengan BeautifulSoup soup = BeautifulSoup(content, 'html.parser') # Cari semua tag berita berita_list = soup.find_all('article') if berita_list: # Looping untuk setiap berita pada halaman tersebut for berita in berita_list: # Ambil judul dan tanggal judul = berita.find('h2', {'class': 'title'}).text.strip() tanggal = berita.find('span', {'class': 'date'}).text.strip() # mencari link artikel dan melakukan request ke halaman artikel article_link = berita.find('a')['href'] article_response = requests.get(article_link + "?single=1") article_soup = BeautifulSoup(article_response.text, "html.parser") # Ambil isi berita isi_berita = article_soup.find('div', {'class': 'detail__body-text'}) if isi_berita is not None: for div in isi_berita.find_all('div', class_=['paradetail', 'detail__multiple', 'clearfix', 'detail__body-tag']): div.decompose() for table in isi_berita.find_all('table', class_=['linksisip']): table.decompose() for table in isi_berita.find_all('strong'): table.decompose() #mengganti isi_berita menjadi teks isi_berita = isi_berita.text #hapus break atau enter isi_berita = isi_berita.replace('\n', '').replace('\r', '') #menghilangkan whitespace pada awal dan akhir teks isi_berita = isi_berita.strip() # Jika judul berita mengandung nama partai politik, simpan ke dalam file csv if any(partai in isi_berita for partai in partai_politik): kemunculan = Counter(isi_berita.split()) # hitung bobot setiap keyword pada teks bobot = {} for keyword in partai_politik: if keyword in kemunculan: bobot[keyword] = kemunculan[keyword] else: bobot[keyword] = 0 # tampilkan keyword dengan bobot tertinggi partai_bobot_tertinggi = max(bobot, key=bobot.get) # tambahkan ke data csv csv_data.append([judul + '|', tanggal + '|', isi_berita + '|', partai_bobot_tertinggi]) i+=1 else: ada_paging = False else: # Cari semua tag berita berita_list = soup.find_all('article') # Looping untuk setiap berita pada halaman tersebut for berita in berita_list: # Ambil judul dan tanggal judul = berita.find('h2', {'class': 'title'}).text.strip() tanggal = berita.find('span', {'class': 'date'}).text.strip() # mencari link artikel dan melakukan request ke halaman artikel article_link = berita.find('a')['href'] article_response = requests.get(article_link + "?single=1") article_soup = BeautifulSoup(article_response.text, "html.parser") # Ambil isi berita isi_berita = article_soup.find('div', {'class': 'detail__body-text'}) if isi_berita is not None: for div in isi_berita.find_all('div', class_=['paradetail', 'detail__multiple', 'clearfix', 'detail__body-tag']): div.decompose() for table in isi_berita.find_all('table', class_=['linksisip']): table.decompose() for table in isi_berita.find_all('strong'): table.decompose() #mengganti isi_berita menjadi teks isi_berita = isi_berita.text #hapus break atau enter isi_berita = isi_berita.replace('\n', '').replace('\r', '') #menghilangkan whitespace pada awal dan akhir teks isi_berita = isi_berita.strip() # Jika judul berita mengandung nama partai politik, simpan ke dalam file csv if any(partai in isi_berita for partai in partai_politik): kemunculan = Counter(isi_berita.split()) # hitung bobot setiap keyword pada teks bobot = {} for keyword in partai_politik: if keyword in kemunculan: bobot[keyword] = kemunculan[keyword] else: bobot[keyword] = 0 # tampilkan keyword dengan bobot tertinggi partai_bobot_tertinggi = max(bobot, key=bobot.get) # tambahkan ke data csv csv_data.append([judul + '|', tanggal + '|', isi_berita + '|', partai_bobot_tertinggi]) writer = csv.writer(csv_file) writer.writerows(csv_data) - Assistant
Kode ini tampaknya bekerja dengan baik dalam mengambil dan menyimpan informasi berita terkait partai politik dari situs detik.com ke file CSV. Saya memiliki beberapa saran untuk meningkatkan kualitas kode dan perbaikannya:
- Gunakan string multiline triple-quote untuk komentar di awal kode:
""" Kode ini digunakan untuk mengambil berita tentang partai politik dari detik.com dan menyimpan data tersebut ke dalam file CSV. """- Import
datetimeuntuk menggantikan fungsitanggal_terakhir:
from datetime import timedelta, date def tanggal_terakhir(tanggal): return (tanggal + timedelta(days=1) - timedelta(days=tanggal.day)).replace(day=1, month=tanggal.month+1)-
Anda hanya memiliki satu partai politik dalam kode ini
["PDIP"]. Jika ingin memperluas pencarian, tambahkan lebih banyak partai ke daftarpartai_politik. -
Lebih baik ambil beberapa bagian kode yang berulang dan buat fungsi terpisah. Misalnya, Anda dapat membuat fungsi
ambil_data_beritayang mengambil objek berita BeautifulSoup dan mengembalikan judul, tanggal, dan isi berita yang telah diproses lebih lanjut. -
Kode ini hanya mencari berita untuk tanggal Oktober 2019. Anda mungkin ingin memperluas rentang pencarian dengan menyesuaikan variabel
tahundanbulan.
Setelah mempertimbangkan perbaikan di atas, kode Anda akan lebih mudah di-maintain dan diperluas.