Mam tu wcześniejszy kod, ale potrzebuję go maksymalnie uprościć by był trywialny bez…
- User
Mam tu wcześniejszy kod, ale potrzebuję go maksymalnie uprościć by był trywialny bez udziwnień:import os import sqlite3 import csv import requests from datetime import datetime
def create_database(db_name): """ Tworzy bazę danych oraz tabelę GENAI_WORKS, jeśli nie istnieje. """ try: conn = sqlite3.connect(db_name) c = conn.cursor()
# Tworzenie tabeli APPS01, jeśli nie istnieje c.execute(''' CREATE TABLE IF NOT EXISTS APPS01 ( DATUM TEXT, LINK TEXT, CONTENT TEXT XXX TEXT ) ''') conn.commit() print("Połączono z bazą danych i upewniono się, że tabela GENAI_WORKS istnieje.") return conn, c except sqlite3.Error as e: print(f"Błąd podczas tworzenia/łączenia z bazą danych: {e}") return None, Nonedef load_links_into_db(csv_file, cursor, current_date): """ Wczytuje linki z pliku CSV i wstawia je do tabeli GENAI_WORKS. """ try: with open(csv_file, newline='', encoding='utf-8') as csvfile: reader = csv.reader(csvfile) links_inserted = 0 for row in reader: if row: # Sprawdzenie, czy wiersz nie jest pusty link = row[0].strip() if link: # Sprawdzenie, czy link nie jest pusty cursor.execute('INSERT INTO GENAI_WORKS (DATUM, LINK) VALUES (?, ?)', (current_date, link)) links_inserted += 1 print(f"Wczytano {links_inserted} linków z {csv_file} do tabeli GENAI_WORKS.") except FileNotFoundError: print(f"Plik {csv_file} nie został znaleziony.") except Exception as e: print(f"Wystąpił błąd podczas wczytywania linków: {e}")
def fetch_and_update_content(cursor, conn): """ Pobiera zawartość stron internetowych i aktualizuje pole CONTENT w tabeli GENAI_WORKS. """ try: cursor.execute('SELECT ROWID, LINK FROM GENAI_WORKS WHERE CONTENT IS NULL OR CONTENT = ""') rows = cursor.fetchall() print(f"Znaleziono {len(rows)} linków do pobrania zawartości.")
for row in rows: rowid, link = row try: response = requests.get(link, timeout=10) response.raise_for_status() # Sprawdzenie, czy żądanie się powiodło content = response.text print(f"Pobrano zawartość z {link}.") except Exception as e: content = f"Błąd pobierania: {e}" print(f"Nie udało się pobrać {link}: {e}") # Aktualizacja pola CONTENT w tabeli cursor.execute('UPDATE GENAI_WORKS SET CONTENT = ? WHERE ROWID = ?', (content, rowid)) conn.commit() print("Zaktualizowano zawartość stron w tabeli GENAI_WORKS.") except sqlite3.Error as e: print(f"Błąd podczas pobierania aktualizacji zawartości: {e}")def main(): # Nazwa bazy danych db_name = 'GENAI_WORKS.db'
# Pobranie aktualnej daty w formacie YYYY-MM-DD current_date = datetime.now().strftime('%Y-%m-%d') # Tworzenie/łączenie z bazą danych i tworzenie tabeli conn, cursor = create_database(db_name) if not conn or not cursor: return # Zatwierdzenie wprowadzonych zmian conn.commit() # Pobieranie zawartości stron i aktualizacja bazy danych fetch_and_update_content(cursor, conn) # Przemianowanie tabeli na GENAI_WORKS_datuma rename_table(cursor, conn, current_date) # Zamknięcie połączenia z bazą danych try: conn.close() print("Zamknięto połączenie z bazą danych.") except sqlite3.Error as e: print(f"Błąd podczas zamykania połączenia: {e}")if name == "main": main() --- zrobimy to tak: Zawsze będzie gotowa baza GENAI_WORKS.db, w której będzie tabela APPS01. Ma ona 4 pola DATUM, do której będziesz wczytywał datę kiedy wczytujesz dane, LINK, tam już będą podane linki stron, które wczytasz do pola CONTENT, oraz puste pole XXX.
- Assistant
Oczywiście, oto uproszczony skrypt zgodny z Twoimi wymaganiami. Ten skrypt zakłada, że baza danych
GENAI_WORKS.dboraz tabelaAPPS01już istnieją. TabelaAPPS01powinna mieć cztery pola:DATUM,LINK,CONTENTorazXXX.Uproszczony Skrypt Python
import sqlite3 import requests from datetime import datetime def aktualizuj_zawartosc(db_nazwa='GENAI_WORKS.db'): try: # Połączenie z bazą danych conn = sqlite3.connect(db_nazwa) cursor = conn.cursor() # Pobranie aktualnej daty aktualna_data = datetime.now().strftime('%Y-%m-%d') # Pobranie wszystkich linków, dla których CONTENT jest pusty lub NULL cursor.execute('SELECT rowid, LINK FROM APPS01 WHERE CONTENT IS NULL OR CONTENT = ""') wiersze = cursor.fetchall() print(f"Znaleziono {len(wiersze)} linków do przetworzenia.") for rowid, link in wiersze: try: # Pobranie zawartości strony response = requests.get(link, timeout=10) response.raise_for_status() # Sprawdzenie poprawności odpowiedzi zawartosc = response.text print(f"Pobrano zawartość z {link}.") except Exception as e: # Obsługa błędów pobierania zawartosc = f"Błąd pobierania: {e}" print(f"Nie udało się pobrać {link}: {e}") # Aktualizacja pól CONTENT i DATUM w tabeli APPS01 cursor.execute('UPDATE APPS01 SET CONTENT = ?, DATUM = ? WHERE rowid = ?', (zawartosc, aktualna_data, rowid)) # Zatwierdzenie zmian w bazie danych conn.commit() print("Zawartość została zaktualizowana pomyślnie.") except sqlite3.Error as e: print(f"Błąd SQLite: {e}") finally: # Zamknięcie połączenia z bazą danych if conn: conn.close() print("Zamknięto połączenie z bazą danych.") if __name__ == "__main__": aktualizuj_zawartosc()Wyjaśnienie Skryptu
-
Importowanie Modulów:
sqlite3: Do obsługi bazy danych SQLite.requests: Do pobierania zawartości stron internetowych.datetime: Do pobierania aktualnej daty.
-
Funkcja
aktualizuj_zawartosc:- Połączenie z Bazą Danych: Łączy się z bazą danych
GENAI_WORKS.db. - Pobranie Aktualnej Daty: Format
YYYY-MM-DD. - Wybór Linków do Przetworzenia: Selektuje wszystkie rekordy z tabeli
APPS01, gdzie poleCONTENTjest puste lubNULL. - Pętla Przetwarzająca Każdy Link:
- Próbuje pobrać zawartość strony za pomocą
requests.get. - Jeśli pobranie się powiedzie, zapisuje zawartość w polu
CONTENT. - W przypadku błędu zapisuje informację o błędzie w polu
CONTENT. - Aktualizuje również pole
DATUMaktualną datą.
- Próbuje pobrać zawartość strony za pomocą
- Zatwierdzenie Zmian: Zmiany są zapisywane w bazie danych.
- Obsługa Błędów: Wyświetla komunikaty w przypadku błędów z SQLite.
- Zamknięcie Połączenia: Zawsze zamyka połączenie z bazą danych, niezależnie od tego, czy operacja zakończyła się sukcesem czy błędem.
- Połączenie z Bazą Danych: Łączy się z bazą danych
-
Uruchomienie Skryptu:
- Skrypt wykonuje się automatycznie, gdy jest uruchamiany bezpośrednio.
Uwagi
- Pole
XXX: Skrypt pozostawia poleXXXbez zmian. Jeśli potrzebujesz wypełniać to pole dodatkowymi danymi, możesz dodać odpowiednie modyfikacje w zapytaniuUPDATE. - Timeout: Ustawiono limit czasu na 10 sekund dla żądań HTTP. Możesz dostosować tę wartość w zależności od potrzeb.
- Obsługa Błędów: Skrypt próbuje pobrać zawartość każdego linku indywidualnie. Błędy dla poszczególnych linków nie przerywają działania skryptu dla reszty linków.
Przed Uruchomieniem
Upewnij się, że:
- Baza danych
GENAI_WORKS.dbistnieje w katalogu, z którego uruchamiasz skrypt. - Tabela
APPS01ma cztery kolumny:DATUM,LINK,CONTENT,XXX. - W kolumnie
LINKznajdują się poprawne adresy URL.
Uruchomienie Skryptu
Aby uruchomić skrypt, zapisz go w pliku, np.
update_content.py, a następnie uruchom za pomocą Pythona:python update_content.pyJeśli wszystko jest skonfigurowane poprawnie, skrypt połączy się z bazą danych, pobierze zawartość stron z podanych linków i zaktualizuje tabelę
APPS01odpowiednimi danymi. -