Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

Mam tu wcześniejszy kod, ale potrzebuję go maksymalnie uprościć by był trywialny bez…

  1. User

    Mam tu wcześniejszy kod, ale potrzebuję go maksymalnie uprościć by był trywialny bez udziwnień:import os import sqlite3 import csv import requests from datetime import datetime

    def create_database(db_name): """ Tworzy bazę danych oraz tabelę GENAI_WORKS, jeśli nie istnieje. """ try: conn = sqlite3.connect(db_name) c = conn.cursor()

        # Tworzenie tabeli APPS01, jeśli nie istnieje
        c.execute('''
            CREATE TABLE IF NOT EXISTS APPS01 (
                DATUM TEXT,
                LINK TEXT,
                CONTENT TEXT
                XXX TEXT
            )
        ''')
        conn.commit()
        print("Połączono z bazą danych i upewniono się, że tabela GENAI_WORKS istnieje.")
        return conn, c
    except sqlite3.Error as e:
        print(f"Błąd podczas tworzenia/łączenia z bazą danych: {e}")
        return None, None
    

    def load_links_into_db(csv_file, cursor, current_date): """ Wczytuje linki z pliku CSV i wstawia je do tabeli GENAI_WORKS. """ try: with open(csv_file, newline='', encoding='utf-8') as csvfile: reader = csv.reader(csvfile) links_inserted = 0 for row in reader: if row: # Sprawdzenie, czy wiersz nie jest pusty link = row[0].strip() if link: # Sprawdzenie, czy link nie jest pusty cursor.execute('INSERT INTO GENAI_WORKS (DATUM, LINK) VALUES (?, ?)', (current_date, link)) links_inserted += 1 print(f"Wczytano {links_inserted} linków z {csv_file} do tabeli GENAI_WORKS.") except FileNotFoundError: print(f"Plik {csv_file} nie został znaleziony.") except Exception as e: print(f"Wystąpił błąd podczas wczytywania linków: {e}")

    def fetch_and_update_content(cursor, conn): """ Pobiera zawartość stron internetowych i aktualizuje pole CONTENT w tabeli GENAI_WORKS. """ try: cursor.execute('SELECT ROWID, LINK FROM GENAI_WORKS WHERE CONTENT IS NULL OR CONTENT = ""') rows = cursor.fetchall() print(f"Znaleziono {len(rows)} linków do pobrania zawartości.")

        for row in rows:
            rowid, link = row
            try:
                response = requests.get(link, timeout=10)
                response.raise_for_status()  # Sprawdzenie, czy żądanie się powiodło
                content = response.text
                print(f"Pobrano zawartość z {link}.")
            except Exception as e:
                content = f"Błąd pobierania: {e}"
                print(f"Nie udało się pobrać {link}: {e}")
    
            # Aktualizacja pola CONTENT w tabeli
            cursor.execute('UPDATE GENAI_WORKS SET CONTENT = ? WHERE ROWID = ?', (content, rowid))
    
        conn.commit()
        print("Zaktualizowano zawartość stron w tabeli GENAI_WORKS.")
    except sqlite3.Error as e:
        print(f"Błąd podczas pobierania aktualizacji zawartości: {e}")
    

    def main(): # Nazwa bazy danych db_name = 'GENAI_WORKS.db'

    # Pobranie aktualnej daty w formacie YYYY-MM-DD
    current_date = datetime.now().strftime('%Y-%m-%d')
    
    
    # Tworzenie/łączenie z bazą danych i tworzenie tabeli
    conn, cursor = create_database(db_name)
    if not conn or not cursor:
        return
    
    # Zatwierdzenie wprowadzonych zmian
    conn.commit()
    
    # Pobieranie zawartości stron i aktualizacja bazy danych
    fetch_and_update_content(cursor, conn)
    
    # Przemianowanie tabeli na GENAI_WORKS_datuma
    rename_table(cursor, conn, current_date)
    
    # Zamknięcie połączenia z bazą danych
    try:
        conn.close()
        print("Zamknięto połączenie z bazą danych.")
    except sqlite3.Error as e:
        print(f"Błąd podczas zamykania połączenia: {e}")
    

    if name == "main": main() --- zrobimy to tak: Zawsze będzie gotowa baza GENAI_WORKS.db, w której będzie tabela APPS01. Ma ona 4 pola DATUM, do której będziesz wczytywał datę kiedy wczytujesz dane, LINK, tam już będą podane linki stron, które wczytasz do pola CONTENT, oraz puste pole XXX.

  2. Assistant

    Oczywiście, oto uproszczony skrypt zgodny z Twoimi wymaganiami. Ten skrypt zakłada, że baza danych GENAI_WORKS.db oraz tabela APPS01 już istnieją. Tabela APPS01 powinna mieć cztery pola: DATUM, LINK, CONTENT oraz XXX.

    Uproszczony Skrypt Python

    import sqlite3
    import requests
    from datetime import datetime
    
    def aktualizuj_zawartosc(db_nazwa='GENAI_WORKS.db'):
        try:
            # Połączenie z bazą danych
            conn = sqlite3.connect(db_nazwa)
            cursor = conn.cursor()
            
            # Pobranie aktualnej daty
            aktualna_data = datetime.now().strftime('%Y-%m-%d')
            
            # Pobranie wszystkich linków, dla których CONTENT jest pusty lub NULL
            cursor.execute('SELECT rowid, LINK FROM APPS01 WHERE CONTENT IS NULL OR CONTENT = ""')
            wiersze = cursor.fetchall()
            print(f"Znaleziono {len(wiersze)} linków do przetworzenia.")
            
            for rowid, link in wiersze:
                try:
                    # Pobranie zawartości strony
                    response = requests.get(link, timeout=10)
                    response.raise_for_status()  # Sprawdzenie poprawności odpowiedzi
                    zawartosc = response.text
                    print(f"Pobrano zawartość z {link}.")
                except Exception as e:
                    # Obsługa błędów pobierania
                    zawartosc = f"Błąd pobierania: {e}"
                    print(f"Nie udało się pobrać {link}: {e}")
                
                # Aktualizacja pól CONTENT i DATUM w tabeli APPS01
                cursor.execute('UPDATE APPS01 SET CONTENT = ?, DATUM = ? WHERE rowid = ?', (zawartosc, aktualna_data, rowid))
            
            # Zatwierdzenie zmian w bazie danych
            conn.commit()
            print("Zawartość została zaktualizowana pomyślnie.")
            
        except sqlite3.Error as e:
            print(f"Błąd SQLite: {e}")
        finally:
            # Zamknięcie połączenia z bazą danych
            if conn:
                conn.close()
                print("Zamknięto połączenie z bazą danych.")
    
    if __name__ == "__main__":
        aktualizuj_zawartosc()
    

    Wyjaśnienie Skryptu

    1. Importowanie Modulów:

      • sqlite3: Do obsługi bazy danych SQLite.
      • requests: Do pobierania zawartości stron internetowych.
      • datetime: Do pobierania aktualnej daty.
    2. Funkcja aktualizuj_zawartosc:

      • Połączenie z Bazą Danych: Łączy się z bazą danych GENAI_WORKS.db.
      • Pobranie Aktualnej Daty: Format YYYY-MM-DD.
      • Wybór Linków do Przetworzenia: Selektuje wszystkie rekordy z tabeli APPS01, gdzie pole CONTENT jest puste lub NULL.
      • Pętla Przetwarzająca Każdy Link:
        • Próbuje pobrać zawartość strony za pomocą requests.get.
        • Jeśli pobranie się powiedzie, zapisuje zawartość w polu CONTENT.
        • W przypadku błędu zapisuje informację o błędzie w polu CONTENT.
        • Aktualizuje również pole DATUM aktualną datą.
      • Zatwierdzenie Zmian: Zmiany są zapisywane w bazie danych.
      • Obsługa Błędów: Wyświetla komunikaty w przypadku błędów z SQLite.
      • Zamknięcie Połączenia: Zawsze zamyka połączenie z bazą danych, niezależnie od tego, czy operacja zakończyła się sukcesem czy błędem.
    3. Uruchomienie Skryptu:

      • Skrypt wykonuje się automatycznie, gdy jest uruchamiany bezpośrednio.

    Uwagi

    • Pole XXX: Skrypt pozostawia pole XXX bez zmian. Jeśli potrzebujesz wypełniać to pole dodatkowymi danymi, możesz dodać odpowiednie modyfikacje w zapytaniu UPDATE.
    • Timeout: Ustawiono limit czasu na 10 sekund dla żądań HTTP. Możesz dostosować tę wartość w zależności od potrzeb.
    • Obsługa Błędów: Skrypt próbuje pobrać zawartość każdego linku indywidualnie. Błędy dla poszczególnych linków nie przerywają działania skryptu dla reszty linków.

    Przed Uruchomieniem

    Upewnij się, że:

    1. Baza danych GENAI_WORKS.db istnieje w katalogu, z którego uruchamiasz skrypt.
    2. Tabela APPS01 ma cztery kolumny: DATUM, LINK, CONTENT, XXX.
    3. W kolumnie LINK znajdują się poprawne adresy URL.

    Uruchomienie Skryptu

    Aby uruchomić skrypt, zapisz go w pliku, np. update_content.py, a następnie uruchom za pomocą Pythona:

    python update_content.py
    

    Jeśli wszystko jest skonfigurowane poprawnie, skrypt połączy się z bazą danych, pobierze zawartość stron z podanych linków i zaktualizuje tabelę APPS01 odpowiednimi danymi.