questo codice ha problemi negli f24 multipli, in buona sostanza la lista dei link da…
- User
questo codice ha problemi negli f24 multipli, in buona sostanza la lista dei link da anche il numero di f24 per ogni link qualora sia maggiore di 1 si deve aprire il link dove compare un altra tabella e si devono ciclare quei link per salvare i file:
def anni(driver): html_source = driver.page_source # Close the browser (if needed) # driver.quit() # Parse the HTML using BeautifulSoup soup = BeautifulSoup(html_source, 'html.parser') base_url = 'https://cassetto.agenziaentrate.gov.it' # Find all the years within the specified section section_years = soup.find('section', class_='section section-anni border border-primary') years = [] if section_years: # Find all the span elements with class 'chip-label' within the section year_elements = section_years.find_all('span', class_='chip-label') # Extract the text content (years) from the elements years = [element.get_text(strip=True) for element in year_elements] # Print the extracted years #print(years) html_source = driver.page_source # Close the browser (if needed) # driver.quit() # Parse the HTML using BeautifulSoup soup = BeautifulSoup(html_source, 'html.parser') # Find all the years within the specified section documenti_presenti = soup.select('.chip .btn-sm a[title="Documenti presenti"]')
# Creazione di un dizionario con gli anni e i link data = {} anni=[] for elem in documenti_presenti: anno = elem.find(class_='chip-label').get_text(strip=True) link = base_url + elem['href'] data[anno] = link anni.append({anno: link}) # Stampa del risultato for anno_dict in anni: for anno, link in anno_dict.items(): print(f'Anno: {anno}, Link: {link}') print(anno) print(link) driver.get(link) WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, "table.table-hover tbody tr"))) lista_f24(driver,anno)contatore = 0 def lista_f24(driver,anno, num_f24=None, multiplo=None): global contatore # Trova tutti i righe () all'interno del corpo della tabella () WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, "table.table-hover tbody tr"))) rows = driver.find_elements(By.CSS_SELECTOR, "table.table-hover tbody tr") # Inizializza una lista per i dati e i link da archiviare f24_data = [] # Andiamo a estrarre le informazioni da ogni riga for row in rows: # Ottieni tutti i dati delle colonne e mettiteli in una lista data = [cell.text.strip() for cell in row.find_elements(By.TAG_NAME, "th")] + [cell.text.strip() for cell in row.find_elements(By.TAG_NAME, "td")] + [a.get_attribute('href') for a in row.find_elements(By.TAG_NAME, "a")] # Aggiungi i dati e i link alla lista f24_data.append({'data': data}) #print(data)
text ="" testo_protocollo="" for item in f24_data: if contatore == 0: num_f24= int(item['data'][2]) print(' numero f24 da lista ' + str(num_f24)) else: num_f24 print(' numero f24 da multi f24 ' + str(num_f24)) text = str(item['data'][1]) testo_protocollo=item['data'][4] print('inizializzaione link') text = str(item['data'][1]) print("Numero f24_________________ " + str(num_f24)) print(text) if "dettaglio del versamento" in text: # Estrai il numero del versamento e l'indice versamento = text.split('n.')[0].strip() indice = str(text.split('n.')[1].split(' ')[0].strip()) # Stampa il numero del versamento e l'indice print('Versamento:', versamento) print('Indice:', indice) # Ottieni il testo del protocollo corrispondente protocollo = anno + '_'+ testo_protocollo.replace('/', '_') + '_' + indice print(protocollo) if num_f24 ==1 and multiplo != "multiplo": if '-' in testo_protocollo: href= str(item['data'][6]) print('link da eseguire ' + href) f24_singolo(driver,protocollo,text, href,indice) else: href= str(item['data'][7]) print('link da eseguire ' + href) f24_singolo(driver,protocollo,text, href,indice) breakpoint() # else:if contatore == 0:
driver.get(href)
lista_f24(driver,anno,num_f24,"multiplo")
print('multi f24')
contatore += 1
num_f24=int(contatore)
print (num_f24)
print(item)
href= str(item['data'][6])
print('Link f24 lista')
print('link da eseguire ' + href)
f24_singolo(driver, protocollo, text, href, indice)
breakpoint()
else:
#f24_multipli(driver,anno,href,f24_num, protocollo, text, indice)
print('multi f24')
contatore += 1
num_f24=int(contatore)
print (num_f24)
print(item)
href= str(item['data'][6])
print('Link f24 lista')
print('link da eseguire ' + href)
if contatore != 0:
f24_singolo(driver, protocollo, text, href, indice)
breakpoint()
def f24_singolo(driver, protocollo, text, href, indice): print("download pagina html") file_name = f"{protocollo}.html" file_path = os.path.join('C:/Users/Utente/Desktop/Cassetto fiscale', file_name)
# Crea una sessione di requests e trasferisci i cookie session = requests.Session() cookies = driver.get_cookies() for cookie in cookies: session.cookies.set(cookie['name'], cookie['value']) # Salva la pagina HTML response = session.get(href) with open(file_path, 'wb') as f: f.write(response.content) print('html '+ file_name + ' salvato') # Fa il download degli f24 singoli for suffix in ['P', 'Q']: pdf_file_name = f"{protocollo}_{suffix}.pdf" pdf_file_path = os.path.join('C:/Users/Utente/Desktop/Cassetto fiscale', pdf_file_name) url_suffix = f"{href}&stampa={suffix}" # Salva i file PDF #response = session.get(url_suffix) file_bytes = session.get(url_suffix).content with open(pdf_file_name, "wb") as f: f.write(file_bytes) print('download file ' + pdf_file_name)#def f24_multipli(driver,anno,href,f24_num, protocollo, text, indice):
#f24_singolo(driver, protocollo, text, href, indice)if name == "main": main()
- Assistant
Ci sono alcune questioni da avere in considerazione nel codice fornito:
-
Gestione di F24 multipli: Il codice sembra gestire i documenti F24 in modo parziale. Nella funzione
lista_f24, viene utilizzata una variabilenum_f24per determinare se ci sono documenti multipli, ma non viene effettuato alcun controllo o loop aggiuntivo per gestire il caso in cuinum_f24sia maggiore di 1. -
Variabile
contatore: La variabilecontatoreviene usata per tenere traccia di qualcosa nell'iterazione, ma la sua utilità non è chiara e potrebbe essere causa di comportamenti imprevisti. È impostata come variabile globale e incrementata solo in un commentato blocco di codice. -
Codice commentato: Ci sono blocchi di codice commentati che potrebbero essere parti di tentativi precedenti per gestire i documenti F24 multipli. Essi dovrebbero essere rivisti, corretti e integrati o rimossi se non utili.
-
Gestione degli indici: La variabile
indiceviene estratta dalla stringatextin modo che se il formato del testo cambia o se ci sono casi che non corrispondono esattamente con la struttura prevista, potrebbe causare errori. -
Possibili errori con l'attributo
href: Il codice assume che ci siano 6 o 7 elementi neldataestrarre il link, ma se la struttura della pagina web cambiata, questo potrebbe portare a un indice fuori dai limiti o alla selezione del link sbagliato. -
breakpoint(): Questa istruzione è utilizzata per inserire un punto di arresto, ma non è chiaro se è stato lasciato accidentalmente durante il debug.
Riguardo la gestione dei F24 multipli, sarebbe opportuno prima verificare il numero di F24 disponibili mediante
num_f24e poi gestire il caso in cui ne sono presenti di multipli, probabilmente con un loop che apre ogni link individuale e chiamaf24_singoloper ogni F24 trovato nell'ulteriore tabella.Ecco un possibile approccio per gestire i F24 multipli:
# In lista_f24() if num_f24 > 1: # Estrarre e visitare il link alla tabella con gli F24 multipli multi_f24_link = estrai_il_link_multiplo(...) driver.get(multi_f24_link) # Trova tutti i link degli F24 multipli nella nuova pagina multi_f24_links = driver.find_elements(...) # Utilizza il selettore appropriato for link in multi_f24_links: href = link.get_attribute('href') f24_singolo(driver, protocollo, text, href, indice)Inoltre, raccomanderei di Uso
driver.find_elements()al posto didriver.find_elements(By.TAG_NAME, "a")per raccogliere direttamente i link all'interno delle righe della tabella.Per migliorare la qualità del codice, si potrebbe anche considerare la rimozione del codice duplicato e applicare una migliore strutturazione del codice con funzioni separate e chiare responsabilità. Alcuni commenti potrebbero diventare obsoleti o fuorvianti, quindi assicurati che vengano aggiornati o rimossi se non più applicabili.
-
- User
i questa parte del codice faccio i controlli:
if num_f24 ==1 and multiplo != "multiplo": if '-' in testo_protocollo: href= str(item['data'][6]) print('link da eseguire ' + href) f24_singolo(driver,protocollo,text, href,indice) else: href= str(item['data'][7]) print('link da eseguire ' + href) f24_singolo(driver,protocollo,text, href,indice) breakpoint() # else:if contatore == 0:
driver.get(href)
lista_f24(driver,anno,num_f24,"multiplo")
print('multi f24')
contatore += 1
num_f24=int(contatore)
print (num_f24)
print(item)
href= str(item['data'][6])
print('Link f24 lista')
print('link da eseguire ' + href)
f24_singolo(driver, protocollo, text, href, indice)
breakpoint()
else:
#f24_multipli(driver,anno,href,f24_num, protocollo, text, indice)
print('multi f24')
contatore += 1
num_f24=int(contatore)
print (num_f24)
print(item)
href= str(item['data'][6])
print('Link f24 lista')
print('link da eseguire ' + href)
if contatore != 0:
f24_singolo(driver, protocollo, text, href, indice)
breakpoint()
- Assistant
Capisco che il tuo codice intenda distinguere tra la gestione degli F24 singoli e multipli. Tuttavia, sembra che ci siano alcune parti cruciali del codice che sono state commentate e potrebbero essere necessarie per il corretto funzionamento del tuo script.
Il primo blocco di codice:
if num_f24 == 1 and multiplo != "multiplo": if '-' in testo_protocollo: href= str(item['data'][6]) print('link da eseguire ' + href) f24_singolo(driver, protocollo, text, href, indice) else: href= str(item['data'][7]) print('link da eseguire ' + href) f24_singolo(driver, protocollo, text, href, indice) breakpoint()Questo gestisce il caso in cui
num_f24sia uguale a 1, e chiama la funzionef24_singoloper gestire il download dell'F24. Se l'indice 6 o 7 perhrefnon fosse corretto o la struttura della tabella cambiasse, questo porterebbe a errori.Il blocco commentato:
## if contatore == 0: ## ## driver.get(href) ## lista_f24(driver, anno, num_f24, "multiplo") ## print('multi f24') ## contatore += 1 ## num_f24 = int(contatore) ## print(num_f24) ## print(item) ## href = str(item['data'][6]) ## print('Link f24 lista') ## print('link da eseguire ' + href) ## f24_singolo(driver, protocollo, text, href, indice) ## breakpoint()Questo pezzo sopra sembra essere l'inizio del tentativo di lavorare con gli F24 multipli, però è incompleto e commentato. Potrebbe essere la chiave per aprire i link secondari e gestire più F24. Dovresti considerare di decomcommentarlo, completarlo e integrarlo correttamente nel flusso del programma.
Inoltre, è importante notare che l'uso di
breakpoint()interromperà l'esecuzione del codice se stai eseguendo lo script in un debugger.Per procedere, dovrai riparare il flusso logico per gestire gli F24 multipli e rimuovere o adeguare il breakpoint. Il codice per gestire F24 multipli dovrà visitare il link che elenca tutti gli F24 per quell'anno e iterare attraverso i link per scaricare ogni F24. Puoi implementare questo ciclo nel blocco commentato sopra, una volta rimosso il commento e aggiustato il codice.
- User
breakpoint era per testare il codice, mi generi la parte degli f24 multipli un pò come da commenti
- Assistant
Certo, possiamo provare a creare la parte per gestire gli F24 multipli basandoci sulle tue indicazioni. Tenendo presente che questo è uno schema generale e potrebbe aver bisogno di ulteriori adattamenti per funzionare con il sito specifico e la struttura dei dati che stai trattando.
Ecco un'esemplificazione di come potresti implementare la gestione degli F24 multipli:
def lista_f24(driver, anno, num_f24=None, multiplo=None): global contatore ... for item in f24_data: text = item['data'][1] testo_protocollo = item['data'][4] if "dettaglio del versamento" in text: versamento = text.split('n.')[0].strip() indice = text.split('n.')[1].split(' ')[0].strip() protocollo = anno + '_' + testo_protocollo.replace('/', '_') + '_' + indice if num_f24 > 1: # Abbiamo più di un F24 da gestire gestisci_f24_multipli(driver, item, anno) else: # Ci occupiamo di un singolo F24 href = str(item['data'][6] if '-' in testo_protocollo else item['data'][7]) f24_singolo(driver, protocollo, text, href, indice) def gestisci_f24_multipli(driver, item, anno): # Assume che 'item' contenga un link alla pagina con la lista degli F24 multipli href = item['data'][6] driver.get(href) # Aspetta che la nuova tabella sia caricata e trova tutti i link degli F24 multipli WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, "table.table-hover"))) multi_f24_links = driver.find_elements(By.CSS_SELECTOR, "table.table-hover tbody tr a") for link_element in multi_f24_links: # Estrai l'href da ogni elemento di link href = link_element.get_attribute('href') text = link_element.text indice = 'F24_mul' # Devi determinare come ottenere l'indice corretto per ogni F24 # Crea il nome del protocollo per l'F24 corrente protocollo = anno + '_F24_multiplo_' + indice # Usa una funzione che sa come gestire il singolo F24 f24_singolo(driver, protocollo, text, href, indice)Ricorda che nel codice:
gestisci_f24_multipliè una nuova funzione che hai bisogno di aggiungere che si occupa di aprire la pagina con gli F24 multipli e iterare su di essi.- Devi assicurarti che
item['data'][6]è la posizione corretta nel tuo array per il link agli F24 multipli. - L'
indiceper ogni F24 ingestire_f24_multiplideve essere determinato in modo appropriato.
Questo è uno schema base e potrebbe non funzionare correttamente senza alcune modifiche che si adattino alla struttura della tua pagina web e ai dati. Assicurati di adeguare i selettori CSS, gli indici e la logica incontrando la struttura del sito web specifico che stai utilizzando.