напиши скрипт, который выгружает данные с сайта sudrf.cntd.ru, скрипт использует…
- User
напиши скрипт, который выгружает данные с сайта sudrf.cntd.ru, скрипт использует библиотеки aiohttp Python и Selenium Python. после этапа выгрузки скрипт должен сохранять данные в папке downloads_sources. после этапа выгрузки скрипт берет данные из папки и далее распознает html-файлы и url-ссылки при помощи BeautifulSoup Python. в случае, если файл не является текстом, скрипт должен использовать библиотеку Tesseract, распознавать данные из .png, .jpeg, .jpg, .pdf, .docx форматов файлов. пусть скрипт сохраняет полученные файлы в папку datadocs
- Assistant
Для выполнения задачи, сначала установите следующие пакеты:
pip install aiohttp selenium beautifulsoup4 pytesseract Pillow pdf2image python-docxЗатем создайте скрипт с использованием aiohttp, Selenium и BeautifulSoup:
import os import sys import asyncio import aiohttp from selenium import webdriver from bs4 import BeautifulSoup from pytesseract import image_to_string from PIL import Image from pdf2image import convert_from_path import docx async def download_site_content(url, destination_folder): async with aiohttp.ClientSession() as session: async with session.get(url) as resp: resp.raise_for_status() content = await resp.text() with open(os.path.join(destination_folder, "source.html"), "w") as f: f.write(content) def get_links_and_files(destination_folder): with open(os.path.join(destination_folder, "source.html")) as f: content = f.read() soup = BeautifulSoup(content, "html.parser") links = [a["href"] for a in soup.find_all("a", href=True)] files = os.listdir(destination_folder) return links, files def process_files(destination_folder): def process_image(image_path): return image_to_string(Image.open(image_path)) def process_pdf(pdf_path): pages = convert_from_path(pdf_path) return " ".join(process_image(page) for page in pages) def process_docx(docx_path): doc = docx.Document(docx_path) return " ".join(paragraph.text for paragraph in doc.paragraphs) for file in os.listdir(destination_folder): _, ext = os.path.splitext(file) text = "" if ext in ['.png', '.jpeg', '.jpg']: text = process_image(file) elif ext == '.pdf': text = process_pdf(file) elif ext == ".docx": text = process_docx(file) else: with open(file) as f: text = f.read() with open(os.path.join("datadocs", f"{file}.txt"), 'w') as f: f.write(text) async def main(): url = "https://sudrf.cntd.ru" download_path = "downloads_sources" # Скачаем данные с сайта await download_site_content(url, download_path) # Получим ссылки и файлы links, files = get_links_and_files(download_path) # Обработка файлов process_files(download_path) if __name__ == "__main__": try: os.makedirs("downloads_sources") os.makedirs("datadocs") except OSError: pass loop = asyncio.get_event_loop() loop.run_until_complete(main())Этот скрипт выполняет следующие действия:
- Скачивает HTML-контент указанного сайта и сохраняет его в папку
downloads_sources. - Получает ссылки и файлы из загруженных материалов при помощи BeautifulSoup.
- Обрабатывает файлы разного типа (.png, .jpeg, .jpg, .pdf, .docx) и сохраняет результаты распознавания в папку
datadocsв виде текстовых файлов.
Обратите внимание, что этот скрипт не обрабатывает динамически загружаемый контент на сайте. Если вам нужно обрабатывать динамический контент, используйте Selenium для получения исходного кода страницы вместо aiohttp.
- Скачивает HTML-контент указанного сайта и сохраняет его в папку