Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· openaiHugging Face Suzhen/CodeChat

напиши скрипт, который выгружает данные с сайта sudrf.cntd.ru, скрипт использует…

  1. User

    напиши скрипт, который выгружает данные с сайта sudrf.cntd.ru, скрипт использует библиотеки aiohttp Python и Selenium Python. после этапа выгрузки скрипт должен сохранять данные в папке downloads_sources. после этапа выгрузки скрипт берет данные из папки и далее распознает html-файлы и url-ссылки при помощи BeautifulSoup Python. в случае, если файл не является текстом, скрипт должен использовать библиотеку Tesseract, распознавать данные из .png, .jpeg, .jpg, .pdf, .docx форматов файлов. пусть скрипт сохраняет полученные файлы в папку datadocs

  2. Assistant

    Для выполнения задачи, сначала установите следующие пакеты:

    pip install aiohttp selenium beautifulsoup4 pytesseract Pillow pdf2image python-docx
    

    Затем создайте скрипт с использованием aiohttp, Selenium и BeautifulSoup:

    import os
    import sys
    import asyncio
    import aiohttp
    from selenium import webdriver
    from bs4 import BeautifulSoup
    from pytesseract import image_to_string
    from PIL import Image
    from pdf2image import convert_from_path
    import docx
    
    
    async def download_site_content(url, destination_folder):
        async with aiohttp.ClientSession() as session:
            async with session.get(url) as resp:
                resp.raise_for_status()
                content = await resp.text()
                with open(os.path.join(destination_folder, "source.html"), "w") as f:
                    f.write(content)
    
    
    def get_links_and_files(destination_folder):
        with open(os.path.join(destination_folder, "source.html")) as f:
            content = f.read()
        soup = BeautifulSoup(content, "html.parser")
        links = [a["href"] for a in soup.find_all("a", href=True)]
        files = os.listdir(destination_folder)
        return links, files
    
    
    def process_files(destination_folder):
        def process_image(image_path):
            return image_to_string(Image.open(image_path))
    
        def process_pdf(pdf_path):
            pages = convert_from_path(pdf_path)
            return " ".join(process_image(page) for page in pages)
    
        def process_docx(docx_path):
            doc = docx.Document(docx_path)
            return " ".join(paragraph.text for paragraph in doc.paragraphs)
    
        for file in os.listdir(destination_folder):
            _, ext = os.path.splitext(file)
            text = ""
    
            if ext in ['.png', '.jpeg', '.jpg']:
                text = process_image(file)
            elif ext == '.pdf':
                text = process_pdf(file)
            elif ext == ".docx":
                text = process_docx(file)
            else:
                with open(file) as f:
                    text = f.read()
    
            with open(os.path.join("datadocs", f"{file}.txt"), 'w') as f:
                f.write(text)
    
    
    async def main():
        url = "https://sudrf.cntd.ru"
        download_path = "downloads_sources"
    
        # Скачаем данные с сайта
        await download_site_content(url, download_path)
    
        # Получим ссылки и файлы
        links, files = get_links_and_files(download_path)
    
        # Обработка файлов
        process_files(download_path)
    
    
    if __name__ == "__main__":
        try:
            os.makedirs("downloads_sources")
            os.makedirs("datadocs")
        except OSError:
            pass
    
        loop = asyncio.get_event_loop()
        loop.run_until_complete(main())
    

    Этот скрипт выполняет следующие действия:

    1. Скачивает HTML-контент указанного сайта и сохраняет его в папку downloads_sources.
    2. Получает ссылки и файлы из загруженных материалов при помощи BeautifulSoup.
    3. Обрабатывает файлы разного типа (.png, .jpeg, .jpg, .pdf, .docx) и сохраняет результаты распознавания в папку datadocs в виде текстовых файлов.

    Обратите внимание, что этот скрипт не обрабатывает динамически загружаемый контент на сайте. Если вам нужно обрабатывать динамический контент, используйте Selenium для получения исходного кода страницы вместо aiohttp.