Skip to content
The Chat Archive
gpt-4o-mini-2024-07-18· OpenAI WildChat-4.8M (AI2)

Помоги разобраться, пожалуйста, где я допустил ошибку. Вот мой код: import requests def…

  1. User

    Помоги разобраться, пожалуйста, где я допустил ошибку. Вот мой код: import requests

    def get_html(url):

    # calss: requests.models.Response
    r = requests.get(url)
    
    # Get html code
    return r.text
    

    def main(): url = 'https://wordpress.org/' print(get_html(url))

    if name == 'main': main()

    А вот результат работы программы: [Running] python -u "c:\Users\user\Desktop\python\main.py" Traceback (most recent call last): File "c:\Users\user\Desktop\python\main.py", line 20, in main() File "c:\Users\user\Desktop\python\main.py", line 16, in main print(get_html(url)) File "C:\Users\user\AppData\Local\Programs\Python\Python312\Lib\encodings\cp1251.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ UnicodeEncodeError: 'charmap' codec can't encode character '\u2197' in position 88987: character maps to

    [Done] exited with code=1 in 9.382 seconds

  2. Assistant

    Ошибка, с которой вы столкнулись, связана с попыткой вывести на экран символ, который не поддерживается текущей кодировкой консоли. В вашем случае, это происходит из-за символа, который присутствует в HTML-коде, получаемом с указанного URL (в данном случае "https://wordpress.org/").

    Для решения этой проблемы вы можете попробовать следующие способы:

    1. Изменение кодировки консоли (если возможно)

    Если вы используете Windows, вы можете изменить кодировку консоли на UTF-8 с помощью команды:

    chcp 65001
    

    Запустите эту команду в консоли перед выполнением вашего скрипта. Однако это может не всегда корректно работать на всех версиях Windows.

    2. Игнорирование ошибок при выводе

    Вы можете игнорировать символы, которые не поддерживаются, при выводе. Для этого замените строку с print(get_html(url)) на:

    print(get_html(url).encode('utf-8', 'ignore').decode('utf-8'))
    

    Это позволит пропустить символы, которые не могут быть закодированы в вашей текущей кодировке.

    3. Запись в файл

    Если вывод в консоль не критичен, вы можете записывать результат в файл, который поддерживает UTF-8:

    def main():
        url = 'https://wordpress.org/'
        html_content = get_html(url)
        
        # Записываем в файл с кодировкой UTF-8
        with open('output.html', 'w', encoding='utf-8') as f:
            f.write(html_content)
    
    if __name__ == '__main__':
        main()
    

    Этот подход позволит вам сохранить весь HTML-код в файл, а затем вы сможете открыть его в браузере или текстовом редакторе.

    4. Вывод ограниченного количества символов

    Вы также можете выводить часть HTML-содержимого. Например:

    def main():
        url = 'https://wordpress.org/'
        html_content = get_html(url)
        
        # Выводим только первые 1000 символов
        print(html_content[:1000])
    
    if __name__ == '__main__':
        main()
    

    Это позволит вам избежать проблем с кодировками, если контент слишком большой.

    Попробуйте один из этих методов, и ошибка должна исчезнуть.

  3. User

    А тут где ошибка? import requests from bs4 import BeautifulSoup

    def get_html(url):

    # calss: requests.models.Response
    r = requests.get(url)
    
    # Get html code
    return r.text
    

    def get_data(html): soup = BeautifulSoup(html, 'lxml') h1 = soup.find('div', id='home-welcome').find('header').find('h1').text return h1

    def main(): url = 'https://wordpress.org/' print(get_data(get_html(url)))

    if name == 'main': main()

    Вывод: Traceback (most recent call last): File "c:\Users\user\Desktop\python\main.py", line 31, in main() File "c:\Users\user\Desktop\python\main.py", line 22, in main print(get_data(get_html(url))) ^^^^^^^^^^^^^^^^^^^^^^^ File "c:\Users\user\Desktop\python\main.py", line 16, in get_data h1 = soup.find('div', id='home-welcome').find('header').find('h1').text ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: 'NoneType' object has no attribute 'find'

  4. Assistant

    Ваша ошибка связана с тем, что метод soup.find('div', id='home-welcome') возвращает None, и затем вы пытаетесь вызвать метод find на этом объекте None, что вызывает AttributeError.

    Это может происходить по нескольким причинам:

    1. Структура HTML изменилась: Возможно, на странице, которую вы обрабатываете, больше нет элемента div с id='home-welcome'. Чтобы это проверить, вы можете вывести весь HTML, который вы получаете, и посмотреть на его структуру.

    2. Неправильный элемент: Может быть, элемент, который вы пытаетесь найти, просто отсутствует в полученном HTML. Проверьте, действительно ли существует элемент с таким id.

    Чтобы вам помочь, вот несколько шагов, которые вы можете предпринять для устранения проблемы:

    Проверка получаемого HTML

    Выведите часть HTML-кода, чтобы убедиться, что в нем действительно есть искомый элемент:

    def main():
        url = 'https://wordpress.org/'
        html = get_html(url)
    
        # Выводим первые 1000 символов HTML-кода
        print(html[:1000])
        print(get_data(html))
    
    if __name__ == '__main__':
        main()
    

    Использование отладки

    В функции get_data добавьте проверку на None:

    def get_data(html):
        soup = BeautifulSoup(html, 'lxml')
        welcome_div = soup.find('div', id='home-welcome')
        
        if welcome_div is None:
            print("Элемент 'div' с id='home-welcome' не найден.")
            return None
    
        header = welcome_div.find('header')
    
        if header is None:
            print("Элемент 'header' не найден внутри 'div' с id='home-welcome'.")
            return None
    
        h1 = header.find('h1')
    
        if h1 is None:
            print("Элемент 'h1' не найден внутри 'header'.")
            return None
    
        return h1.text
    

    Таким образом, вы получите больше информации о том, на каком именно шаге возникла ошибка.

    Проверка структуры страницы

    После того как вы получите HTML-код, проверьте, есть ли на настоящей странице элемент div с id='home-welcome'. Если его нет, измените свой код, чтобы искать элемент, который действительно существует на странице.

    Если элемент был изменен или его больше нет на странице, вам нужно будет обновить свой парсинг, чтобы он соответствовал текущей структуре HTML на сайте.

  5. User

    Как мне вытащить текст ("Meet WordPress") из этого блока кода-html?

  6. Assistant

    Чтобы извлечь текст "Meet WordPress" из указанного блока HTML, вы можете использовать библиотеку BeautifulSoup для парсинга. В данном случае текст находится внутри тега <h1>.

    Вот как можно это сделать:

    import requests
    from bs4 import BeautifulSoup
    
    def get_html(url):
        r = requests.get(url)
        return r.text
    
    def get_meet_wordpress_text(html):
        soup = BeautifulSoup(html, 'lxml')
        # Ищем все блоки с классом 'wp-block-column'
        columns = soup.find_all('div', class_='wp-block-column')
        for column in columns:
            # Ищем внутри блока тег h1
            h1 = column.find('h1')
            if h1 and h1.text == "Meet WordPress":
                return h1.text
                
        return None
    
    def main():
        url = 'https://пример_сайта_с_вашим_html'  # Замените на URL, который возвращает ваш HTML
        html = get_html(url)
        title = get_meet_wordpress_text(html)
        
        if title:
            print(f'Найденный текст: {title}')
        else:
            print('Текст не найден.')
    
    if __name__ == '__main__':
        main()
    

    Объяснение кода:

    1. Импорт библиотек: Вы импортируете необходимые библиотеки, такие как requests для получения HTML и BeautifulSoup для его парсинга.

    2. Функция get_html: Эта функция делает HTTP GET запрос к указанному URL и возвращает HTML-содержимое.

    3. Функция get_meet_wordpress_text:

      • Создается объект soup с использованием BeautifulSoup.
      • Используя find_all, ищем все блоки div с классом wp-block-column.
      • Внутри каждого блока ищем тег h1.
      • Если находим тег h1 и его текст совпадает с "Meet WordPress", возвращаем этот текст.
    4. Основная функция main:

      • Указываете нужный URL (замените https://пример_сайта_с_вашим_html на действительный адрес).
      • Получаете HTML, извлекаете текст и выводите результат.

    Обратите внимание:

    • Убедитесь, что URL, который вы используете, действительно содержит целевой HTML. В противном случае вам нужно будет адаптировать код или ошибку для обработки ситуации, когда HTML не содержит искомого элемента.