Помоги разобраться, пожалуйста, где я допустил ошибку. Вот мой код: import requests def…
- User
Помоги разобраться, пожалуйста, где я допустил ошибку. Вот мой код: import requests
def get_html(url):
# calss: requests.models.Response r = requests.get(url) # Get html code return r.textdef main(): url = 'https://wordpress.org/' print(get_html(url))
if name == 'main': main()
А вот результат работы программы: [Running] python -u "c:\Users\user\Desktop\python\main.py" Traceback (most recent call last): File "c:\Users\user\Desktop\python\main.py", line 20, in main() File "c:\Users\user\Desktop\python\main.py", line 16, in main print(get_html(url)) File "C:\Users\user\AppData\Local\Programs\Python\Python312\Lib\encodings\cp1251.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ UnicodeEncodeError: 'charmap' codec can't encode character '\u2197' in position 88987: character maps to
[Done] exited with code=1 in 9.382 seconds
- Assistant
Ошибка, с которой вы столкнулись, связана с попыткой вывести на экран символ, который не поддерживается текущей кодировкой консоли. В вашем случае, это происходит из-за символа, который присутствует в HTML-коде, получаемом с указанного URL (в данном случае "https://wordpress.org/").
Для решения этой проблемы вы можете попробовать следующие способы:
1. Изменение кодировки консоли (если возможно)
Если вы используете Windows, вы можете изменить кодировку консоли на UTF-8 с помощью команды:
chcp 65001Запустите эту команду в консоли перед выполнением вашего скрипта. Однако это может не всегда корректно работать на всех версиях Windows.
2. Игнорирование ошибок при выводе
Вы можете игнорировать символы, которые не поддерживаются, при выводе. Для этого замените строку с
print(get_html(url))на:print(get_html(url).encode('utf-8', 'ignore').decode('utf-8'))Это позволит пропустить символы, которые не могут быть закодированы в вашей текущей кодировке.
3. Запись в файл
Если вывод в консоль не критичен, вы можете записывать результат в файл, который поддерживает UTF-8:
def main(): url = 'https://wordpress.org/' html_content = get_html(url) # Записываем в файл с кодировкой UTF-8 with open('output.html', 'w', encoding='utf-8') as f: f.write(html_content) if __name__ == '__main__': main()Этот подход позволит вам сохранить весь HTML-код в файл, а затем вы сможете открыть его в браузере или текстовом редакторе.
4. Вывод ограниченного количества символов
Вы также можете выводить часть HTML-содержимого. Например:
def main(): url = 'https://wordpress.org/' html_content = get_html(url) # Выводим только первые 1000 символов print(html_content[:1000]) if __name__ == '__main__': main()Это позволит вам избежать проблем с кодировками, если контент слишком большой.
Попробуйте один из этих методов, и ошибка должна исчезнуть.
- User
А тут где ошибка? import requests from bs4 import BeautifulSoup
def get_html(url):
# calss: requests.models.Response r = requests.get(url) # Get html code return r.textdef get_data(html): soup = BeautifulSoup(html, 'lxml') h1 = soup.find('div', id='home-welcome').find('header').find('h1').text return h1
def main(): url = 'https://wordpress.org/' print(get_data(get_html(url)))
if name == 'main': main()
Вывод: Traceback (most recent call last): File "c:\Users\user\Desktop\python\main.py", line 31, in main() File "c:\Users\user\Desktop\python\main.py", line 22, in main print(get_data(get_html(url))) ^^^^^^^^^^^^^^^^^^^^^^^ File "c:\Users\user\Desktop\python\main.py", line 16, in get_data h1 = soup.find('div', id='home-welcome').find('header').find('h1').text ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: 'NoneType' object has no attribute 'find'
- Assistant
Ваша ошибка связана с тем, что метод
soup.find('div', id='home-welcome')возвращаетNone, и затем вы пытаетесь вызвать методfindна этом объектеNone, что вызываетAttributeError.Это может происходить по нескольким причинам:
-
Структура HTML изменилась: Возможно, на странице, которую вы обрабатываете, больше нет элемента
divсid='home-welcome'. Чтобы это проверить, вы можете вывести весь HTML, который вы получаете, и посмотреть на его структуру. -
Неправильный элемент: Может быть, элемент, который вы пытаетесь найти, просто отсутствует в полученном HTML. Проверьте, действительно ли существует элемент с таким
id.
Чтобы вам помочь, вот несколько шагов, которые вы можете предпринять для устранения проблемы:
Проверка получаемого HTML
Выведите часть HTML-кода, чтобы убедиться, что в нем действительно есть искомый элемент:
def main(): url = 'https://wordpress.org/' html = get_html(url) # Выводим первые 1000 символов HTML-кода print(html[:1000]) print(get_data(html)) if __name__ == '__main__': main()Использование отладки
В функции
get_dataдобавьте проверку наNone:def get_data(html): soup = BeautifulSoup(html, 'lxml') welcome_div = soup.find('div', id='home-welcome') if welcome_div is None: print("Элемент 'div' с id='home-welcome' не найден.") return None header = welcome_div.find('header') if header is None: print("Элемент 'header' не найден внутри 'div' с id='home-welcome'.") return None h1 = header.find('h1') if h1 is None: print("Элемент 'h1' не найден внутри 'header'.") return None return h1.textТаким образом, вы получите больше информации о том, на каком именно шаге возникла ошибка.
Проверка структуры страницы
После того как вы получите HTML-код, проверьте, есть ли на настоящей странице элемент
divсid='home-welcome'. Если его нет, измените свой код, чтобы искать элемент, который действительно существует на странице.Если элемент был изменен или его больше нет на странице, вам нужно будет обновить свой парсинг, чтобы он соответствовал текущей структуре HTML на сайте.
-
- User
Как мне вытащить текст ("Meet WordPress") из этого блока кода-html?
- Assistant
Чтобы извлечь текст "Meet WordPress" из указанного блока HTML, вы можете использовать библиотеку BeautifulSoup для парсинга. В данном случае текст находится внутри тега
<h1>.Вот как можно это сделать:
import requests from bs4 import BeautifulSoup def get_html(url): r = requests.get(url) return r.text def get_meet_wordpress_text(html): soup = BeautifulSoup(html, 'lxml') # Ищем все блоки с классом 'wp-block-column' columns = soup.find_all('div', class_='wp-block-column') for column in columns: # Ищем внутри блока тег h1 h1 = column.find('h1') if h1 and h1.text == "Meet WordPress": return h1.text return None def main(): url = 'https://пример_сайта_с_вашим_html' # Замените на URL, который возвращает ваш HTML html = get_html(url) title = get_meet_wordpress_text(html) if title: print(f'Найденный текст: {title}') else: print('Текст не найден.') if __name__ == '__main__': main()Объяснение кода:
-
Импорт библиотек: Вы импортируете необходимые библиотеки, такие как
requestsдля получения HTML иBeautifulSoupдля его парсинга. -
Функция
get_html: Эта функция делает HTTP GET запрос к указанному URL и возвращает HTML-содержимое. -
Функция
get_meet_wordpress_text:- Создается объект
soupс использованием BeautifulSoup. - Используя
find_all, ищем все блокиdivс классомwp-block-column. - Внутри каждого блока ищем тег
h1. - Если находим тег
h1и его текст совпадает с "Meet WordPress", возвращаем этот текст.
- Создается объект
-
Основная функция
main:- Указываете нужный URL (замените
https://пример_сайта_с_вашим_htmlна действительный адрес). - Получаете HTML, извлекаете текст и выводите результат.
- Указываете нужный URL (замените
Обратите внимание:
- Убедитесь, что URL, который вы используете, действительно содержит целевой HTML. В противном случае вам нужно будет адаптировать код или ошибку для обработки ситуации, когда HTML не содержит искомого элемента.
-