напиши код на питоне, который переходит…
- User
напиши код на питоне, который переходит https://www.poizon.us/collections/sneakers-1?page=1 парсит название из #gf-products > li:nth-child(1) > div > div > div.card__content > div.card__information > h3 , затем парсит ссылку #gf-products > li:nth-child(1) > div > div > div.card__content > div.card__information > h3 > a и переходит по ней, парсит размер по новой ссылке #ProductInfo-template--16663852253403__main > div.size-wrapper-desktop > div.product-popup-modal__opener.no-js-hidden.quick-add-hidden.choosen , парсит цену #price-template--16663852253403__main > div.price.price--large.price--show-badge > div > div.price__regular , парсит ссылку на фото #Slide-template--16663852253403__main-31937321107675 > modal-opener > div . Делает так с каждым товаров на странице а затем выводит в консоли
- Assistant
Для реализации данного задания, понадобится использовать библиотеку
requestsдля выполнения HTTP-запросов иBeautifulSoupдля парсинга HTML-страниц. Установите их с помощью команды:pip install requests beautifulsoup4Первым делом, создадим функцию
get_soup, которая будет возвращать объектsoupизBeautifulSoupпосле выполнения GET-запроса на указанный URL.import requests from bs4 import BeautifulSoup def get_soup(url): response = requests.get(url) return BeautifulSoup(response.text, 'html.parser')Теперь создадим функции для парсинга HTML и извлечения нужной информации.
def parse_product_card(card): title = card.select_one('div.card__content > div.card__information > h3').text link = card.select_one('div.card__content > div.card__information > h3 > a')['href'] return title, link def parse_product_page(soup): sizes = soup.select_one('#ProductInfo-template--16663852253403__main > div.size-wrapper-desktop > div.product-popup-modal__opener.no-js-hidden.quick-add-hidden.choosen') price = soup.select_one('#price-template--16663852253403__main > div.price.price--large.price--show-badge > div > div.price__regular').text image_link = soup.select_one('#Slide-template--16663852253403__main-31937321107675 > modal-opener > div')['src'] return { 'sizes': sizes, 'price': price, 'image_link': image_link }Создадим функцию
scrape_product_info, которая будет переходить по каждой товарной карточке и собирать нужную информацию.def scrape_product_info(url): soup = get_soup(url) cards = soup.select('#gf-products > li') products = [] for card in cards: title, link = parse_product_card(card) product_info = parse_product_page(get_soup(link)) product = { 'title': title, 'link': link, **product_info } products.append(product) return productsТеперь, вызовем функцию
scrape_product_infoс заданным URL и распечатаем полученные результаты.URL = 'https://www.poizon.us/collections/sneakers-1?page=1' products = scrape_product_info(URL) for product in products: print(product)Обратите внимание, что некоторые селекторы могут быть изменены владельцами сайта, что может привести к их неработоспособности в парсере. В таких случаях, найдите соответствующие селекторы на странице с помощью инструментов разработчика и замените их в коде.
- User
как исправить File "C:\Users\home\PycharmProjects\витрина\main.py", line 46, in products = scrape_product_info(URL) File "C:\Users\home\PycharmProjects\витрина\main.py", line 28, in scrape_product_info cards = soup.select(' # gf-products > li') File "C:\Users\home\PycharmProjects\витрина\venv\lib\site-packages\bs4\element.py", line 2111, in select return self.css.select(selector, namespaces, limit, **kwargs) File "C:\Users\home\PycharmProjects\витрина\venv\lib\site-packages\bs4\css.py", line 162, in select self.api.select( File "C:\Users\home\PycharmProjects\витрина\venv\lib\site-packages\soupsieve_init_.py", line 147, in select return compile(select, namespaces, flags, **kwargs).select(tag, limit) File "C:\Users\home\PycharmProjects\витрина\venv\lib\site-packages\soupsieve_init_.py", line 65, in compile return cp._cached_css_compile( File "C:\Users\home\PycharmProjects\витрина\venv\lib\site-packages\soupsieve\css_parser.py", line 219, in _cached_css_compile CSSParser( File "C:\Users\home\PycharmProjects\витрина\venv\lib\site-packages\soupsieve\css_parser.py", line 1145, in process_selectors return self.parse_selectors(self.selector_iter(self.pattern), index, flags) File "C:\Users\home\PycharmProjects\витрина\venv\lib\site-packages\soupsieve\css_parser.py", line 981, in parse_selectors key, m = next(iselector) File "C:\Users\home\PycharmProjects\витрина\venv\lib\site-packages\soupsieve\css_parser.py", line 1138, in selector_iter raise SelectorSyntaxError(msg, self.pattern, index) soupsieve.util.SelectorSyntaxError: Malformed id selector at position 2 line 1:
gf-products > li
^ в коде
import requests from bs4 import BeautifulSoupdef get_soup(url): response = requests.get(url) return BeautifulSoup(response.text, 'html.parser')
def parse_product_card(card): title = card.select_one('div.card__content > div.card__information > h3').text link = card.select_one('div.card__content > div.card__information > h3 > a')['href'] return title, link
def parse_product_page(soup): sizes = soup.select_one(' # ProductInfo-template–16663852253403__main > div.size-wrapper-desktop > div.product-popup-modal__opener.no-js-hidden.quick-add-hidden.choosen') price = soup.select_one(' # price-template–16663852253403__main > div.price.price–large.price–show-badge > div > div.price__regular').text image_link = soup.select_one(' # Slide-template–16663852253403__main-31937321107675 > modal-opener > div')['src']
return { 'sizes': sizes, 'price': price, 'image_link': image_link }def scrape_product_info(url): soup = get_soup(url) cards = soup.select(' # gf-products > li')
products = [] for card in cards: title, link = parse_product_card(card) product_info = parse_product_page(get_soup(link)) product = { 'title': title, 'link': link, ** product_info } products.append(product) return productsURL = 'https://www.poizon.us/collections/sneakers-1?page=1' products = scrape_product_info(URL)
for product in products: print(product)
- Assistant
Причина ошибки заключается в неправильно указанных селекторах в коде. Возможно, лишние пробелы перед фрагментом селектора вызвали ошибку. Попробуйте удалить лишние пробелы в
select_one()иselect():import requests from bs4 import BeautifulSoup def get_soup(url): response = requests.get(url) return BeautifulSoup(response.text, 'html.parser') def parse_product_card(card): title = card.select_one('div.card__content > div.card__information > h3').text link = card.select_one('div.card__content > div.card__information > h3 > a')['href'] return title, link def parse_product_page(soup): sizes = soup.select_one('#ProductInfo-template–16663852253403__main > div.size-wrapper-desktop > div.product-popup-modal__opener.no-js-hidden.quick-add-hidden.choosen') price = soup.select_one('#price-template–16663852253403__main > div.price.price–large.price–show-badge > div > div.price__regular').text image_link = soup.select_one('#Slide-template–16663852253403__main-31937321107675 > modal-opener > div')['src'] return { 'sizes': sizes, 'price': price, 'image_link': image_link } def scrape_product_info(url): soup = get_soup(url) cards = soup.select('#gf-products > li') products = [] for card in cards: title, link = parse_product_card(card) product_info = parse_product_page(get_soup(link)) product = { 'title': title, 'link': link, **product_info } products.append(product) return products URL = 'https://www.poizon.us/collections/sneakers-1?page=1' products = scrape_product_info(URL) for product in products: print(product)Проверьте работоспособность этого кода. Если селекторы всё еще не правильны и вызывают ошибку, вам прийдётся заново определить их на требуемых элементах с использованием инструментов разработчика вашего браузера.
- User
добавь проверку на None def parse_product_page(soup): sizes = soup.select_one('#ProductInfo-template–16663852253403__main>div.size-wrapper-desktop>div.product-popup-modal__opener.no-js-hidden.quick-add-hidden.choosen') price = soup.select_one('#price-template–16663852253403__main>div.price.price–large.price–show-badge>div>div.price__regular').text image_link = soup.select_one('#Slide-template–16663852253403__main-31937321107675>modal-opener>div')['src']
return { 'sizes': sizes, 'price': price, 'image_link': image_link } - Assistant
Вы можете добавить проверку на
Noneс помощью тернарного оператора для каждого поля, чтобы вернуть пустую строку или другое значение по умолчанию, если элемент не найден. Вот как это будет выглядеть в функцииparse_product_page:def parse_product_page(soup): sizes = soup.select_one('#ProductInfo-template–16663852253403__main > div.size-wrapper-desktop > div.product-popup-modal__opener.no-js-hidden.quick-add-hidden.choosen') price = soup.select_one('#price-template–16663852253403__main > div.price.price–large.price–show-badge > div > div.price__regular') image_link = soup.select_one('#Slide-template–16663852253403__main-31937321107675 > modal-opener > div') return { 'sizes': sizes if sizes is not None else '', 'price': price.text if price is not None else '', 'image_link': image_link['src'] if image_link is not None else '' }Теперь, если один или несколько элементов не найдены, значения по умолчанию (в данном случае пустые строки) будут использованы вместо возникновения ошибки.