driver.get(URL); JavascriptExecutor js = (JavascriptExecutor) driver; for (int i = 0; i…
- User
driver.get(URL); JavascriptExecutor js = (JavascriptExecutor) driver; for (int i = 0; i <= 8; i++) { Actions actions1 = new Actions(driver); js.executeScript("window.scrollTo(0, document.body.scrollHeight)"); actions1.pause(1000).perform(); }
List images = driver.findElements(By.xpath("//img"));
int count = 0; for (int i = 0; i < images.size(); i++) { if (count >= 200) { break; }
WebElement image = images.get(i); String imageUrl = image.getAttribute("src");
if (imageUrl == null || imageUrl.isEmpty()) { continue; }
try { URL url = new URL(imageUrl); BufferedImage bufferedImage = ImageIO.read(url); File output = new File("Piligrim/" + count + ".png"); ImageIO.write(bufferedImage, "PNG", output); count++; } catch (IOException e) { e.printStackTrace(); }
} driver.quit(); как изменить код чтобы картинка скачалась в оригинальном размере?
- Assistant
Чтобы скачать картинку в оригинальном размере, вы должны изменить следующую часть кода:
BufferedImage bufferedImage = ImageIO.read(url);Замените ее на:
BufferedInputStream in = new BufferedInputStream(url.openStream()); ByteArrayOutputStream out = new ByteArrayOutputStream(); byte[] buf = new byte[1024]; int n = 0; while (-1!=(n=in.read(buf))) { out.write(buf, 0, n); } out.close(); in.close(); byte[] response = out.toByteArray(); File output = new File("Piligrim/" + count + ".png"); FileOutputStream fos = new FileOutputStream(output); fos.write(response); fos.close();Этот код скачивает картинку в оригинальном размере и сохраняет ее в указанной папке в формате PNG.
- User
driver.get(URL); JavascriptExecutor js = (JavascriptExecutor) driver; for (int i = 0; i <= 8; i++) { Actions actions1 = new Actions(driver); js.executeScript("window.scrollTo(0, document.body.scrollHeight)"); actions1.pause(1000).perform(); }
List images = driver.findElements(By.xpath("//img"));
int count = 0; for (int i = 0; i < images.size(); i++) { if (count >= 200) { break; }
WebElement image = images.get(i); String imageUrl = image.getAttribute("src");
if (imageUrl == null || imageUrl.isEmpty()) { continue; }
try { URL url = new URL(imageUrl); BufferedImage bufferedImage = ImageIO.read(url); File output = new File("Piligrim/" + count + ".png"); ImageIO.write(bufferedImage, "PNG", output); count++; } catch (IOException e) { e.printStackTrace(); }
} driver.quit(); как изменить код чтобы картинка скачалась в оригинальном размере?
- Assistant
Для скачивания картинки в оригинальном размере вы можете воспользоваться библиотекой Apache HttpClient, которая позволит вам получить полный доступ к содержимому файла. Ниже представлен пример измененного кода:
import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClientBuilder; import org.apache.http.util.EntityUtils; // Импортируйте другие необходимые классы driver.get(URL); JavascriptExecutor js = (JavascriptExecutor) driver; for (int i = 0; i <= 8; i++) { Actions actions1 = new Actions(driver); js.executeScript("window.scrollTo(0, document.body.scrollHeight)"); actions1.pause(1000).perform(); } List<WebElement> images = driver.findElements(By.xpath("//img")); int count = 0; for (int i = 0; i < images.size(); i++) { if (count >= 200) { break; } WebElement image = images.get(i); String imageUrl = image.getAttribute("src"); if (imageUrl == null || imageUrl.isEmpty()) { continue; } try (CloseableHttpClient httpClient = HttpClientBuilder.create().build()) { HttpGet request = new HttpGet(imageUrl); HttpResponse response = httpClient.execute(request); HttpEntity entity = response.getEntity(); if (entity != null) { String contentType = entity.getContentType().getValue(); String extension = "." + contentType.split("/")[1]; byte[] imageBytes = EntityUtils.toByteArray(entity); File output = new File("Piligrim/" + count + extension); FileOutputStream fos = new FileOutputStream(output); fos.write(imageBytes); fos.close(); count++; } } catch (IOException e) { e.printStackTrace(); } } driver.quit();Описание изменений:
- Добавлена библиотека Apache HttpClient для работы с HTTP-запросами.
- Заменена часть кода, отвечающая за скачивание файла. Теперь мы используем HttpClient для отправки GET-запроса к картинке и получения ее содержимого в виде байтового массива. После получения содержимого, мы сохраняем его в файл с оригинальным расширением, определяемым на основе типа содержимого (Content-Type) ответа.
- User
Все равно скачивается маленький размер
- Assistant
Если скачивается маленький размер изображения, возможно, это связано с тем, что веб-страница использует оптимизированную версию изображений или применяет другие методы сжатия. Чтобы скачать изображение в оригинальном размере, вы можете использовать следующий подход:
- Используйте WebDriver для получения ссылки на изображение.
- Используйте библиотеку Apache HttpClient для отправки HEAD-запроса к изображению и получения заголовков ответа.
- Из заголовков ответа получите размер изображения (Content-Length).
- Используйте метод
URLConnectionдля скачивания изображения с оригинальным размером.
Ниже приведен пример кода, который демонстрирует этот подход:
import org.apache.http.HttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClientBuilder; import java.io.*; import java.net.URL; import java.net.URLConnection; // Остальной код до этого остается без изменений int count = 0; for (int i = 0; i < images.size(); i++) { if (count >= 200) { break; } WebElement image = images.get(i); String imageUrl = image.getAttribute("src"); if (imageUrl == null || imageUrl.isEmpty()) { continue; } try (CloseableHttpClient httpClient = HttpClientBuilder.create().build()) { HttpGet request = new HttpGet(imageUrl); HttpResponse response = httpClient.execute(request); long contentLength = response.getEntity().getContentLength(); if (contentLength > 0) { URL url = new URL(imageUrl); URLConnection connection = url.openConnection(); connection.setRequestProperty("Range", "bytes=0-" + (contentLength - 1)); InputStream inputStream = connection.getInputStream(); byte[] buffer = new byte[4096]; int bytesRead; File output = new File("Piligrim/" + count + ".png"); FileOutputStream fos = new FileOutputStream(output); while ((bytesRead = inputStream.read(buffer)) != -1) { fos.write(buffer, 0, bytesRead); } fos.close(); inputStream.close(); count++; } } catch (IOException e) { e.printStackTrace(); } }В этом примере мы используем метод
URLConnectionдля скачивания содержимого в оригинальном размере, устанавливая заголовок "Range" для запроса, чтобы получить только выбранный диапазон байт изображения.Обратите внимание, что решение может не сработать, если сервер не поддерживает заголовок "Range" или если изображение отдаётся в виде частей, которые нужно объединить. В таком случае, придется использовать другое решение или искать способы получить оригинальное изображение.
- User
https://ya.ru/images/search?from=tabbar&text=%D0%BF%D0%B8%D0%BB%D0%B8%D0%B3%D1%80%D0%B8%D0%BC%20%D0%B4%D1%80%D0%BE%D0%BD Как выкачать с этой ссылки 200 картинок оригинального размера?
- Assistant
Для скачивания 200 картинок оригинального размера с данной ссылки вы можете использовать следующий код:
import org.apache.http.HttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClientBuilder; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io.*; import java.net.URL; import java.net.URLConnection; import java.util.ArrayList; import java.util.List; public class ImageDownloader { public static void main(String[] args) { String url = "https://ya.ru/images/search?from=tabbar&text=%D0%BF%D0%B8%D0%BB%D0%B8%D0%B3%D1%80%D0%B8%D0%BC%20%D0%B4%D1%80%D0%BE%D0%BD"; List<String> imageUrls = getImageUrls(url); downloadImages(imageUrls, 200, "Piligrim/"); } private static List<String> getImageUrls(String url) { List<String> imageUrls = new ArrayList<>(); try { Document doc = Jsoup.connect(url).get(); Elements imageElements = doc.getElementsByTag("img"); for (Element imageElement : imageElements) { String imageUrl = imageElement.absUrl("src"); if (!imageUrl.isEmpty()) { imageUrls.add(imageUrl); } } } catch (IOException e) { e.printStackTrace(); } return imageUrls; } private static void downloadImages(List<String> imageUrls, int limit, String outputDir) { int count = 0; for (String imageUrl : imageUrls) { if (count >= limit) { break; } try (CloseableHttpClient httpClient = HttpClientBuilder.create().build()) { HttpGet request = new HttpGet(imageUrl); HttpResponse response = httpClient.execute(request); long contentLength = response.getEntity().getContentLength(); if (contentLength > 0) { URL url = new URL(imageUrl); URLConnection connection = url.openConnection(); connection.setRequestProperty("Range", "bytes=0-" + (contentLength - 1)); InputStream inputStream = connection.getInputStream(); byte[] buffer = new byte[4096]; int bytesRead; String extension = imageUrl.substring(imageUrl.lastIndexOf(".")); File output = new File(outputDir + count + extension); FileOutputStream fos = new FileOutputStream(output); while ((bytesRead = inputStream.read(buffer)) != -1) { fos.write(buffer, 0, bytesRead); } fos.close(); inputStream.close(); count++; } } catch (IOException e) { e.printStackTrace(); } } } }В этом коде используется библиотека Jsoup для парсинга HTML-кода страницы и извлечения ссылок на изображения. Метод
getImageUrlsполучает список URL-адресов картинок с указанной страницы. Затем методdownloadImagesскачивает изображения по URL-адресам и сохраняет их в указанную папку "Piligrim/".Обратите внимание, что данный код является примером и может потребоваться дополнительная настройка, особенно при обработке разных сайтов.
- User
https://ya.ru/images/search?from=tabbar&text=пилигрим дрон Как выкачать с этой ссылки 200 картинок оригинального размера через Селениум Java?
- Assistant
Для скачивания 200 картинок оригинального размера с использованием Selenium WebDriver в Java, вы можете использовать следующий код:
import org.apache.commons.io.FileUtils; import org.openqa.selenium.*; import org.openqa.selenium.chrome.ChromeDriver; import org.openqa.selenium.chrome.ChromeOptions; import org.openqa.selenium.interactions.Actions; import javax.imageio.ImageIO; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import java.net.URL; import java.util.List; public class ImageDownloader { public static void main(String[] args) { System.setProperty("webdriver.chrome.driver", "path/to/chromedriver"); ChromeOptions options = new ChromeOptions(); options.addArguments("--headless"); // Отключаем отображение браузера WebDriver driver = new ChromeDriver(options); try { String url = "https://ya.ru/images/search?from=tabbar&text=пилигрим дрон"; driver.get(url); JavascriptExecutor js = (JavascriptExecutor) driver; for (int i = 0; i <= 8; i++) { Actions actions1 = new Actions(driver); js.executeScript("window.scrollTo(0, document.body.scrollHeight)"); actions1.pause(1000).perform(); } List<WebElement> images = driver.findElements(By.tagName("img")); int count = 0; for (WebElement image : images) { if (count >= 200) { break; } String imageUrl = image.getAttribute("src"); if (imageUrl == null || imageUrl.isEmpty()) { continue; } try { URL urlObj = new URL(imageUrl); BufferedImage bufferedImage = ImageIO.read(urlObj); File output = new File("Piligrim/" + count + ".png"); ImageIO.write(bufferedImage, "PNG", output); count++; } catch (IOException e) { e.printStackTrace(); } } } finally { driver.quit(); } } }Прежде чем запустить данный код, убедитесь, что у вас установлен ChromeDriver и указан путь к нему в строке
System.setProperty("webdriver.chrome.driver", "path/to/chromedriver").Этот пример кода загружает страницу, скроллит вниз, чтобы загрузить все изображения, а затем извлекает URL-адреса из тегов
<img>. Затем происходит скачивание изображений с использованиемImageIO.Обратите внимание, что хорошим тоном является использование подходящего метода управления путями файлов для сохранения изображений, например, класс
Pathиз пакетаjava.nio.file. Также, импортируйте необходимые пакеты и укажите актуальный путь к chromedriver для вашей системы. - User
https://ya.ru/images/search?from=tabbar&text=пилигрим дрон Как выкачать с этой ссылки 200 картинок оригинального размера через Селениум Java?
- Assistant
Для скачивания 200 картинок оригинального размера с использованием Selenium WebDriver в Java, вы можете использовать следующий код:
import org.apache.commons.io.FileUtils; import org.openqa.selenium.*; import org.openqa.selenium.chrome.ChromeDriver; import org.openqa.selenium.chrome.ChromeOptions; import org.openqa.selenium.interactions.Actions; import javax.imageio.ImageIO; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import java.net.URL; import java.util.List; public class ImageDownloader { public static void main(String[] args) { System.setProperty("webdriver.chrome.driver", "path/to/chromedriver"); ChromeOptions options = new ChromeOptions(); options.addArguments("--headless"); // Отключаем отображение браузера WebDriver driver = new ChromeDriver(options); try { String url = "https://ya.ru/images/search?from=tabbar&text=пилигрим дрон"; driver.get(url); JavascriptExecutor js = (JavascriptExecutor) driver; for (int i = 0; i <= 8; i++) { Actions actions1 = new Actions(driver); js.executeScript("window.scrollTo(0, document.body.scrollHeight)"); actions1.pause(1000).perform(); } List<WebElement> images = driver.findElements(By.tagName("img")); int count = 0; for (WebElement image : images) { if (count >= 200) { break; } String imageUrl = image.getAttribute("src"); if (imageUrl == null || imageUrl.isEmpty()) { continue; } try { URL urlObj = new URL(imageUrl); File outputFile = new File("Piligrim/" + count + ".png"); FileUtils.copyURLToFile(urlObj, outputFile); count++; } catch (IOException e) { e.printStackTrace(); } } } finally { driver.quit(); } } }Прежде чем