Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0613· openaiHugging Face Suzhen/CodeChat

driver.get(URL); JavascriptExecutor js = (JavascriptExecutor) driver; for (int i = 0; i…

  1. User

    driver.get(URL); JavascriptExecutor js = (JavascriptExecutor) driver; for (int i = 0; i <= 8; i++) { Actions actions1 = new Actions(driver); js.executeScript("window.scrollTo(0, document.body.scrollHeight)"); actions1.pause(1000).perform(); }

    List images = driver.findElements(By.xpath("//img"));

    int count = 0; for (int i = 0; i < images.size(); i++) { if (count >= 200) { break; }

    WebElement image = images.get(i); String imageUrl = image.getAttribute("src");

    if (imageUrl == null || imageUrl.isEmpty()) { continue; }

    try { URL url = new URL(imageUrl); BufferedImage bufferedImage = ImageIO.read(url); File output = new File("Piligrim/" + count + ".png"); ImageIO.write(bufferedImage, "PNG", output); count++; } catch (IOException e) { e.printStackTrace(); }

    } driver.quit(); как изменить код чтобы картинка скачалась в оригинальном размере?

  2. Assistant

    Чтобы скачать картинку в оригинальном размере, вы должны изменить следующую часть кода:

    BufferedImage bufferedImage = ImageIO.read(url);
    

    Замените ее на:

    BufferedInputStream in = new BufferedInputStream(url.openStream());
    ByteArrayOutputStream out = new ByteArrayOutputStream();
    byte[] buf = new byte[1024];
    int n = 0;
    while (-1!=(n=in.read(buf)))
    {
        out.write(buf, 0, n);
    }
    out.close();
    in.close();
    byte[] response = out.toByteArray();
    
    File output = new File("Piligrim/" + count + ".png");
    FileOutputStream fos = new FileOutputStream(output);
    fos.write(response);
    fos.close();
    

    Этот код скачивает картинку в оригинальном размере и сохраняет ее в указанной папке в формате PNG.

  3. User

    driver.get(URL); JavascriptExecutor js = (JavascriptExecutor) driver; for (int i = 0; i <= 8; i++) { Actions actions1 = new Actions(driver); js.executeScript("window.scrollTo(0, document.body.scrollHeight)"); actions1.pause(1000).perform(); }

    List images = driver.findElements(By.xpath("//img"));

    int count = 0; for (int i = 0; i < images.size(); i++) { if (count >= 200) { break; }

    WebElement image = images.get(i); String imageUrl = image.getAttribute("src");

    if (imageUrl == null || imageUrl.isEmpty()) { continue; }

    try { URL url = new URL(imageUrl); BufferedImage bufferedImage = ImageIO.read(url); File output = new File("Piligrim/" + count + ".png"); ImageIO.write(bufferedImage, "PNG", output); count++; } catch (IOException e) { e.printStackTrace(); }

    } driver.quit(); как изменить код чтобы картинка скачалась в оригинальном размере?

  4. Assistant

    Для скачивания картинки в оригинальном размере вы можете воспользоваться библиотекой Apache HttpClient, которая позволит вам получить полный доступ к содержимому файла. Ниже представлен пример измененного кода:

    import org.apache.http.HttpEntity;
    import org.apache.http.HttpResponse;
    import org.apache.http.client.methods.HttpGet;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClientBuilder;
    import org.apache.http.util.EntityUtils;
    // Импортируйте другие необходимые классы
    
    driver.get(URL);
    JavascriptExecutor js = (JavascriptExecutor) driver;
    for (int i = 0; i <= 8; i++) {
        Actions actions1 = new Actions(driver);
        js.executeScript("window.scrollTo(0, document.body.scrollHeight)");
        actions1.pause(1000).perform();
    }
    
    List<WebElement> images = driver.findElements(By.xpath("//img"));
    
    int count = 0;
    for (int i = 0; i < images.size(); i++) {
        if (count >= 200) {
            break;
        }
    
        WebElement image = images.get(i);
        String imageUrl = image.getAttribute("src");
    
        if (imageUrl == null || imageUrl.isEmpty()) {
            continue;
        }
    
        try (CloseableHttpClient httpClient = HttpClientBuilder.create().build()) {
            HttpGet request = new HttpGet(imageUrl);
            HttpResponse response = httpClient.execute(request);
            HttpEntity entity = response.getEntity();
            
            if (entity != null) {
                String contentType = entity.getContentType().getValue();
                String extension = "." + contentType.split("/")[1];
    
                byte[] imageBytes = EntityUtils.toByteArray(entity);
                
                File output = new File("Piligrim/" + count + extension);
                FileOutputStream fos = new FileOutputStream(output);
                fos.write(imageBytes);
                fos.close();
                
                count++;
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    
    driver.quit();
    

    Описание изменений:

    • Добавлена библиотека Apache HttpClient для работы с HTTP-запросами.
    • Заменена часть кода, отвечающая за скачивание файла. Теперь мы используем HttpClient для отправки GET-запроса к картинке и получения ее содержимого в виде байтового массива. После получения содержимого, мы сохраняем его в файл с оригинальным расширением, определяемым на основе типа содержимого (Content-Type) ответа.
  5. User

    Все равно скачивается маленький размер

  6. Assistant

    Если скачивается маленький размер изображения, возможно, это связано с тем, что веб-страница использует оптимизированную версию изображений или применяет другие методы сжатия. Чтобы скачать изображение в оригинальном размере, вы можете использовать следующий подход:

    1. Используйте WebDriver для получения ссылки на изображение.
    2. Используйте библиотеку Apache HttpClient для отправки HEAD-запроса к изображению и получения заголовков ответа.
    3. Из заголовков ответа получите размер изображения (Content-Length).
    4. Используйте метод URLConnection для скачивания изображения с оригинальным размером.

    Ниже приведен пример кода, который демонстрирует этот подход:

    import org.apache.http.HttpResponse;
    import org.apache.http.client.methods.HttpGet;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClientBuilder;
    
    import java.io.*;
    import java.net.URL;
    import java.net.URLConnection;
    
    // Остальной код до этого остается без изменений
    
    int count = 0;
    for (int i = 0; i < images.size(); i++) {
        if (count >= 200) {
            break;
        }
    
        WebElement image = images.get(i);
        String imageUrl = image.getAttribute("src");
    
        if (imageUrl == null || imageUrl.isEmpty()) {
            continue;
        }
    
        try (CloseableHttpClient httpClient = HttpClientBuilder.create().build()) {
            HttpGet request = new HttpGet(imageUrl);
            HttpResponse response = httpClient.execute(request);
            long contentLength = response.getEntity().getContentLength();
            
            if (contentLength > 0) {
                URL url = new URL(imageUrl);
                URLConnection connection = url.openConnection();
                connection.setRequestProperty("Range", "bytes=0-" + (contentLength - 1));
                
                InputStream inputStream = connection.getInputStream();
                
                byte[] buffer = new byte[4096];
                int bytesRead;
                
                File output = new File("Piligrim/" + count + ".png");
                FileOutputStream fos = new FileOutputStream(output);
                
                while ((bytesRead = inputStream.read(buffer)) != -1) {
                    fos.write(buffer, 0, bytesRead);
                }
    
                fos.close();
                inputStream.close();
                
                count++;
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    

    В этом примере мы используем метод URLConnection для скачивания содержимого в оригинальном размере, устанавливая заголовок "Range" для запроса, чтобы получить только выбранный диапазон байт изображения.

    Обратите внимание, что решение может не сработать, если сервер не поддерживает заголовок "Range" или если изображение отдаётся в виде частей, которые нужно объединить. В таком случае, придется использовать другое решение или искать способы получить оригинальное изображение.

  7. User

    https://ya.ru/images/search?from=tabbar&text=%D0%BF%D0%B8%D0%BB%D0%B8%D0%B3%D1%80%D0%B8%D0%BC%20%D0%B4%D1%80%D0%BE%D0%BD Как выкачать с этой ссылки 200 картинок оригинального размера?

  8. Assistant

    Для скачивания 200 картинок оригинального размера с данной ссылки вы можете использовать следующий код:

    import org.apache.http.HttpResponse;
    import org.apache.http.client.methods.HttpGet;
    import org.apache.http.impl.client.CloseableHttpClient;
    import org.apache.http.impl.client.HttpClientBuilder;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    import java.io.*;
    import java.net.URL;
    import java.net.URLConnection;
    import java.util.ArrayList;
    import java.util.List;
    
    public class ImageDownloader {
        public static void main(String[] args) {
            String url = "https://ya.ru/images/search?from=tabbar&text=%D0%BF%D0%B8%D0%BB%D0%B8%D0%B3%D1%80%D0%B8%D0%BC%20%D0%B4%D1%80%D0%BE%D0%BD";
            List<String> imageUrls = getImageUrls(url);
    
            downloadImages(imageUrls, 200, "Piligrim/");
        }
    
        private static List<String> getImageUrls(String url) {
            List<String> imageUrls = new ArrayList<>();
    
            try {
                Document doc = Jsoup.connect(url).get();
                Elements imageElements = doc.getElementsByTag("img");
    
                for (Element imageElement : imageElements) {
                    String imageUrl = imageElement.absUrl("src");
                    if (!imageUrl.isEmpty()) {
                        imageUrls.add(imageUrl);
                    }
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
    
            return imageUrls;
        }
    
        private static void downloadImages(List<String> imageUrls, int limit, String outputDir) {
            int count = 0;
    
            for (String imageUrl : imageUrls) {
                if (count >= limit) {
                    break;
                }
    
                try (CloseableHttpClient httpClient = HttpClientBuilder.create().build()) {
                    HttpGet request = new HttpGet(imageUrl);
                    HttpResponse response = httpClient.execute(request);
                    long contentLength = response.getEntity().getContentLength();
    
                    if (contentLength > 0) {
                        URL url = new URL(imageUrl);
                        URLConnection connection = url.openConnection();
                        connection.setRequestProperty("Range", "bytes=0-" + (contentLength - 1));
    
                        InputStream inputStream = connection.getInputStream();
    
                        byte[] buffer = new byte[4096];
                        int bytesRead;
    
                        String extension = imageUrl.substring(imageUrl.lastIndexOf("."));
                        File output = new File(outputDir + count + extension);
                        FileOutputStream fos = new FileOutputStream(output);
    
                        while ((bytesRead = inputStream.read(buffer)) != -1) {
                            fos.write(buffer, 0, bytesRead);
                        }
    
                        fos.close();
                        inputStream.close();
    
                        count++;
                    }
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
    

    В этом коде используется библиотека Jsoup для парсинга HTML-кода страницы и извлечения ссылок на изображения. Метод getImageUrls получает список URL-адресов картинок с указанной страницы. Затем метод downloadImages скачивает изображения по URL-адресам и сохраняет их в указанную папку "Piligrim/".

    Обратите внимание, что данный код является примером и может потребоваться дополнительная настройка, особенно при обработке разных сайтов.

  9. User

    https://ya.ru/images/search?from=tabbar&text=пилигрим дрон Как выкачать с этой ссылки 200 картинок оригинального размера через Селениум Java?

  10. Assistant

    Для скачивания 200 картинок оригинального размера с использованием Selenium WebDriver в Java, вы можете использовать следующий код:

    import org.apache.commons.io.FileUtils;
    import org.openqa.selenium.*;
    import org.openqa.selenium.chrome.ChromeDriver;
    import org.openqa.selenium.chrome.ChromeOptions;
    import org.openqa.selenium.interactions.Actions;
    
    import javax.imageio.ImageIO;
    import java.awt.image.BufferedImage;
    import java.io.File;
    import java.io.IOException;
    import java.net.URL;
    import java.util.List;
    
    public class ImageDownloader {
        public static void main(String[] args) {
            System.setProperty("webdriver.chrome.driver", "path/to/chromedriver");
    
            ChromeOptions options = new ChromeOptions();
            options.addArguments("--headless"); // Отключаем отображение браузера
    
            WebDriver driver = new ChromeDriver(options);
    
            try {
                String url = "https://ya.ru/images/search?from=tabbar&text=пилигрим дрон";
                driver.get(url);
    
                JavascriptExecutor js = (JavascriptExecutor) driver;
                for (int i = 0; i <= 8; i++) {
                    Actions actions1 = new Actions(driver);
                    js.executeScript("window.scrollTo(0, document.body.scrollHeight)");
                    actions1.pause(1000).perform();
                }
    
                List<WebElement> images = driver.findElements(By.tagName("img"));
                int count = 0;
                for (WebElement image : images) {
                    if (count >= 200) {
                        break;
                    }
    
                    String imageUrl = image.getAttribute("src");
                    if (imageUrl == null || imageUrl.isEmpty()) {
                        continue;
                    }
    
                    try {
                        URL urlObj = new URL(imageUrl);
                        BufferedImage bufferedImage = ImageIO.read(urlObj);
    
                        File output = new File("Piligrim/" + count + ".png");
                        ImageIO.write(bufferedImage, "PNG", output);
    
                        count++;
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            } finally {
                driver.quit();
            }
        }
    }
    

    Прежде чем запустить данный код, убедитесь, что у вас установлен ChromeDriver и указан путь к нему в строке System.setProperty("webdriver.chrome.driver", "path/to/chromedriver").

    Этот пример кода загружает страницу, скроллит вниз, чтобы загрузить все изображения, а затем извлекает URL-адреса из тегов <img>. Затем происходит скачивание изображений с использованием ImageIO.

    Обратите внимание, что хорошим тоном является использование подходящего метода управления путями файлов для сохранения изображений, например, класс Path из пакета java.nio.file. Также, импортируйте необходимые пакеты и укажите актуальный путь к chromedriver для вашей системы.

  11. User

    https://ya.ru/images/search?from=tabbar&text=пилигрим дрон Как выкачать с этой ссылки 200 картинок оригинального размера через Селениум Java?

  12. Assistant

    Для скачивания 200 картинок оригинального размера с использованием Selenium WebDriver в Java, вы можете использовать следующий код:

    import org.apache.commons.io.FileUtils;
    import org.openqa.selenium.*;
    import org.openqa.selenium.chrome.ChromeDriver;
    import org.openqa.selenium.chrome.ChromeOptions;
    import org.openqa.selenium.interactions.Actions;
    
    import javax.imageio.ImageIO;
    import java.awt.image.BufferedImage;
    import java.io.File;
    import java.io.IOException;
    import java.net.URL;
    import java.util.List;
    
    public class ImageDownloader {
        public static void main(String[] args) {
            System.setProperty("webdriver.chrome.driver", "path/to/chromedriver");
    
            ChromeOptions options = new ChromeOptions();
            options.addArguments("--headless"); // Отключаем отображение браузера
    
            WebDriver driver = new ChromeDriver(options);
    
            try {
                String url = "https://ya.ru/images/search?from=tabbar&text=пилигрим дрон";
                driver.get(url);
    
                JavascriptExecutor js = (JavascriptExecutor) driver;
                for (int i = 0; i <= 8; i++) {
                    Actions actions1 = new Actions(driver);
                    js.executeScript("window.scrollTo(0, document.body.scrollHeight)");
                    actions1.pause(1000).perform();
                }
    
                List<WebElement> images = driver.findElements(By.tagName("img"));
                int count = 0;
                for (WebElement image : images) {
                    if (count >= 200) {
                        break;
                    }
    
                    String imageUrl = image.getAttribute("src");
                    if (imageUrl == null || imageUrl.isEmpty()) {
                        continue;
                    }
    
                    try {
                        URL urlObj = new URL(imageUrl);
                        File outputFile = new File("Piligrim/" + count + ".png");
                        FileUtils.copyURLToFile(urlObj, outputFile);
                        count++;
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            } finally {
                driver.quit();
            }
        }
    }
    

    Прежде чем