почему сайты блокируют автоматизированный доступ через selenium и webdriver, но не…
- User
почему сайты блокируют автоматизированный доступ через selenium и webdriver, но не блокируют bookmarklet?
Assistant
Отличный вопрос! Разберем по частям.
Почему сайты блокируют автоматизированный доступ через Selenium и WebDriver?
Сайты блокируют автоматизированный доступ через Selenium и WebDriver (далее просто "автоматизация") по нескольким причинам:
- Защита от ботов и парсеров: Многие сайты содержат ценную информацию (контент, цены, данные пользователей), которую хотят защитить от автоматического сбора конкурентами, спамерами или злоумышленниками. Автоматизация позволяет легко и быстро выкачивать данные, что может быть использовано во вред сайту (например, для анализа цен, сбора емейлов или создания копий контента).
- Предотвращение накруток и мошенничества: Сайты с рекламными моделями (например, с кликами по рекламе) или с элементами игры (например, голосования, рейтинги) хотят предотвратить накрутку результатов ботами. Автоматизация позволяет имитировать пользовательское поведение, накручивая счетчики, клики или голоса.
- Снижение нагрузки на сервера: Если множество автоматизированных скриптов одновременно посещают сайт, это создает дополнительную нагрузку на сервера, увеличивая расход ресурсов (процессорного времени, памяти, трафика). Это может привести к замедлению работы сайта для настоящих пользователей или даже к его падению.
- Защита от DDoS-атак: В некоторых случаях автоматизация может быть частью распределенной атаки на отказ в обслуживании (DDoS), когда множество ботов одновременно отправляют запросы на сайт, пытаясь его "положить".
Как сайты обнаруживают автоматизацию через Selenium/WebDriver?
Сайтам помогают следующие признаки:
- Отличия в HTTP-заголовках (User-Agent, Accept и пр.): Автоматизированные браузеры часто отправляют заголовки, отличные от заголовков обычных браузеров. Например,
User-Agentможет содержать строкуHeadlessChrome(для headless-режима) или другие характерные подстроки. - Поведенческие факторы:
- Скорость: Боты работают намного быстрее человека. Сайт может отслеживать время между запросами, кликами, навигацией.
- Отсутствие случайности: Люди двигают мышью хаотично, делают опечатки, прокручивают страницу неравномерно. Автоматика действует строго детерминированно.
- Не типичные для человека пути навигации: Бот может заходить на страницы, которые обычный пользователь не посещает, или делать запросы в нелогичном порядке.
- Анализ JavaScript-объектов и браузерных API:
navigator.webdriver– в современных браузерах при запуске через WebDriver эта переменная равнаtrue(хотя умные боты могут её подменять).- Особенности объекта
navigator.plugins,navigator.languages, несоответствия в экранных разрешениях. - Поведение
WebGL,Canvas,AudioContext– у автоматики рендеринг может отличаться.
- Cookies, LocalStorage и поведение сессии: Сайт может устанавливать особые флаги в хранилищах браузера, проверяя, соответствуют ли запросы "старой", уже проверенной сессии, или это новый, "подозрительный" клиент.
- Анализ сети: IP-адреса ботов часто принадлежат хостингам, прокси или облачным серверам (AWS, GCP, Azure), а не обычным провайдерам домашних пользователей.
Обнаружив любой из этих (и многих других) признаков, сайт может:
- Выдать CAPTCHA.
- Вернуть пустую страницу или заглушку.
- Заблокировать IP или подсеть на время.
- Запросить дополнительную авторизацию (SMS, e-mail подтверждение).
Почему bookmarklet не блокируется?
Теперь самое интересное.
Bookmarklet (букмарклет, "закладка-скрипт") – это JavaScript-код, сохраненный в закладках браузера и выполняемый в контексте открытой страницы. Когда вы кликаете на букмарклет, скрипт запускается так, словно он был встроен в саму страницу изначально.
Почему сайты обычно не блокируют букмарклеты:
- Запуск происходит вручную: Пользователь лично кликает на закладку. Это явное, осознанное действие, неотличимое от клика по обычной ссылке. Сайт не видит "автопилота".
- Работает в контексте настоящей страницы:
- Код букмарклета выполняется с теми же правами, что и скрипты самой страницы.
- Он наследует все свойства текущей сессии: cookies, localStorage, авторизационные токены.
- HTTP-заголовки (тот же
Referer,Origin,User-Agent) при AJAX-запросах из букмарклета будут полностью идентичны тем, что отправляет обычная страница.
- Нет характерных признаков бота:
- Не меняется
navigator.userAgent,navigator.webdriverи другие свойства. - Браузерные API (WebGL, Canvas, Audio) работают штатно, как будто страница сама вызвала эти методы.
- Мышь двигается по-человечески (ведь пользователь реально взаимодействует с интерфейсом).
- Не меняется
- Окружение полностью легитимное: Скрипт букмарклета:
- Имеет доступ к DOM-дереву страницы.
- Выполняется в едином JavaScript-контексте с сайтом.
- Не оставляет следов типа "чужой исполняемый фреймворк" (вроде
webdriverилиselenium-овских объектов).
- Невозможно отличить от действий разработчика/пользователя:
- Вы можете открыть DevTools (F12), вставить тот же самый JS-код в консоль и нажать Enter – эффект будет тот же.
- Таким образом, букмарклет неотличим от:
- Ручной правки страницы разработчиком для отладки.
- Действий продвинутого пользователя, который хочет сам себе помочь (расширения, скрипты Greasemonkey/Tampermonkey).
Что делает букмарклет незаметным для систем защиты?
Представьте: вы зашли на сайт, залогинились, начали листать ленту. В этот момент:
- Вы кликаете на закладку (bookmarklet).
- Код закладки запускает, скажем, автоматический скроллинг ленты, сбор каких-то данных в массив и отправляет их на ваш сервер через
fetch()или динамически созданные<img src="ваш_сервер?data=...">. - С точки зрения сайта это выглядит так, как будто вы сами очень быстро прокручивали страницу, выделяли текст, кликали кнопки – все действия происходят в рамках вашей активной сессии, с вашим мышью и клавиатурой.
Все запросы идут:
- С вашего реального IP.
- С вашего
User-Agent(и всех других заголовков, которые браузер отправляет при обычном серфинге). - Из окна, где уже есть сессионные куки (
session_id,auth_tokenи т. д.).
Защита сайтов против букмарклетов? Теоретически возможна, но сложно
Если очень захотеть, сайт может попытаться:
- Отслеживать необычно быструю последовательность действий (но букмарклет может намеренно ставить
setTimeoutмежду кликами, эмулируя человека). - Проверять, не вызываются ли какие-то функции/объекты слишком часто/внезапно из консоли или "извне" (но опытный разработчик букмарклетов пишет код так, чтобы он не светился в стек-трейсах).
- Анализировать код, выполняемый в
eval()или поступающий черезContentScript(но если букмарклет минифицирован и собран в один вызов – отследить намерения почти нереально).
Итог:
- Selenium/WebDriver запускает отдельный контролируемый процесс браузера (или подключается к существующему через DevTools Protocol). Этот процесс оставляет технические артефакты (заголовки, свойства
navigator, необычное поведение). - Bookmarklet выполняется внутри вашей настоящей сессии, вашего браузера, вашей открытой вкладки. Это равносильно тому, как если бы вы сами вручную запустили JavaScript-код через консоль.
Отсюда вывод: букмарклеты практически невидимы для защитных механизмов сайтов, потому что они используют легитимный контекст авторизованного пользователя, действующего вручную.
Именно поэтому, если кто-то хочет автоматизировать действия на сайте, не будучи обнаруженным, букмарклеты (или написанные на их основе расширения для браузера) оказываются гораздо более "невидимыми", чем даже самые навороченные скрипты на Selenium.
Надеюсь, теперь ясно, почему сайты обычно не видят (и не борются с) кодом, запущенным из закладок браузера.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.