почему сайты блокируют автоматизированный доступ через selenium и webdriver, но не…
- User
почему сайты блокируют автоматизированный доступ через selenium и webdriver, но не блокируют bookmarklet?
Assistant
Отличный вопрос! Ответ кроется в фундаментальных различиях того, как, где и кем исполняется код в каждом из этих случаев.
Если коротко: Selenium — это внешний робот, управляющий браузером, а букмарклет — это инструмент в руках реального пользователя внутри браузера.
Давайте разберем это подробнее.
Почему блокируют Selenium/WebDriver?
Сайты блокируют Selenium, потому что он оставляет множество очевидных "цифровых следов", указывающих на автоматизацию. Системы защиты (анти-бот системы) ищут эти следы.
1. Технические маркеры (Флаги):
navigator.webdriver: Это самый известный маркер. В браузере, управляемом WebDriver, JavaScript-свойствоwindow.navigator.webdriverпо умолчанию установлено вtrue. Обычный браузер вернетfalseилиundefined. Проверить это для сайта — элементарная задача.- Специфические переменные: WebDriver добавляет в окружение страницы свои специфические переменные и функции (например,
$cdc_,$wdc_), которые легко обнаружить. - Особенности окружения: Автоматизированные браузеры часто имеют "стерильное" окружение: стандартный набор плагинов, стандартное разрешение экрана, одинаковые шрифты. Настоящие пользователи имеют уникальный "отпечаток" браузера (fingerprint).
2. Поведенческий анализ:
- Движения мыши: Selenium двигает курсор мгновенно из точки А в точку Б. Человек ведет курсор по плавной (и не всегда прямой) траектории.
- Скорость ввода: Робот печатает текст с неестественной скоростью и с одинаковыми интервалами между нажатиями. Человек печатает с разной скоростью и делает паузы.
- Навигация: Робот переходит по ссылкам и выполняет действия по строгому алгоритму. Человек может скроллить страницу, задерживаться на элементах, водить мышкой. Современные системы анализируют эти паттерны.
3. Сетевой уровень:
- IP-адреса: Часто парсеры и боты запускаются с IP-адресов дата-центров (Amazon, Google Cloud, DigitalOcean), которые легко идентифицировать и заблокировать. Домашние IP-адреса вызывают больше доверия.
- Частота запросов (Rate Limiting): Автоматизированные системы могут делать сотни запросов в минуту. Это неестественно для человека, и сервер быстро блокирует такую активность.
Цель Selenium — полная автоматизация. Он создан для того, чтобы заменить человека. Поэтому сайты воспринимают его как угрозу (парсинг данных, создание спам-аккаунтов, DDoS-атаки) и активно с ним борются.
Почему НЕ блокируют букмарклеты?
Букмарклет с точки зрения сайта практически неотличим от действий обычного пользователя.
1. Контекст исполнения:
- Запускается изнутри: Букмарклет — это просто фрагмент JavaScript-кода, который исполняется в контексте уже открытой страницы в вашем обычном браузере.
- Нет следов автоматизации: Поскольку браузер не управляется внешней программой, флаг
navigator.webdriverравенfalse. Никаких специфических переменных WebDriver нет.
2. Инициация действия:
- Человеческий клик: Букмарклет запускается явным действием пользователя — кликом по закладке. Для сайта это выглядит как любое другое событие, инициированное человеком (например, клик по кнопке на странице).
3. Использование текущей сессии:
- Доверенное окружение: Букмарклет работает в вашей текущей, аутентифицированной сессии. У вас есть все ваши cookie, вы залогинены. Сайт "доверяет" вам, так как вы уже прошли проверку (возможно, даже капчу) при входе. Букмарклет просто использует это доверие.
4. Ограниченные возможности:
- Same-Origin Policy (SOP): Главное ограничение букмарклета — политика одинакового источника. JavaScript, запущенный на странице
example.com, не может просто так отправить данные (например, черезfetchилиXMLHttpRequest) на другой доменevil-scraper.com. Это делает массовый сбор данных с помощью букмарклетов крайне затруднительным. Selenium же может делать что угодно, так как он управляет всем браузером.
Аналогия для понимания
-
Selenium/WebDriver — это робот, который сидит за отдельным компьютером в пустой комнате и пытается выдать себя за человека. Он может носить парик и костюм, но его движения резкие, голос монотонный, и при ближайшем рассмотрении видно, что он сделан из металла.
-
Букмарклет — это швейцарский нож в кармане у реального человека, который уже находится в здании. Он может достать этот нож и использовать его (например, чтобы что-то подкрутить на стене), но он все равно остается человеком, которого охрана уже пропустила на входе.
Вывод
Сайты блокируют признаки внешней автоматизации, а не сам факт выполнения JavaScript-кода. Selenium оставляет массу таких признаков, в то время как букмарклет выполняется в "родной", доверенной среде браузера по инициативе реального пользователя и потому не вызывает подозрений.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.