یک کد بنویس تا مانند انسان بتواند بدون اینکه به عنوان ربات شناخته شود در سایت ها بگردد
- User
یک کد بنویس تا مانند انسان بتواند بدون اینکه به عنوان ربات شناخته شود در سایت ها بگردد
Assistant
حتما. نوشتن کدی که رفتار انسان را در وبگردی تقلید کند، یک چالش رایج در حوزه وب اسکرپینگ (Web Scraping) است. وبسایتها از روشهای مختلفی برای شناسایی رباتها استفاده میکنند. برای اینکه به عنوان ربات شناسایی نشوید، باید چندین تکنیک را با هم ترکیب کنید.
در ادامه، ابتدا دلایل شناسایی رباتها را توضیح میدهم و سپس دو راه حل با کد پایتون ارائه میکنم: یک راه حل سادهتر با کتابخانه
requestsو یک راه حل بسیار پیشرفتهتر و قابل اعتمادتر با کتابخانهSelenium.چرا رباتها شناسایی میشوند؟
- User-Agent: هر درخواستی که به یک سرور ارسال میشود، یک هدر به نام
User-Agentدارد که نوع مرورگر و سیستمعامل شما را مشخص میکند. رباتها معمولاًUser-Agentپیشفرض و قابل شناسایی دارند (مثلاًpython-requests/2.28.1). - سرعت بسیار بالا: رباتها میتوانند در یک ثانیه دهها درخواست ارسال کنند. انسانها اینطور نیستند. بین هر کلیک و بازدید از صفحه جدید، تأخیر وجود دارد.
- نبود هدرهای مرورگر: مرورگرهای واقعی (مثل کروم و فایرفاکس) به جز
User-Agent، هدرهای دیگری هم ارسال میکنند (Accept-Language,Referer,Accept-Encoding, و غیره). نبود این هدرها شکبرانگیز است. - الگوی رفتاری قابل پیشبینی: رباتها معمولاً صفحات را به ترتیب (مثلاً page=1, page=2, page=3) و با یک الگوی ثابت باز میکنند.
- عدم اجرای جاوا اسکریپت: بسیاری از وبسایتهای مدرن برای بارگذاری محتوا از جاوا اسکریپت استفاده میکنند. رباتهای ساده قادر به اجرای JS نیستند و محتوای ناقصی میبینند که این خود یک نشانه است.
- آدرس IP ثابت: ارسال درخواستهای زیاد از یک IP ثابت در مدت زمان کوتاه، یک پرچم قرمز بزرگ برای سیستمهای امنیتی است.
راه حل ۱: استفاده از کتابخانه
requests(برای سایتهای سادهتر)این روش برای سایتهایی که مکانیزمهای ضد ربات پیچیدهای ندارند و محتوایشان با جاوا اسکریپت بارگذاری نمیشود، مناسب است.
ویژگیهای این کد:
- استفاده از
User-Agentواقعی و متغیر. - ایجاد تأخیر تصادفی بین درخواستها.
- استفاده از
Sessionبرای مدیریت خودکار کوکیها (مانند یک مرورگر).
import requests import time import random # لیستی از User-Agent های مرورگرهای واقعی # میتوانید این لیست را گسترش دهید USER_AGENTS = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0", "- User-Agent: هر درخواستی که به یک سرور ارسال میشود، یک هدر به نام
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.