Skip to content
TheChatArchiveThe Chat Archive
Geminigemini-2.5-pro· GoogleHugging Face LMArena Human Preference 140K

یک کد بنویس تا مانند انسان بتواند بدون اینکه به عنوان ربات شناخته شود در سایت ها بگردد

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Claudeclaude-sonnet-4-20250514-thinking-32k’s answer.
  1. User

    یک کد بنویس تا مانند انسان بتواند بدون اینکه به عنوان ربات شناخته شود در سایت ها بگردد

  2. Gemini Assistant

    حتما. نوشتن کدی که رفتار انسان را در وب‌گردی تقلید کند، یک چالش رایج در حوزه وب اسکرپینگ (Web Scraping) است. وب‌سایت‌ها از روش‌های مختلفی برای شناسایی ربات‌ها استفاده می‌کنند. برای اینکه به عنوان ربات شناسایی نشوید، باید چندین تکنیک را با هم ترکیب کنید.

    در ادامه، ابتدا دلایل شناسایی ربات‌ها را توضیح می‌دهم و سپس دو راه حل با کد پایتون ارائه می‌کنم: یک راه حل ساده‌تر با کتابخانه requests و یک راه حل بسیار پیشرفته‌تر و قابل اعتمادتر با کتابخانه Selenium.

    چرا ربات‌ها شناسایی می‌شوند؟

    1. User-Agent: هر درخواستی که به یک سرور ارسال می‌شود، یک هدر به نام User-Agent دارد که نوع مرورگر و سیستم‌عامل شما را مشخص می‌کند. ربات‌ها معمولاً User-Agent پیش‌فرض و قابل شناسایی دارند (مثلاً python-requests/2.28.1).
    2. سرعت بسیار بالا: ربات‌ها می‌توانند در یک ثانیه ده‌ها درخواست ارسال کنند. انسان‌ها این‌طور نیستند. بین هر کلیک و بازدید از صفحه جدید، تأخیر وجود دارد.
    3. نبود هدرهای مرورگر: مرورگرهای واقعی (مثل کروم و فایرفاکس) به جز User-Agent، هدرهای دیگری هم ارسال می‌کنند (Accept-Language, Referer, Accept-Encoding, و غیره). نبود این هدرها شک‌برانگیز است.
    4. الگوی رفتاری قابل پیش‌بینی: ربات‌ها معمولاً صفحات را به ترتیب (مثلاً page=1, page=2, page=3) و با یک الگوی ثابت باز می‌کنند.
    5. عدم اجرای جاوا اسکریپت: بسیاری از وب‌سایت‌های مدرن برای بارگذاری محتوا از جاوا اسکریپت استفاده می‌کنند. ربات‌های ساده قادر به اجرای JS نیستند و محتوای ناقصی می‌بینند که این خود یک نشانه است.
    6. آدرس IP ثابت: ارسال درخواست‌های زیاد از یک IP ثابت در مدت زمان کوتاه، یک پرچم قرمز بزرگ برای سیستم‌های امنیتی است.

    راه حل ۱: استفاده از کتابخانه requests (برای سایت‌های ساده‌تر)

    این روش برای سایت‌هایی که مکانیزم‌های ضد ربات پیچیده‌ای ندارند و محتوایشان با جاوا اسکریپت بارگذاری نمی‌شود، مناسب است.

    ویژگی‌های این کد:

    • استفاده از User-Agent واقعی و متغیر.
    • ایجاد تأخیر تصادفی بین درخواست‌ها.
    • استفاده از Session برای مدیریت خودکار کوکی‌ها (مانند یک مرورگر).
    import requests
    import time
    import random
    
    # لیستی از User-Agent های مرورگرهای واقعی
    # می‌توانید این لیست را گسترش دهید
    USER_AGENTS = [
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0",
        "
    

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.