Skip to content
TheChatArchiveThe Chat Archive
Claudeclaude-opus-4-20250514· AnthropicHugging Face LMArena Human Preference 140K

========================================= robots.txt for karasu.ir Generated by an SEO…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with o3-mini’s answer.
  1. User

    =========================================

    robots.txt for karasu.ir

    Generated by an SEO specialist for optimal crawling & indexing

    =========================================

    User-agent: *

    Block WordPress core files and login

    Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /xmlrpc.php Allow: /wp-admin/admin-ajax.php

    Block RSS/Atom feeds (duplicate/thin content)

    Disallow: /feed/ Disallow: /*/feed/ Disallow: /comments/feed/

    Block author archives if not used for SEO value

    Disallow: /author/

    Block non-HTML resource not intended for indexing

    Disallow: /locations.kml

    Block attachment pages (redirect instead via Rank Math)

    Disallow: /?attachment_id Disallow: /*/attachment/

    Allow main site content

    Allow: /

    Point Google to your sitemap

    Sitemap: https://karasu.ir/sitemap_index.xml

    این متن یه robots.txt برای یه وبسایت شرکتی وردپرس هستش کامل و دقیق انالیزش کن و اگر نیاز به اصلاح هست بگو

  2. Claude Assistant

    این فایل robots.txt به طور کلی خوب نوشته شده و موارد اصلی رو پوشش داده. بررسی دقیق هر بخش:

    نکات مثبت:

    • مسدود کردن فایل‌های حساس وردپرس (wp-admin, wp-login, xmlrpc)
    • استثنا قرار دادن admin-ajax.php که برای عملکرد سایت ضروریه
    • مسدود کردن فیدها برای جلوگیری از محتوای تکراری
    • اشاره به sitemap
    • مسدود کردن صفحات attachment

    پیشنهادات برای بهبود:

    1. افزودن دستورات برای ربات‌های مهم:

    # Googlebot
    User-agent: Googlebot
    Crawl-delay: 0
    Allow: /
    
    # Bingbot
    User-agent: Bingbot
    Crawl-delay: 0
    Allow: /
    

    2. مسدود کردن پارامترهای URL:

    # Block URL parameters that create duplicate content
    Disallow: /*?*
    Disallow: /*?
    Allow: /*?p=
    Allow: /*?page_id=
    

    3. مسدود کردن فایل‌های حساس اضافی:

    # Block sensitive files
    Disallow: /wp-config.php
    Disallow: /license.txt
    Disallow: /readme.html
    Disallow: /*.sql$
    Disallow: /*.log$
    

    4. مدیریت بهتر دایرکتوری‌های وردپرس:

    # Block plugin and theme directories from direct access
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/
    Disallow: /wp-content/uploads/wpo-plugins-tables-list.json
    Allow: /wp-content/uploads/
    

    5. افزودن دستورات برای ربات‌های مزاحم:

    # Block bad bots
    User-agent: AhrefsBot
    Disallow: /
    
    User-agent: SemrushBot
    Crawl-delay: 10
    

    6. بررسی مجدد author archives:

    اگر سایت شرکتی تک نویسنده است، مسدود کردن author archives منطقیه. اما اگر چند نویسنده دارید و محتوای ارزشمندی تولید می‌کنند، ممکنه بخواید این رو باز بگذارید.

    7. در نظر گرفتن صفحات جستجو:

    # Block internal search results
    Disallow: /?s=
    Disallow: /search/
    

    فایل فعلی شما کارآمد است، اما با این تغییرات می‌تونید کنترل بیشتری روی نحوه کرال شدن سایت داشته باشید و از دسترسی‌های ناخواسته جلوگیری کنید.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.

Identical first prompt