========================================= robots.txt for karasu.ir Generated by an SEO…
- User
=========================================
robots.txt for karasu.ir
Generated by an SEO specialist for optimal crawling & indexing
=========================================
User-agent: *
Block WordPress core files and login
Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /wp-includes/ Disallow: /xmlrpc.php Allow: /wp-admin/admin-ajax.php
Block RSS/Atom feeds (duplicate/thin content)
Disallow: /feed/ Disallow: /*/feed/ Disallow: /comments/feed/
Block author archives if not used for SEO value
Disallow: /author/
Block non-HTML resource not intended for indexing
Disallow: /locations.kml
Block attachment pages (redirect instead via Rank Math)
Disallow: /?attachment_id Disallow: /*/attachment/
Allow main site content
Allow: /
Point Google to your sitemap
Sitemap: https://karasu.ir/sitemap_index.xml
این متن یه robots.txt برای یه وبسایت شرکتی وردپرس هستش کامل و دقیق انالیزش کن و اگر نیاز به اصلاح هست بگو
Assistant
این فایل robots.txt به طور کلی خوب نوشته شده و موارد اصلی رو پوشش داده. بررسی دقیق هر بخش:
نکات مثبت:
- مسدود کردن فایلهای حساس وردپرس (wp-admin, wp-login, xmlrpc)
- استثنا قرار دادن admin-ajax.php که برای عملکرد سایت ضروریه
- مسدود کردن فیدها برای جلوگیری از محتوای تکراری
- اشاره به sitemap
- مسدود کردن صفحات attachment
پیشنهادات برای بهبود:
1. افزودن دستورات برای رباتهای مهم:
# Googlebot User-agent: Googlebot Crawl-delay: 0 Allow: / # Bingbot User-agent: Bingbot Crawl-delay: 0 Allow: /2. مسدود کردن پارامترهای URL:
# Block URL parameters that create duplicate content Disallow: /*?* Disallow: /*? Allow: /*?p= Allow: /*?page_id=3. مسدود کردن فایلهای حساس اضافی:
# Block sensitive files Disallow: /wp-config.php Disallow: /license.txt Disallow: /readme.html Disallow: /*.sql$ Disallow: /*.log$4. مدیریت بهتر دایرکتوریهای وردپرس:
# Block plugin and theme directories from direct access Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-content/uploads/wpo-plugins-tables-list.json Allow: /wp-content/uploads/5. افزودن دستورات برای رباتهای مزاحم:
# Block bad bots User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Crawl-delay: 106. بررسی مجدد author archives:
اگر سایت شرکتی تک نویسنده است، مسدود کردن author archives منطقیه. اما اگر چند نویسنده دارید و محتوای ارزشمندی تولید میکنند، ممکنه بخواید این رو باز بگذارید.
7. در نظر گرفتن صفحات جستجو:
# Block internal search results Disallow: /?s= Disallow: /search/فایل فعلی شما کارآمد است، اما با این تغییرات میتونید کنترل بیشتری روی نحوه کرال شدن سایت داشته باشید و از دسترسیهای ناخواسته جلوگیری کنید.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.