سئو | بلاگ وب‌داده

ساخت و بهینه‌سازی فایل robots.txt در وردپرس

یک فایل کوچک که می‌تواند کل سئوی سایت شما را نجات دهد یا خراب کند؛ در این راهنما یاد می‌گیرید آن را درست بسازید و بهینه کنید.
فایل robots.txt در وردپرس یک سند متنی ساده است که به ربات‌های موتورهای جستجو می‌گوید کدام بخش‌های سایت را بخزند و کدام را نادیده بگیرند. تنظیم درست آن بودجه خزش را بهینه می‌کند و از هدررفت توان گوگل روی صفحات بی‌ارزش جلوگیری می‌کند؛ اما یک خط اشتباه می‌تواند کل سایت را از نتایج جستجو محو کند. در این راهنما هم مفهوم را روشن می‌کنیم و هم سه روش عملی ساخت و بهینه‌سازی را گام‌به‌گام می‌بینیم.
  • ربات وردپرس مجازی است: وردپرس به‌صورت پیش‌فرض یک نسخه پویا می‌سازد و تا فایل فیزیکی نسازید، در روت هاست دیده نمی‌شود.
  • کنترل خزش، نه ایندکس: این فایل فقط جلوی خزش را می‌گیرد؛ برای حذف از نتایج گوگل باید از noindex استفاده کنید.
  • سه روش ساخت: با افزونه سئو (ساده‌ترین)، ساخت فایل فیزیکی دستی، یا افزودن قانون با فیلتر robots_txt.
  • قانون طلایی وردپرس: فقط /wp-admin/ را ببندید و admin-ajax.php را باز بگذارید تا چیزی نشکند.
  • اشتباه مرگبار: تیک «نمایش در موتورهای جستجو» را اگر اشتباه بزنید، خروجی به Disallow: / تبدیل و کل سایت بسته می‌شود.

در یک نگاه

برای اکثر سایت‌ها همین چند خط کافی است: بستن /wp-admin/، باز گذاشتن admin-ajax.php و معرفی نقشه سایت. روی هاست وردپرس و سی‌پنل وب‌داده، ساخت و ویرایش این فایل از File Manager یا افزونه سئو در کمتر از یک دقیقه انجام می‌شود.
احتمالاً این مقاله را باز کرده‌اید چون می‌خواهید رتبه سایت را بهتر کنید، یا شنیده‌اید که گوگل بعضی صفحات‌تان را نباید ببیند. خبر خوب این است که مدیریت رفتار ربات‌ها کار سختی نیست؛ کافی است چند اصل ساده را بدانید. در ادامه ابتدا روشن می‌کنیم این فایل چیست و چه نقشی دارد، بعد پیش‌نیازها را مرور می‌کنیم، سپس روش‌های ساخت را با نمونه کد واقعی پیش می‌رویم و در پایان معایب و اشتباهات رایج را صادقانه بررسی می‌کنیم.
ChatGPT Image Aug 23 2026 09 26 09 AM 1 فایل robots.txt در وردپرس؛ ساخت و بهینه‌سازی 2026

فایل robots.txt در وردپرس چیست و چه کاربردی دارد؟

robots.txt یک فایل متنی استاندارد در ریشه سایت است که بر اساس «پروتکل حذف ربات‌ها» (Robots Exclusion Protocol) کار می‌کند. وقتی رباتی مثل Googlebot به سایت شما می‌رسد، اول سراغ همین فایل می‌رود تا ببیند اجازه دارد کدام مسیرها را بخزد. شما با دو دستور اصلی Disallow (اجازه نده) و Allow (اجازه بده) به ربات‌ها مسیر می‌دهید.
یک تشبیه ساده: robots.txt مثل تابلوی راهنمای ورودی یک ساختمان است. به مهمان‌ها می‌گوید کدام طبقه‌ها عمومی‌اند و کدام درها خصوصی. اما این فقط یک «درخواست مؤدبانه» است؛ ربات‌های محترم مثل گوگل آن را رعایت می‌کنند، ولی یک ربات بدخواه می‌تواند نادیده‌اش بگیرد. به همین دلیل robots.txt ابزار امنیتی نیست.
نکته مهمی که خیلی‌ها اشتباه می‌کنند: وردپرس به‌صورت پیش‌فرض یک نسخه «مجازی» از این فایل می‌سازد. یعنی وقتی آدرس yoursite.com/robots.txt را باز می‌کنید محتوایی می‌بینید، اما هیچ فایل فیزیکی در هاست وجود ندارد و در File Manager پیدایش نمی‌کنید. این خروجی را تابع داخلی وردپرس به‌صورت پویا تولید می‌کند و هر افزونه یا کدی می‌تواند با فیلتر robots_txt آن را تغییر دهد.

تفاوت حیاتی خزش و ایندکس

بستن یک صفحه با Disallow به‌معنای حذف آن از نتایج گوگل نیست. طبق مستندات رسمی گوگل، اگر صفحه‌ای از جای دیگری لینک شده باشد، ممکن است بدون توضیحات همچنان در نتایج ظاهر شود. برای حذف واقعی از نتایج باید از تگ noindex استفاده کنید، نه robots.txt.

پیش از شروع؛ چه چیزهایی لازم دارید؟

ساخت این فایل پیچیده نیست، اما قبل از دست‌به‌کارشدن بهتر است چند پیش‌نیاز را آماده داشته باشید تا کار بدون خطا پیش برود و وسط راه گیر نکنید.

۱) دسترسی به فایل‌های سایت

برای روش دستی به File Manager هاست یا یک کلاینت FTP نیاز دارید تا بتوانید فایل را در پوشه ریشه (public_html) بسازید و آپلود کنید.

۲) یک افزونه سئو

افزونه‌هایی مثل Rank Math، Yoast SEO یا All in One SEO ویرایشگر داخلی robots.txt دارند و ساده‌ترین راه برای مدیریت بدون کدنویسی هستند.

۳) آدرس نقشه سایت

آدرس XML Sitemap سایت‌تان را آماده داشته باشید (معمولاً افزونه سئو آن را می‌سازد) تا بتوانید در انتهای فایل معرفی‌اش کنید.

نکته

حتماً وارد مسیر «تنظیمات ‹ خواندن» وردپرس شوید و مطمئن شوید گزینه «نمایش سایت برای موتورهای جستجو» در حالت درست است. اگر تیک «جلوگیری از نمایه‌سازی» فعال باشد، وردپرس به‌جای قوانین معمول، یک Disallow: / در خروجی می‌گذارد و کل سایت را از دید گوگل می‌بندد.

آموزش گام‌به‌گام ساخت و بهینه‌سازی robots.txt

حالا سه روش عملی را مرور می‌کنیم. اگر تازه‌کار هستید، روش اول (افزونه) را انتخاب کنید؛ اگر به فایل فیزیکی نیاز دارید سراغ روش دوم بروید و اگر توسعه‌دهنده‌اید روش سوم انعطاف بیشتری می‌دهد.

روش 1: ویرایش با افزونه سئو (ساده‌ترین راه)

بیشتر افزونه‌های سئو یک ویرایشگر آماده دارند. برای نمونه در Rank Math از مسیر Rank Math ‹ General Settings ‹ Edit robots.txt و در Yoast SEO از مسیر Yoast SEO ‹ Tools ‹ File editor می‌توانید محتوای فایل را مستقیم ویرایش کنید. وقتی ذخیره کنید، افزونه به‌طور خودکار یک فایل فیزیکی می‌سازد یا خروجی مجازی را تغییر می‌دهد. این روش نه به FTP نیاز دارد و نه به کدنویسی.

روش 2: ساخت فایل فیزیکی به‌صورت دستی

اگر افزونه سئو ندارید، می‌توانید فایل را دستی بسازید. یک فایل متنی با نام دقیق robots.txt (با حروف کوچک) بسازید، محتوای زیر را داخلش بگذارید و آن را در پوشه ریشه سایت (public_html یا همان جایی که wp-config.php هست) آپلود کنید. این نمونه برای اکثر سایت‌های وردپرسی مناسب است:
# نمونه robots.txt پیشنهادی برای یک سایت وردپرسی استاندارد
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# آدرس نقشه سایت را در انتها معرفی کنید
Sitemap: https://example.com/sitemap_index.xml

چرا admin-ajax.php را باز می‌گذاریم؟

خود وردپرس از نسخه‌های قدیم، فایل admin-ajax.php را با Allow باز می‌گذارد؛ چون بعضی قالب‌ها و افزونه‌ها محتوای مهم صفحه را از این مسیر بارگذاری می‌کنند. بستن آن می‌تواند باعث شود گوگل صفحه را ناقص ببیند. (منبع: مستندات رسمی توسعه‌دهندگان وردپرس)

روش 3: افزودن قانون با فیلتر robots_txt (برای توسعه‌دهندگان)

اگر می‌خواهید بدون ساخت فایل فیزیکی فقط چند خط به خروجی مجازی اضافه کنید، فیلتر رسمی robots_txt بهترین راه است. این قطعه کد را در فایل functions.php قالب فرزند یا یک افزونه کوچک قرار دهید:
<?php
// افزودن یک خط به robots.txt مجازی وردپرس از طریق فیلتر رسمی robots_txt
add_filter( 'robots_txt', 'webdade_custom_robots', 10, 2 );

function webdade_custom_robots( $output, $public ) {
    // اگر سایت روی حالت «خصوصی» باشد، خروجی پیش‌فرض را تغییر نده
    if ( '0' === (string) $public ) {
        return $output;
    }
    $output .= "Disallow: /?s=\n";
    $output .= "Sitemap: " . home_url( '/sitemap_index.xml' ) . "\n";
    return $output;
}
مزیت این روش این است که در به‌روزرسانی‌ها پایدار می‌ماند و وابسته به یک فایل دستی نیست. فقط حواس‌تان باشد که این کد فقط وقتی سایت روی حالت عمومی است اجرا می‌شود.

نمونه پیشرفته‌تر برای سایت‌های بزرگ

اگر سایت شما حجم بالایی از صفحات جستجوی داخلی یا فیلتر دارد، می‌توانید آن‌ها را از خزش کنار بگذارید تا بودجه خزش هدر نرود. اما در افزودن خطوط زیاده‌روی نکنید؛ هر خط اضافه احتمال خطا را بالا می‌برد:
# نمونه پیشرفته‌تر؛ فقط در صورت نیاز واقعی از خطوط اضافه استفاده کنید
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# جلوگیری از خزش نتایج جستجوی داخلی سایت (محتوای کم‌ارزش)
Disallow: /?s=
Disallow: /search/

# هرگز پوشه‌های شامل CSS و JS را نبندید تا رندر صفحه نشکند
# Disallow: /wp-includes/   <-- این خط را اضافه نکنید

Sitemap: https://example.com/sitemap_index.xml

هرگز فایل‌های ظاهری را نبندید

یکی از رایج‌ترین خطاها بستن پوشه /wp-includes/ یا فایل‌های CSS و JavaScript است. گوگل برای رندر و فهم صفحه به این فایل‌ها نیاز دارد؛ اگر آن‌ها را Disallow کنید، صفحه ناقص دیده می‌شود و رتبه افت می‌کند.
مقایسه سه روش ساخت و مدیریت فایل ربات‌ها
روشسطح دشوارینیاز به کدنویسیپایداری در به‌روزرسانیمناسب چه کسی
افزونه سئوآسانخیربالااکثر کاربران و مبتدی‌ها
فایل فیزیکی دستیمتوسطخیربالا (مستقل از افزونه)کسانی که افزونه سئو ندارند
فیلتر robots_txtپیشرفتهبلهبسیار بالاتوسعه‌دهندگان
ChatGPT Image Aug 23 2026 09 29 09 AM 1 فایل robots.txt در وردپرس؛ ساخت و بهینه‌سازی 2026

مدیریت robots.txt روی هاست وردپرس و سی‌پنل وب‌داده

در وب‌داده، زیرساخت میزبانی روی سرورهای HPE نسل Gen11 و Gen10 و در دیتاسنترهای ایران، هلند و آلمان مستقر است. روی هاست وردپرس و هاست سی‌پنل وب‌داده، هم به File Manager برای ساخت و ویرایش مستقیم فایل دسترسی کامل دارید و هم می‌توانید افزونه سئوی دلخواه‌تان را نصب کنید. اگر مطمئن نیستید کدام مسیر را ببندید یا چرا فایل‌تان مجازی است، تیم پشتیبانی فارسی 24 ساعته کنار شماست.
  • ✅ دسترسی کامل به File Manager و FTP برای ساخت فایل فیزیکی robots.txt در ریشه سایت.
  • ✅ امکان نصب و مدیریت افزونه‌های سئو محبوب روی هاست وردپرس و سی‌پنل.
  • ✅ دسترسی SSH روی پلن‌های مناسب برای کاربران حرفه‌ای.
  • ✅ پشتیبانی فارسی 24 ساعته برای زمانی که نمی‌دانید مشکل از کجاست.
برای شروع می‌توانید راهنمای آموزش نصب وردپرس روی هاست سی‌پنل و جعبه ابزار وردپرس در هاست سی‌پنل را ببینید. اگر هم می‌خواهید یک صفحه را کامل از گوگل حذف کنید، مقاله روش‌های حذف یک وب‌سایت از گوگل راه‌حل درست (noindex) را توضیح می‌دهد. 📌برای دیدن پلن‌ها به صفحه‌ی سرور مجازی ایران وب‌داده سر بزنید.

معایب و محدودیت‌ها (نگاه صادقانه)

بیایید صادق باشیم: robots.txt جادو نیست و محدودیت‌های جدی دارد. اول اینکه یک دستورالعمل اختیاری است؛ ربات‌های بدخواه و خزنده‌های مخرب آن را نادیده می‌گیرند، پس به‌هیچ‌وجه ابزار امنیتی محسوب نمی‌شود. دوم اینکه نباید مسیرهای حساس را با Disallow «پنهان» کنید، چون خود فایل عمومی است و هرکسی می‌تواند ببیند چه مسیرهایی را بسته‌اید. سوم و مهم‌تر از همه، یک اشتباه کوچک تایپی می‌تواند کل سایت را از نتایج جستجو حذف کند؛ به همین دلیل بعد از هر تغییر حتماً فایل را تست کنید و در صورت تردید، کمتر بنویسید تا اشتباه کنید.

پرسش‌های پرتکرار درباره فایل ربات‌ها در وردپرس

جمع‌بندی و قدم بعدی شما

اگر بخواهیم کل این مقاله را در یک جمله خلاصه کنیم: فایل ربات‌ها قدرتمند ولی حساس است؛ پس ساده و دقیق بنویسید. برای اکثر سایت‌های وردپرسی، بستن /wp-admin/، باز گذاشتن admin-ajax.php و معرفی نقشه سایت کافی است. روش ساخت را بر اساس سطح خودتان انتخاب کنید: افزونه سئو برای مبتدی‌ها، فایل دستی برای کسانی که افزونه ندارند و فیلتر robots_txt برای توسعه‌دهندگان. و یادتان نرود که این فایل خزش را کنترل می‌کند نه ایندکس را؛ برای حذف از نتایج سراغ noindex بروید. در پایان هر تغییر، حتماً فایل را در سرچ کنسول تست کنید.

جمع‌بندی سریع

فقط /wp-admin/ را ببندید، admin-ajax.php را باز بگذارید، نقشه سایت را معرفی کنید، فایل‌های CSS و JS را نبندید و بعد از هر تغییر در سرچ کنسول تست بگیرید. همین چند اصل، شما را از بیشتر خطاهای رایج دور نگه می‌دارد.
در صورتی که سوالی داشتید می‌توانید در بخش نظرات با ما در ارتباط باشید.
منابع: Google Search Central — Robots.txt Introduction؛ Google — How Google Interprets the robots.txt Specification؛ WordPress Developer — do_robots()؛ WordPress Developer — robots_txt filter.
به اشتراک بگذارید
وب داده
وب داده

جدید ترین مطالب آموزشی و کاربردی را در اینجا بخوانید !
ما با بهره‌گیری از دانش روز و تجربه متخصصان حوزه فناوری، مجموعه‌ای از آموزش‌های کاربردی و مقالات تخصصی را گردآوری کرده‌ایم که هر یک، پاسخی دقیق به پرسش‌های شماست. ؛ از مفاهیم پایه تا پیچیده‌ترین تکنیک‌های حرفه‌ای. اینجا، دانش با زبانی ساده اما عمیق در اختیار شما قرار می‌گیرد.

مقاله‌ها: 33

نوشته‌ای مرتبط

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *