به اشتراک بگذارید
سئو | بلاگ وبداده
ساخت و بهینهسازی فایل robots.txt در وردپرس
یک فایل کوچک که میتواند کل سئوی سایت شما را نجات دهد یا خراب کند؛ در این راهنما یاد میگیرید آن را درست بسازید و بهینه کنید.
فایل robots.txt در وردپرس یک سند متنی ساده است که به رباتهای موتورهای جستجو میگوید کدام بخشهای سایت را بخزند و کدام را نادیده بگیرند. تنظیم درست آن بودجه خزش را بهینه میکند و از هدررفت توان گوگل روی صفحات بیارزش جلوگیری میکند؛ اما یک خط اشتباه میتواند کل سایت را از نتایج جستجو محو کند. در این راهنما هم مفهوم را روشن میکنیم و هم سه روش عملی ساخت و بهینهسازی را گامبهگام میبینیم.
- ربات وردپرس مجازی است: وردپرس بهصورت پیشفرض یک نسخه پویا میسازد و تا فایل فیزیکی نسازید، در روت هاست دیده نمیشود.
- کنترل خزش، نه ایندکس: این فایل فقط جلوی خزش را میگیرد؛ برای حذف از نتایج گوگل باید از noindex استفاده کنید.
- سه روش ساخت: با افزونه سئو (سادهترین)، ساخت فایل فیزیکی دستی، یا افزودن قانون با فیلتر robots_txt.
- قانون طلایی وردپرس: فقط /wp-admin/ را ببندید و admin-ajax.php را باز بگذارید تا چیزی نشکند.
- اشتباه مرگبار: تیک «نمایش در موتورهای جستجو» را اگر اشتباه بزنید، خروجی به Disallow: / تبدیل و کل سایت بسته میشود.
در یک نگاه
برای اکثر سایتها همین چند خط کافی است: بستن /wp-admin/، باز گذاشتن admin-ajax.php و معرفی نقشه سایت. روی هاست وردپرس و سیپنل وبداده، ساخت و ویرایش این فایل از File Manager یا افزونه سئو در کمتر از یک دقیقه انجام میشود.
احتمالاً این مقاله را باز کردهاید چون میخواهید رتبه سایت را بهتر کنید، یا شنیدهاید که گوگل بعضی صفحاتتان را نباید ببیند. خبر خوب این است که مدیریت رفتار رباتها کار سختی نیست؛ کافی است چند اصل ساده را بدانید. در ادامه ابتدا روشن میکنیم این فایل چیست و چه نقشی دارد، بعد پیشنیازها را مرور میکنیم، سپس روشهای ساخت را با نمونه کد واقعی پیش میرویم و در پایان معایب و اشتباهات رایج را صادقانه بررسی میکنیم.
فایل robots.txt در وردپرس چیست و چه کاربردی دارد؟
robots.txt یک فایل متنی استاندارد در ریشه سایت است که بر اساس «پروتکل حذف رباتها» (Robots Exclusion Protocol) کار میکند. وقتی رباتی مثل Googlebot به سایت شما میرسد، اول سراغ همین فایل میرود تا ببیند اجازه دارد کدام مسیرها را بخزد. شما با دو دستور اصلی Disallow (اجازه نده) و Allow (اجازه بده) به رباتها مسیر میدهید.
یک تشبیه ساده: robots.txt مثل تابلوی راهنمای ورودی یک ساختمان است. به مهمانها میگوید کدام طبقهها عمومیاند و کدام درها خصوصی. اما این فقط یک «درخواست مؤدبانه» است؛ رباتهای محترم مثل گوگل آن را رعایت میکنند، ولی یک ربات بدخواه میتواند نادیدهاش بگیرد. به همین دلیل robots.txt ابزار امنیتی نیست.
نکته مهمی که خیلیها اشتباه میکنند: وردپرس بهصورت پیشفرض یک نسخه «مجازی» از این فایل میسازد. یعنی وقتی آدرس yoursite.com/robots.txt را باز میکنید محتوایی میبینید، اما هیچ فایل فیزیکی در هاست وجود ندارد و در File Manager پیدایش نمیکنید. این خروجی را تابع داخلی وردپرس بهصورت پویا تولید میکند و هر افزونه یا کدی میتواند با فیلتر robots_txt آن را تغییر دهد.
تفاوت حیاتی خزش و ایندکس
بستن یک صفحه با Disallow بهمعنای حذف آن از نتایج گوگل نیست. طبق مستندات رسمی گوگل، اگر صفحهای از جای دیگری لینک شده باشد، ممکن است بدون توضیحات همچنان در نتایج ظاهر شود. برای حذف واقعی از نتایج باید از تگ noindex استفاده کنید، نه robots.txt.
پیش از شروع؛ چه چیزهایی لازم دارید؟
ساخت این فایل پیچیده نیست، اما قبل از دستبهکارشدن بهتر است چند پیشنیاز را آماده داشته باشید تا کار بدون خطا پیش برود و وسط راه گیر نکنید.
۱) دسترسی به فایلهای سایت
برای روش دستی به File Manager هاست یا یک کلاینت FTP نیاز دارید تا بتوانید فایل را در پوشه ریشه (public_html) بسازید و آپلود کنید.
۲) یک افزونه سئو
افزونههایی مثل Rank Math، Yoast SEO یا All in One SEO ویرایشگر داخلی robots.txt دارند و سادهترین راه برای مدیریت بدون کدنویسی هستند.
۳) آدرس نقشه سایت
آدرس XML Sitemap سایتتان را آماده داشته باشید (معمولاً افزونه سئو آن را میسازد) تا بتوانید در انتهای فایل معرفیاش کنید.
نکته
حتماً وارد مسیر «تنظیمات ‹ خواندن» وردپرس شوید و مطمئن شوید گزینه «نمایش سایت برای موتورهای جستجو» در حالت درست است. اگر تیک «جلوگیری از نمایهسازی» فعال باشد، وردپرس بهجای قوانین معمول، یک Disallow: / در خروجی میگذارد و کل سایت را از دید گوگل میبندد.
آموزش گامبهگام ساخت و بهینهسازی robots.txt
حالا سه روش عملی را مرور میکنیم. اگر تازهکار هستید، روش اول (افزونه) را انتخاب کنید؛ اگر به فایل فیزیکی نیاز دارید سراغ روش دوم بروید و اگر توسعهدهندهاید روش سوم انعطاف بیشتری میدهد.
روش 1: ویرایش با افزونه سئو (سادهترین راه)
بیشتر افزونههای سئو یک ویرایشگر آماده دارند. برای نمونه در Rank Math از مسیر Rank Math ‹ General Settings ‹ Edit robots.txt و در Yoast SEO از مسیر Yoast SEO ‹ Tools ‹ File editor میتوانید محتوای فایل را مستقیم ویرایش کنید. وقتی ذخیره کنید، افزونه بهطور خودکار یک فایل فیزیکی میسازد یا خروجی مجازی را تغییر میدهد. این روش نه به FTP نیاز دارد و نه به کدنویسی.
روش 2: ساخت فایل فیزیکی بهصورت دستی
اگر افزونه سئو ندارید، میتوانید فایل را دستی بسازید. یک فایل متنی با نام دقیق robots.txt (با حروف کوچک) بسازید، محتوای زیر را داخلش بگذارید و آن را در پوشه ریشه سایت (public_html یا همان جایی که wp-config.php هست) آپلود کنید. این نمونه برای اکثر سایتهای وردپرسی مناسب است:
# نمونه robots.txt پیشنهادی برای یک سایت وردپرسی استاندارد
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# آدرس نقشه سایت را در انتها معرفی کنید
Sitemap: https://example.com/sitemap_index.xmlچرا admin-ajax.php را باز میگذاریم؟
خود وردپرس از نسخههای قدیم، فایل admin-ajax.php را با Allow باز میگذارد؛ چون بعضی قالبها و افزونهها محتوای مهم صفحه را از این مسیر بارگذاری میکنند. بستن آن میتواند باعث شود گوگل صفحه را ناقص ببیند. (منبع: مستندات رسمی توسعهدهندگان وردپرس)
روش 3: افزودن قانون با فیلتر robots_txt (برای توسعهدهندگان)
اگر میخواهید بدون ساخت فایل فیزیکی فقط چند خط به خروجی مجازی اضافه کنید، فیلتر رسمی robots_txt بهترین راه است. این قطعه کد را در فایل functions.php قالب فرزند یا یک افزونه کوچک قرار دهید:
<?php
// افزودن یک خط به robots.txt مجازی وردپرس از طریق فیلتر رسمی robots_txt
add_filter( 'robots_txt', 'webdade_custom_robots', 10, 2 );
function webdade_custom_robots( $output, $public ) {
// اگر سایت روی حالت «خصوصی» باشد، خروجی پیشفرض را تغییر نده
if ( '0' === (string) $public ) {
return $output;
}
$output .= "Disallow: /?s=\n";
$output .= "Sitemap: " . home_url( '/sitemap_index.xml' ) . "\n";
return $output;
}مزیت این روش این است که در بهروزرسانیها پایدار میماند و وابسته به یک فایل دستی نیست. فقط حواستان باشد که این کد فقط وقتی سایت روی حالت عمومی است اجرا میشود.
نمونه پیشرفتهتر برای سایتهای بزرگ
اگر سایت شما حجم بالایی از صفحات جستجوی داخلی یا فیلتر دارد، میتوانید آنها را از خزش کنار بگذارید تا بودجه خزش هدر نرود. اما در افزودن خطوط زیادهروی نکنید؛ هر خط اضافه احتمال خطا را بالا میبرد:
# نمونه پیشرفتهتر؛ فقط در صورت نیاز واقعی از خطوط اضافه استفاده کنید
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# جلوگیری از خزش نتایج جستجوی داخلی سایت (محتوای کمارزش)
Disallow: /?s=
Disallow: /search/
# هرگز پوشههای شامل CSS و JS را نبندید تا رندر صفحه نشکند
# Disallow: /wp-includes/ <-- این خط را اضافه نکنید
Sitemap: https://example.com/sitemap_index.xmlهرگز فایلهای ظاهری را نبندید
یکی از رایجترین خطاها بستن پوشه /wp-includes/ یا فایلهای CSS و JavaScript است. گوگل برای رندر و فهم صفحه به این فایلها نیاز دارد؛ اگر آنها را Disallow کنید، صفحه ناقص دیده میشود و رتبه افت میکند.
مقایسه سه روش ساخت و مدیریت فایل رباتها
| روش | سطح دشواری | نیاز به کدنویسی | پایداری در بهروزرسانی | مناسب چه کسی |
|---|---|---|---|---|
| افزونه سئو | آسان | خیر | بالا | اکثر کاربران و مبتدیها |
| فایل فیزیکی دستی | متوسط | خیر | بالا (مستقل از افزونه) | کسانی که افزونه سئو ندارند |
| فیلتر robots_txt | پیشرفته | بله | بسیار بالا | توسعهدهندگان |
مدیریت robots.txt روی هاست وردپرس و سیپنل وبداده
در وبداده، زیرساخت میزبانی روی سرورهای HPE نسل Gen11 و Gen10 و در دیتاسنترهای ایران، هلند و آلمان مستقر است. روی هاست وردپرس و هاست سیپنل وبداده، هم به File Manager برای ساخت و ویرایش مستقیم فایل دسترسی کامل دارید و هم میتوانید افزونه سئوی دلخواهتان را نصب کنید. اگر مطمئن نیستید کدام مسیر را ببندید یا چرا فایلتان مجازی است، تیم پشتیبانی فارسی 24 ساعته کنار شماست.
- ✅ دسترسی کامل به File Manager و FTP برای ساخت فایل فیزیکی robots.txt در ریشه سایت.
- ✅ امکان نصب و مدیریت افزونههای سئو محبوب روی هاست وردپرس و سیپنل.
- ✅ دسترسی SSH روی پلنهای مناسب برای کاربران حرفهای.
- ✅ پشتیبانی فارسی 24 ساعته برای زمانی که نمیدانید مشکل از کجاست.
برای شروع میتوانید راهنمای آموزش نصب وردپرس روی هاست سیپنل و جعبه ابزار وردپرس در هاست سیپنل را ببینید. اگر هم میخواهید یک صفحه را کامل از گوگل حذف کنید، مقاله روشهای حذف یک وبسایت از گوگل راهحل درست (noindex) را توضیح میدهد. 📌برای دیدن پلنها به صفحهی سرور مجازی ایران وبداده سر بزنید.
معایب و محدودیتها (نگاه صادقانه)
بیایید صادق باشیم: robots.txt جادو نیست و محدودیتهای جدی دارد. اول اینکه یک دستورالعمل اختیاری است؛ رباتهای بدخواه و خزندههای مخرب آن را نادیده میگیرند، پس بههیچوجه ابزار امنیتی محسوب نمیشود. دوم اینکه نباید مسیرهای حساس را با Disallow «پنهان» کنید، چون خود فایل عمومی است و هرکسی میتواند ببیند چه مسیرهایی را بستهاید. سوم و مهمتر از همه، یک اشتباه کوچک تایپی میتواند کل سایت را از نتایج جستجو حذف کند؛ به همین دلیل بعد از هر تغییر حتماً فایل را تست کنید و در صورت تردید، کمتر بنویسید تا اشتباه کنید.
پرسشهای پرتکرار درباره فایل رباتها در وردپرس
فایل robots.txt وردپرس کجاست؟
بهصورت پیشفرض هیچ فایل فیزیکی وجود ندارد و وردپرس آن را مجازی و پویا میسازد؛ به همین دلیل در File Manager پیدایش نمیکنید. محتوای فعلی را میتوانید با باز کردن آدرس yoursite.com/robots.txt در مرورگر ببینید. بهمحض اینکه یک فایل فیزیکی در پوشه ریشه بسازید، آن فایل جایگزین نسخه مجازی میشود.
آیا robots.txt برای سئو ضروری است؟
برای سایتهای کوچک حتماً ضروری نیست و نسخه پیشفرض وردپرس معمولاً کافی است. اما برای سایتهای بزرگتر، مدیریت درست آن به بهینهشدن بودجه خزش کمک میکند تا گوگل وقتش را روی صفحات مهم بگذارد، نه صفحات تکراری و کمارزش.
چطور مطمئن شوم فایلم درست کار میکند؟
از ابزار آزمایش robots.txt در گوگل سرچ کنسول استفاده کنید. این ابزار به شما نشان میدهد گوگل خروجی فایل شما را چطور تفسیر میکند و آیا مسیر خاصی مسدود شده یا نه. بعد از هر تغییر مهم، یک بار تست کردن ارزشش را دارد.
تفاوت Disallow و noindex چیست؟
دستور Disallow در robots.txt جلوی «خزش» یک مسیر را میگیرد، اما لزوماً جلوی نمایش آن در نتایج را نمیگیرد. تگ noindex به گوگل میگوید صفحه را «ایندکس نکن». اگر هدفتان حذف کامل از نتایج است، باید noindex را بهکار ببرید و آن صفحه را در robots.txt مسدود نکنید تا گوگل بتواند تگ noindex را ببیند.
چرا نباید فایلهای CSS و JS را ببندم؟
گوگل برای رندر و فهم درست صفحه به فایلهای ظاهری (CSS و JavaScript) نیاز دارد. اگر پوشههایی مثل wp-includes یا منابع قالب را Disallow کنید، گوگل صفحه را ناقص میبیند و این میتواند به رتبه و تجربه موبایلی سایت آسیب بزند.
آیا میتوانم همه رباتها بهجز گوگل را ببندم؟
بله، با تعریف چند بلوک User-agent جداگانه میتوانید برای رباتهای مختلف قانون متفاوت بگذارید. اما به یاد داشته باشید این فقط برای رباتهای محترمی که قوانین را رعایت میکنند کار میکند؛ رباتهای مخرب به این تنظیمات اعتنا نمیکنند.
بعد از تغییر robots.txt چقدر طول میکشد تا گوگل اعمالش کند؟
گوگل فایل robots.txt را بهصورت دورهای و معمولاً با کش حدود یک روزه میخواند. برای اعمال سریعتر تغییرات میتوانید از گزینه ارسال نسخه بهروز در سرچ کنسول استفاده کنید، اما در حالت عادی تغییرات طی چند ساعت تا یک روز شناسایی میشوند.
اندازه فایل robots.txt محدودیت دارد؟
بله. طبق مستندات گوگل، حداکثر تا 500 کیبیبایت از این فایل خوانده میشود و هرچه بعد از این حجم باشد نادیده گرفته میشود. برای یک سایت معمولی این محدودیت هیچوقت دردسرساز نمیشود، اما نشان میدهد بهتر است فایل را کوتاه و تمیز نگه دارید.
جمعبندی و قدم بعدی شما
اگر بخواهیم کل این مقاله را در یک جمله خلاصه کنیم: فایل رباتها قدرتمند ولی حساس است؛ پس ساده و دقیق بنویسید. برای اکثر سایتهای وردپرسی، بستن /wp-admin/، باز گذاشتن admin-ajax.php و معرفی نقشه سایت کافی است. روش ساخت را بر اساس سطح خودتان انتخاب کنید: افزونه سئو برای مبتدیها، فایل دستی برای کسانی که افزونه ندارند و فیلتر robots_txt برای توسعهدهندگان. و یادتان نرود که این فایل خزش را کنترل میکند نه ایندکس را؛ برای حذف از نتایج سراغ noindex بروید. در پایان هر تغییر، حتماً فایل را در سرچ کنسول تست کنید.
جمعبندی سریع
فقط /wp-admin/ را ببندید، admin-ajax.php را باز بگذارید، نقشه سایت را معرفی کنید، فایلهای CSS و JS را نبندید و بعد از هر تغییر در سرچ کنسول تست بگیرید. همین چند اصل، شما را از بیشتر خطاهای رایج دور نگه میدارد.
در صورتی که سوالی داشتید میتوانید در بخش نظرات با ما در ارتباط باشید.
