جدید!
سرور ابری ساعتی فعال شد. ۱۰۰ هزار تومان اعتبار هدیه بگیرید
به اشتراک بگذارید
سئو | بلاگ وبداده
جلوگیری موقت از دسترسی گوگلبات به سایت وردپرسی
سایتتان در حال طراحی یا بازسازی است و نمیخواهید نسخه ناقص آن در گوگل دیده شود؟ در این راهنما روش درست و موقتِ بستن دسترسی ربات گوگل به سایت وردپرسی را گامبهگام یاد میگیرید.
جلوگیری از دسترسی گوگل بات به سایت وردپرسی معمولاً وقتی لازم میشود که سایت در حال ساخت، بازطراحی یا روی نسخه آزمایشی (استیجینگ) است و نمیخواهید نسخه ناتمام آن وارد نتایج جستجو شود. نکته کلیدی که بیشتر مقالهها از آن رد میشوند این است: «جلوگیری از خزش» با «جلوگیری از ایندکس» فرق دارد. فایل robots.txt فقط جلوی خزیدن را میگیرد، نه دیدهشدن در نتایج. در این راهنما هر روش را با کاربرد درست و محدودیت صادقانهاش مرور میکنیم تا روش مناسب وضعیت خودتان را انتخاب کنید.
- تفاوت پایه: robots.txt «خزش» را میبندد؛ تگ noindex «ایندکس و نمایش در نتایج» را میبندد — این دو یکی نیستند.
- سادهترین روش وردپرسی: تیک «عدم نمایهسازی» در «تنظیمات → خواندن» (Discourage search engines).
- مطمئنترین روش موقت: رمزگذاری کل سایت (Directory Privacy در سیپنل)؛ هم ربات و هم کاربر بدون رمز بلاک میشوند.
- برای نگهداری کوتاهمدت: پاسخ 503 با هدر Retry-After؛ سیگنال درستِ «موقتاً در دسترس نیست» به گوگل.
- هشدار صادقانه: اگر بعد از لانچ تیک عدمنمایهسازی را برندارید، کل سایت برای همیشه از گوگل حذف میماند.
پاسخ سریع
اگر سایت تازه و در حال ساخت دارید، سریعترین راه این است: از پیشخوان وردپرس به «تنظیمات → خواندن» بروید و گزینه «از موتورهای جستجو بخواهید این سایت را نمایه نکنند» را تیک بزنید و ذخیره کنید. برای نسخه استیجینگ، رمزگذاری کل دایرکتوری امنتر است. مهمترین نکته: بعد از آمادهشدن سایت، حتماً این تیک را بردارید؛ وگرنه سایت در نتایج گوگل ظاهر نمیشود.
احتمالاً به این مقاله رسیدهاید چون میخواهید موقتاً جلوی گوگل را بگیرید اما نمیدانید کدام روش درست است و کدام به سئو ضربه میزند. در ادامه ابتدا مفهوم را شفاف میکنیم، بعد روشها را با کد عملی مرور میکنیم، سپس به پرتکرارترین مشکل (چرا صفحه مسدود هنوز در گوگل است؟) میپردازیم و در پایان روش امن استیجینگ را معرفی میکنیم.
جلوگیری از دسترسی گوگل بات یعنی چه و چرا مهم است؟
«گوگلبات» (Googlebot) نام ربات خزنده گوگل است؛ برنامهای که صفحههای سایت شما را پیدا میکند، میخواند (crawl) و سپس بر اساس آنچه دیده، تصمیم میگیرد صفحه را در نتایج جستجو نمایه (index) کند یا نه. وقتی میگوییم میخواهیم «دسترسی موقت ربات را ببندیم»، معمولاً منظورمان یکی از این دو هدف است: یا نمیخواهیم ربات اصلاً صفحه را بخزد، یا نمیخواهیم صفحه در نتایج گوگل دیده شود. این دو هدف، ابزار متفاوتی میخواهند.
برای درک تفاوت، سایت را مثل یک خانه در حال بازسازی تصور کنید. «بستن در ورودی» (robots.txt) یعنی به مهمان میگویید داخل نشو؛ اما اگر تابلوی نام خانه سر کوچه هنوز باشد، عابر میداند این خانه وجود دارد. «برداشتن نام از دفترچه تلفن» (noindex) یعنی اطلاعات خانه از فهرست عمومی حذف میشود. برای اینکه خانه واقعاً از فهرست حذف شود، باید نام را بردارید — نه فقط در را ببندید.
نکته: خزش (Crawl) و ایندکس (Index) دو چیز متفاوتاند
robots.txt به ربات میگوید «این مسیر را نخز». اما اگر صفحهای قبلاً ایندکس شده باشد یا سایت دیگری به آن لینک داده باشد، گوگل ممکن است همچنان آدرس آن را در نتایج نشان دهد — فقط بدون توضیحات. برای حذف از نتایج، به تگ noindex نیاز دارید، نه robots.txt.
پس انتخاب روش درست به هدف شما بستگی دارد. در بخش بعد، روشهای موقتِ بستن دسترسی را از ساده تا حرفهای مرور میکنیم و دقیقاً میگوییم هر کدام «خزش» را میبندد یا «ایندکس» را.
روشهای جلوگیری موقت از خزش و نمایهسازی سایت
بسته به اینکه سایت شما تازه ساخته شده، در حال بازطراحی است یا فقط برای چند روز باید بسته شود، روش مناسب فرق میکند. در ادامه پنج روش رایج را با کاربرد و کد آن مرور میکنیم.
روش اول: تیک «عدم نمایهسازی» در تنظیمات وردپرس
سادهترین راه برای کل سایت همین است. از پیشخوان وردپرس به «تنظیمات → خواندن» (Settings → Reading) بروید و گزینه «از موتورهای جستجو بخواهید این سایت را نمایه نکنند» را تیک بزنید و ذخیره کنید. این کار یک تگ noindex به هدر صفحهها اضافه میکند و robots.txt مجازی سایت را هم تغییر میدهد. مناسب سایت در حال ساخت است؛ اما توجه کنید که این فقط یک «درخواست» است و رباتهای بدرفتار ممکن است آن را نادیده بگیرند.
روش دوم: ویرایش فایل robots.txt
اگر فقط میخواهید جلوی «خزش» را بگیرید (نه لزوماً نمایش در نتایج)، میتوانید در فایل robots.txt دستور Disallow بگذارید. این روش بار خزش را روی سرور کم میکند، اما همانطور که گفتیم بهتنهایی صفحه را از نتایج حذف نمیکند. نمونه ساده:
# robots.txt — جلوگیری از خزش (crawl) همه رباتها در کل سایت
User-agent: *
Disallow: /
# فقط ربات گوگل را هدف بگیرید (سایر موتورها آزادند):
User-agent: Googlebot
Disallow: /
# هشدار: این فایل فقط «خزش» را متوقف میکند، نه «ایندکس».
# اگر صفحهای قبلاً ایندکس شده یا لینک خارجی دارد،
# ممکن است هنوز در نتایج گوگل دیده شود.این فایل را در ریشه سایت (مثلاً
public_html/robots.txt) قرار دهید. به یاد داشته باشید که اگر هدف شما «حذف از نتایج» است، robots.txt انتخاب اشتباهی است و باید سراغ noindex بروید.روش سوم: تگ noindex برای حذف از نتایج
اگر میخواهید صفحه یا کل سایت از نتایج گوگل خارج شود، روش درست تگ noindex است؛ یا با همان تیک تنظیمات وردپرس، یا با افزونههای سئو مثل Rank Math و Yoast که برای هر نوشته گزینه noindex دارند. اگر بخواهید دستی اضافه کنید، تگ زیر را داخل بخش
<head> صفحه میگذارید:<!-- جلوگیری از ایندکس یک صفحه: این تگ را داخل <head> صفحه بگذارید -->
<meta name="robots" content="noindex">
<!-- فقط ربات گوگل را هدف بگیرید -->
<meta name="googlebot" content="noindex">
<!-- نکته: برای دیدهشدن این تگ، صفحه نباید در robots.txt مسدود باشد. -->هشدار: noindex و robots.txt را همزمان روی یک صفحه نگذارید
اگر صفحهای را در robots.txt مسدود کنید، گوگل نمیتواند آن را بخزد و در نتیجه تگ noindex داخل صفحه را هرگز نمیبیند. حاصل این میشود که صفحه نه خزیده میشود و نه از نتایج حذف. برای اینکه noindex کار کند، صفحه باید قابلخزش بماند.
روش چهارم: رمزگذاری کل سایت (امنترین روش موقت)
برای نسخه استیجینگ یا سایتی که هنوز نباید عمومی باشد، مطمئنترین روش رمزگذاری کل دایرکتوری است. در هاست سیپنل با ابزار «Directory Privacy» میتوانید کل سایت را پشت نام کاربری و رمز عبور قرار دهید؛ در این حالت گوگلبات و هر بازدیدکنندهی بدون رمز با خطای 401 مواجه میشوند و هیچ محتوایی نمیبینند. این روش برخلاف robots.txt، دسترسی را واقعاً میبندد. اگر از هاست سیپنل استفاده میکنید، در مطلب جعبه ابزار وردپرس در هاست سیپنل دیدید که WP Toolkit هم سوییچ آمادهای برای نمایهسازی و رمزگذاری سایت دارد.
روش پنجم: حالت تعمیر با پاسخ 503
اگر سایت فقط برای یکی دو روز و برای نگهداری باید بسته شود، بهترین سیگنال به گوگل کد وضعیت 503 («موقتاً در دسترس نیست») همراه با هدر Retry-After است. بیشتر افزونههای Maintenance Mode همین کار را میکنند، اما اگر بخواهید دستی در
.htaccess انجام دهید:# .htaccess — برگرداندن پاسخ 503 «موقتاً در دسترس نیست» برای رباتها و کاربران
# مناسب نگهداری کوتاهمدت (۱ تا ۲ روز). IP خودتان را جایگزین 1.2.3.4 کنید.
RewriteEngine On
RewriteCond %{REMOTE_ADDR} !^1\.2\.3\.4$
RewriteCond %{REQUEST_URI} !^/maintenance\.html$
RewriteRule ^(.*)$ /maintenance.html [R=503,L]
# به رباتها بگویید کِی برگردند (مهم برای حفظ سئو):
Header always set Retry-After "86400"
ErrorDocument 503 /maintenance.htmlکد 503 به گوگل میگوید این وضعیت موقتی است و رتبه را حفظ میکند؛ در مقابل، اگر سایت را با 404 یا 410 ببندید، گوگل آدرسها را از نتایج حذف میکند. برای جمعبندی، جدول زیر هر روش را کنار هم میگذارد.
مقایسه روشهای جلوگیری موقت از دسترسی گوگلبات به سایت وردپرسی:
| روش | چه چیزی را میبندد؟ | مناسب برای | نکته مهم |
|---|---|---|---|
| تیک عدم نمایهسازی وردپرس | ایندکس (درخواستی) | سایت در حال ساخت | بعد از لانچ حتماً بردارید |
| robots.txt (Disallow) | فقط خزش | کمکردن بار خزش | صفحه را de-index نمیکند |
| تگ noindex | ایندکس و نمایش در نتایج | حذف صفحه از گوگل | صفحه باید قابلخزش بماند |
| رمزگذاری دایرکتوری | دسترسی کامل (ربات و کاربر) | نسخه استیجینگ | اشتراک پیشنمایش نیاز به رمز دارد |
| حالت تعمیر 503 | موقتاً کل سایت | نگهداری ۱ تا ۲ روزه | robots.txt را 503 نکنید |
جمعبندی جدول: برای «در حال ساخت» تیک وردپرس، برای «استیجینگ» رمزگذاری، برای «نگهداری کوتاه» کد 503، و برای «حذف یک صفحه از نتایج» تگ noindex بهترین انتخاباند. robots.txt تنها برای کنترل خزش است، نه حذف از نتایج.
عیبیابی: چرا صفحه مسدودشده هنوز در گوگل دیده میشود؟
این پرتکرارترین سؤال در این موضوع است: «من robots.txt را Disallow کردم، پس چرا صفحهام هنوز در نتایج گوگل است؟» پاسخ دقیقاً همان تفاوت خزش و ایندکس است. وقتی robots.txt خزش را میبندد، گوگل نمیتواند محتوای صفحه را ببیند، اما اگر آدرس صفحه را از طریق لینکهای دیگر بشناسد، ممکن است آن را بدون توضیحات در نتایج نگه دارد. مستندات رسمی گوگل این موضوع را صریح بیان کرده است.
نقلقول از مستندات رسمی گوگل
گوگل در راهنمای «Block indexing with noindex» مینویسد: «برای اینکه قانون noindex مؤثر باشد، صفحه نباید با فایل robots.txt مسدود شده باشد. اگر صفحه با robots.txt مسدود باشد یا خزنده نتواند به آن دسترسی پیدا کند، خزنده هرگز قانون noindex را نمیبیند و صفحه همچنان ممکن است در نتایج جستجو ظاهر شود.» منبع: Google Search Central — Block indexing with noindex (2025).
پس اگر صفحهای را با robots.txt بستهاید و هنوز در نتایج است، راهحل این است: ابتدا مسدودیت robots.txt را برای آن صفحه بردارید تا گوگل بتواند آن را بخزد، سپس تگ noindex را روی صفحه بگذارید. حالا که گوگل میتواند صفحه را بخزد، تگ را میبیند و صفحه را از نتایج حذف میکند. برای سرعتبخشیدن، میتوانید با ابزار URL Inspection در سرچ کنسول درخواست خزش مجدد بدهید.
چه زمانی نباید سایت را کامل ببندید؟
اگر سایت شما از قبل در گوگل رتبه دارد و فقط برای مدت کوتاهی باید بسته شود، بستن کامل سایت کار درستی نیست. گوگل توصیه میکند بهجای حذف کامل، عملکرد را محدود کنید و سایت را آنلاین نگه دارید تا کمترین آسیب به سئو وارد شود. حذف کامل از ایندکس، بازگشت سختی دارد.
هشدار: تیک عدمنمایهسازی را بعد از لانچ فراموش نکنید
شایعترین فاجعه سئو این است: توسعهدهنده هنگام ساخت سایت تیک «عدم نمایهسازی» را میزند و بعد از انتشار فراموش میکند آن را بردارد. نتیجه این میشود که سایت آماده و پر از محتوا، هفتهها در گوگل دیده نمیشود. بعد از لانچ، حتماً «تنظیمات → خواندن» را چک کنید و این تیک را بردارید.
محدودیتها و معایب صادقانه هر روش
هیچ روشی بیعیب نیست و انتخاب درست به موقعیت شما بستگی دارد:
- تیک وردپرس: فقط یک «درخواست» است؛ رباتهای بدرفتار آن را رعایت نمیکنند و خطر فراموشکردنِ برداشتنش بالاست.
- robots.txt: صفحه را از نتایج حذف نمیکند و میتواند خطای «Indexed, though blocked by robots.txt» بسازد.
- noindex: فقط وقتی کار میکند که صفحه قابلخزش باشد؛ با robots.txt تضاد دارد.
- رمزگذاری: امن است اما اشتراک پیشنمایش با کارفرما یا همکار نیاز به رمز دارد.
- 503 و حذف موقت: فقط کوتاهمدت مناسباند؛ بستن طولانی به رتبه آسیب جدی میزند.
اگر هدف شما حذف کامل و دائمی سایت از گوگل است (نه موقت)، آن موضوع جداگانهای است که در مطلب روشهای حذف کامل یک سایت از گوگل به آن پرداختهایم.
ساخت نسخه آزمایشی امن روی هاست وردپرس وبداده
بهترین کار این است که اصلاً نسخه ناتمام سایت در معرض گوگل قرار نگیرد. بهجای اینکه روی همان دامنه اصلی با تیک عدمنمایهسازی کار کنید (و خطر فراموشکردنش را بپذیرید)، میتوانید نسخه استیجینگ را روی یک زیردامنه یا دایرکتوری رمزگذاریشده بسازید و فقط بعد از آمادهشدن، آن را عمومی کنید.
در تجربه پشتیبانی ما در وبداده، بخش بزرگی از مشکلات «سایتم در گوگل دیده نمیشود» در عمل به همین تیک عدمنمایهسازیِ فراموششده یا robots.txt اشتباه برمیگشت، نه به مشکل فنی پیچیده. روی بستر درستپیکربندیشده، ساخت یک استیجینگ رمزگذاریشده و سپس انتشار تمیز، این خطاها را از ریشه حذف میکند. تمرکز ما روی این موارد است:
✅ هاست وردپرس وبداده با سیپنل و ابزار Directory Privacy و WP Toolkit برای ساخت استیجینگ رمزگذاریشده و کنترل نمایهسازی.
✅ زیرساخت نسل جدید HPE (Gen11 و Gen10) برای پایداری و آپتایم بالا.
✅ دیتاسنترهای ایران، هلند و آلمان برای انتخاب نزدیکترین لوکیشن به مخاطب شما.
✅ پشتیبانی فنی ۲۴ ساعته برای کمک در تنظیم robots.txt، noindex و رمزگذاری بدون آسیب به سئو.
✅ زیرساخت نسل جدید HPE (Gen11 و Gen10) برای پایداری و آپتایم بالا.
✅ دیتاسنترهای ایران، هلند و آلمان برای انتخاب نزدیکترین لوکیشن به مخاطب شما.
✅ پشتیبانی فنی ۲۴ ساعته برای کمک در تنظیم robots.txt، noindex و رمزگذاری بدون آسیب به سئو.
اگر میخواهید سایت وردپرسیتان را روی بستری اجرا کنید که ساخت نسخه آزمایشی و کنترل دسترسی گوگل روی آن ساده و امن باشد، پلنهای هاست سیپنل وبداده را بررسی کنید.
پرسشهای پرتکرار درباره بستن دسترسی گوگلبات
سریعترین راه برای جلوگیری از دیدهشدن سایت در حال ساخت چیست؟
از پیشخوان وردپرس به «تنظیمات → خواندن» بروید و گزینه «از موتورهای جستجو بخواهید این سایت را نمایه نکنند» را تیک بزنید و ذخیره کنید. این کار یک تگ noindex به سایت اضافه میکند. فقط یادتان باشد بعد از آمادهشدن سایت حتماً این تیک را بردارید.
آیا robots.txt جلوی دیدهشدن صفحه در گوگل را میگیرد؟
نه بهطور کامل. robots.txt فقط جلوی «خزش» را میگیرد، اما اگر صفحه قبلاً ایندکس شده یا سایت دیگری به آن لینک داده باشد، گوگل ممکن است آدرس آن را بدون توضیحات در نتایج نشان دهد. برای حذف از نتایج باید از تگ noindex استفاده کنید.
تفاوت خزش (crawl) و ایندکس (index) چیست؟
خزش یعنی ربات گوگل صفحه را پیدا میکند و میخواند. ایندکس یعنی صفحه پس از خواندهشدن وارد فهرست نتایج جستجو میشود. robots.txt خزش را کنترل میکند و تگ noindex ایندکس را. برای هدفهای مختلف باید ابزار درست را انتخاب کنید.
چرا صفحهای که با robots.txt بستم هنوز در گوگل است؟
چون robots.txt صفحه را de-index نمیکند. اگر گوگل آدرس صفحه را از قبل میشناسد، آن را در نتایج نگه میدارد. راهحل: مسدودیت robots.txt را بردارید تا گوگل بتواند صفحه را بخزد، سپس تگ noindex را روی آن بگذارید تا واقعاً حذف شود.
بهترین روش برای بستن موقت کل سایت چند روزه چیست؟
برای نگهداری یکی دو روزه، برگرداندن پاسخ 503 («موقتاً در دسترس نیست») همراه با هدر Retry-After بهترین سیگنال به گوگل است و رتبه را حفظ میکند. سایت را با خطای 404 یا 410 نبندید، چون باعث حذف آدرسها از نتایج میشود.
آیا بستن موقت دسترسی گوگل به رتبه سایت آسیب میزند؟
بستن کوتاهمدت و درست (مثل 503 یا رمزگذاری استیجینگ جداگانه) آسیب جدی نمیزند. اما حذف کامل سایت از ایندکس برای مدت طولانی، بازگشت سختی دارد. گوگل توصیه میکند بهجای حذف کامل، عملکرد را محدود و سایت را آنلاین نگه دارید.
برای نسخه استیجینگ کدام روش امنتر است؟
رمزگذاری کل دایرکتوری (مثلاً Directory Privacy در سیپنل). در این حالت هم ربات گوگل و هم هر کاربر بدون رمز با خطای 401 مواجه میشوند و هیچ محتوایی نمیبینند. این روش برخلاف robots.txt دسترسی را واقعاً میبندد و خطر ایندکسشدن تصادفی را حذف میکند.
چطور بفهمم تیک عدمنمایهسازی هنوز روشن است؟
به «تنظیمات → خواندن» در پیشخوان وردپرس بروید و وضعیت گزینه «از موتورهای جستجو بخواهید این سایت را نمایه نکنند» را ببینید. همچنین میتوانید با ابزار URL Inspection در سرچ کنسول بررسی کنید که آیا صفحهها noindex هستند یا نه.
افزونههای Maintenance Mode چه میکنند؟
این افزونهها معمولاً یک صفحه «در حال نگهداری» نشان میدهند و بسته به تنظیمات میتوانند پاسخ 503 برگردانند. برای بستن کوتاهمدت مناسباند، اما برای پنهانکردن طولانی یک نسخه استیجینگ، رمزگذاری دایرکتوری انتخاب امنتری است.
جمعبندی و انتخاب روش مناسب شما
در این راهنما دیدیم که برای بستن موقت دسترسی گوگلبات به سایت وردپرسی، مهمترین قدم انتخاب روش متناسب با هدف است. اگر سایت در حال ساخت است، تیک عدمنمایهسازی وردپرس سریعترین راه است؛ برای نسخه استیجینگ، رمزگذاری دایرکتوری امنترین گزینه؛ برای نگهداری کوتاهمدت، پاسخ 503 با هدر Retry-After؛ و برای حذف یک صفحه خاص از نتایج، تگ noindex. کلید همهچیز، درک تفاوت «خزش» و «ایندکس» است: robots.txt فقط خزش را کنترل میکند و صفحه را از نتایج حذف نمیکند. هر روشی را انتخاب کردید، بعد از آمادهشدن سایت تنظیمات را به حالت عادی برگردانید تا گوگل دوباره سایتتان را ببیند.
جمعبندی سریع
✅ سایت در حال ساخت: تیک «عدم نمایهسازی» در تنظیمات → خواندن.
✅ استیجینگ: رمزگذاری کل دایرکتوری (Directory Privacy).
✅ نگهداری کوتاه: پاسخ 503 با هدر Retry-After.
✅ حذف یک صفحه از نتایج: تگ noindex روی صفحهٔ قابلخزش.
✅ بعد از لانچ: تنظیمات را به حالت عادی برگردانید.
✅ استیجینگ: رمزگذاری کل دایرکتوری (Directory Privacy).
✅ نگهداری کوتاه: پاسخ 503 با هدر Retry-After.
✅ حذف یک صفحه از نتایج: تگ noindex روی صفحهٔ قابلخزش.
✅ بعد از لانچ: تنظیمات را به حالت عادی برگردانید.
در صورتی که سوالی داشتید میتوانید در بخش نظرات با ما در ارتباط باشید.
