جدید!
سرور ابری ساعتی فعال شد. ۱۰۰ هزار تومان اعتبار هدیه بگیرید
به اشتراک بگذارید
سئو | بلاگ وبداده
جلوگیری از ایندکس شدن سایت وردپرسی توسط گوگل
میخواهید سایت یا یک صفحه خاص در نتایج گوگل نمایش داده نشود؟ در این راهنما چهار روش معتبر و تفاوت مهمی که اغلب اشتباه گفته میشود را قدمبهقدم یاد میگیرید.
جلوگیری از ایندکس شدن سایت وردپرسی یعنی به موتورهای جستجو بگویید صفحه یا کل سایت شما را در نتایج خود فهرست نکنند. این کار برای سایتهای در حال ساخت، نسخه آزمایشی (staging)، صفحات خصوصی یا محتوای تکراری ضروری است. مهمترین نکتهای که بیشتر مقالهها اشتباه میگویند این است: فایل robots.txt بهتنهایی جلوی ایندکس را نمیگیرد؛ تنها تگ noindex یا محافظت با رمز عبور این کار را بهدرستی انجام میدهد. در ادامه چهار روش عملی و تفاوت آنها را با هم میبینیم.
- تنظیم داخلی وردپرس: سادهترین راه؛ از مسیر «تنظیمات → خواندن» یک تگ noindex روی کل سایت فعال میشود.
- تگ noindex با افزونه سئو: با Rank Math یا Yoast میتوانید یک صفحه یا نوع محتوای خاص را نوایندکس کنید.
- محافظت با رمز عبور: قویترین روش؛ کرالر اصلاً به محتوا دسترسی ندارد.
- robots.txt و X-Robots-Tag: robots.txt برای مدیریت کرال است، نه جلوگیری از ایندکس؛ هدر X-Robots-Tag برای فایلهای غیر HTML کاربرد دارد.
- هشدار کلیدی: برای آنکه noindex کار کند، صفحه نباید در robots.txt بلاک شده باشد تا گوگل بتواند تگ را ببیند.
پاسخ سریع
اگر میخواهید کل سایت موقتاً پنهان بماند، به پیشخوان وردپرس بروید: «تنظیمات → خواندن» و گزینه «از موتورهای جستجو بخواهید این سایت را ایندکس نکنند» را تیک بزنید و ذخیره کنید. برای پنهانکردن فقط یک صفحه، از تنظیم noindex در افزونه سئو استفاده کنید. یادتان باشد بعد از آمادهشدن سایت، حتماً تیک را بردارید.
اگر مدیر سایت یا تولیدکننده محتوا هستید و دنبال راهی مطمئن برای پنهانکردن سایت یا یک صفحه از گوگل میگردید، تا انتهای این راهنما همراه ما باشید. ابتدا تفاوت «ایندکس» و «کرال» را روشن میکنیم، بعد دلیل و زمان درست این کار را میگوییم و در پایان چهار روش را گامبهگام پیاده میکنیم. برای نصب و راهاندازی خود وردپرس هم میتوانید از راهنمای نصب وردپرس روی هاست سیپنل کمک بگیرید.
جلوگیری از ایندکس شدن سایت وردپرسی چیست و چه فرقی با کرال دارد؟
برای درک درست این موضوع باید دو مفهوم را از هم جدا کنیم. «کرال» (Crawling) یعنی ربات گوگل به صفحه شما سر میزند و محتوای آن را میخواند. «ایندکس» (Indexing) یعنی گوگل آن صفحه را در فهرست خود ذخیره میکند تا در نتایج جستجو نشان دهد. جلوگیری از ایندکس یعنی مرحله دوم را متوقف کنیم؛ یعنی حتی اگر گوگل صفحه را ببیند، آن را در نتایج فهرست نکند.
برای سادهتر شدن، یک کتابخانه را تصور کنید. کرالکردن مثل این است که کتابدار کتاب شما را ورق میزند و میخواند. ایندکسشدن مثل این است که نام کتاب را در فهرست کارتهای کتابخانه ثبت میکند تا دیگران بتوانند آن را پیدا کنند. تگ noindex مثل برچسبی است که میگوید: «این کتاب را بخوان، اما در فهرست عمومی ثبت نکن.» پس صفحه همچنان وجود دارد، فقط در نتایج جستجو دیده نمیشود.
نکته: تفاوت noindex و robots.txt را اشتباه نگیرید
تگ
noindex به گوگل میگوید «صفحه را فهرست نکن»، در حالیکه فایل robots.txt فقط میگوید «این مسیر را نخز». طبق مستندات رسمی گوگل، اگر صفحهای در robots.txt بلاک شود، ربات گوگل اصلاً تگ noindex را نمیبیند و در صورت وجود لینک از سایتهای دیگر، همان آدرس میتواند باز هم در نتایج ظاهر شود.پس برای پنهانکردن واقعی یک صفحه، باید اجازه دهیم گوگل آن را بخزد ولی با تگ noindex از فهرستشدنش جلوگیری کنیم؛ یا کل دسترسی را با رمز عبور ببندیم. در بخش بعد میبینیم چه زمانی اصلاً به این کار نیاز داریم.
چرا و چه زمانی باید جلوی ایندکس سایت را گرفت؟
پنهانکردن سایت از گوگل همیشه کار اشتباهی نیست؛ در موقعیتهای مشخصی دقیقاً همان کاری است که باید انجام شود. شناختن این موقعیتها کمک میکند نه زود این کار را انجام دهید و رتبه را از دست بدهید، نه دیر و محتوای ناقص را به گوگل نشان دهید.
- سایت در حال ساخت: تا وقتی طراحی و محتوا کامل نشده، بهتر است سایت در نتایج ظاهر نشود.
- نسخه آزمایشی (staging): نسخه تست سایت نباید با نسخه اصلی در گوگل رقابت یا ایجاد محتوای تکراری کند.
- صفحات خصوصی یا داخلی: صفحه تشکر، صفحه دانلود فایل پولی، یا صفحات مخصوص اعضا.
- محتوای تکراری یا کمارزش: آرشیو برچسبها، صفحات نویسنده یا نتایج جستجوی داخلی که ارزش سئویی ندارند.
- فروشگاه یا پروژهای که هنوز راهاندازی نشده: تا زمان افتتاح رسمی.
اگر این کار را انجام ندهید، گوگل ممکن است نسخه ناقص سایت، صفحات تستی یا محتوای تکراری را ایندکس کند که هم تصویر بدی از سایت به کاربر میدهد و هم میتواند به سئوی صفحات اصلی آسیب بزند. اما یک خطر در جهت مخالف هم وجود دارد که بسیار رایج است:
هشدار: فراموشکردن برداشتن noindex، سایت شما را نامرئی میکند
شایعترین اشتباه این است که توسعهدهنده هنگام ساخت سایت گزینه «جلوگیری از ایندکس» را فعال میکند و بعد از انتشار، فراموش میکند آن را بردارد. نتیجه این است که سایت کامل و آماده، هفتهها در گوگل دیده نمیشود و هیچ بازدید ارگانیکی نمیگیرد. بعد از راهاندازی نهایی، اولین کاری که باید بررسی کنید همین تنظیم است.
چهار روش جلوگیری از ایندکس وردپرس بهصورت گامبهگام
حالا که میدانیم این کار چیست و چه زمانی لازم است، سراغ اجرای عملی میرویم. چهار روش اصلی وجود دارد؛ از سادهترین (تنظیم داخلی وردپرس) تا مطمئنترین (رمز عبور). بسته به اینکه میخواهید کل سایت یا فقط یک صفحه را پنهان کنید، روش مناسب فرق میکند.
۱) فعالکردن تنظیم داخلی وردپرس (کل سایت)
وردپرس یک گزینه آماده برای این کار دارد. مراحل ساده است: وارد پیشخوان وردپرس شوید، به «تنظیمات» (Settings) و سپس «خواندن» (Reading) بروید. گزینه «از موتورهای جستجو بخواهید این سایت را ایندکس نکنند» (Discourage search engines from indexing this site) را تیک بزنید و روی «ذخیره تغییرات» کلیک کنید. همین. وردپرس از این پس روی همه صفحات سایت یک تگ noindex قرار میدهد.
از نسخه 5.3 وردپرس، این گزینه بهجای دستکاری robots.txt، یک تگ متای robots با مقدار noindex در سرتیتر همه صفحات اضافه میکند تا موتورهای جستجو پیام را بهدرستی دریافت کنند. این تغییر باعث شد روش وردپرس قابلاعتمادتر شود.
توجه: این گزینه فقط یک «درخواست» است
خود وردپرس زیر این گزینه نوشته است که رعایت آن به موتورهای جستجو بستگی دارد. گوگل و بینگ معمولاً به آن احترام میگذارند، اما همه رباتها (مثل برخی موتورهای کوچک یا اسکنرها) لزوماً آن را رعایت نمیکنند. برای پنهانسازی قطعی، رمز عبور بگذارید.
۲) نوایندکسکردن یک صفحه با افزونه سئو
اگر میخواهید فقط یک نوشته یا برگه خاص پنهان شود (نه کل سایت)، بهترین راه استفاده از افزونههای سئو مثل Rank Math یا Yoast SEO است. در Rank Math، نوشته یا برگه را باز کنید، پنل Rank Math را بیاورید، به تب «Advanced» بروید و در بخش «Robots Meta» گزینه «No Index» را فعال کنید و بهروزرسانی کنید. در Yoast هم در بخش «Advanced» همان نوشته، گزینه نمایش در نتایج جستجو را روی «No» بگذارید.
همین افزونهها امکان نوایندکسکردن یک نوع محتوای کامل (مثل آرشیو برچسبها یا صفحات نویسنده) را هم در تنظیمات کلی فراهم میکنند؛ این برای حذف صفحات کمارزش از نتایج بسیار کاربردی است. در ادامه شکل واقعی تگی که این افزونهها به صفحه اضافه میکنند را میبینید:
<!-- جلوگیری از ایندکس یک صفحه: این تگ را داخل بخش <head> صفحه قرار دهید -->
<meta name="robots" content="noindex">
<!-- فقط ربات گوگل را هدف بگیرید (سایر موتورها همچنان ممکن است ایندکس کنند) -->
<meta name="googlebot" content="noindex">
<!-- جلوگیری از ایندکس بهعلاوه دنبالنکردن لینکهای داخل صفحه -->
<meta name="robots" content="noindex, nofollow">۳) محافظت با رمز عبور (مطمئنترین روش)
وقتی صفحه یا کل سایت با رمز عبور محافظت شود، ربات گوگل اصلاً به محتوا دسترسی پیدا نمیکند؛ بنابراین چیزی برای ایندکس وجود ندارد. این قویترین روش است. در خود وردپرس میتوانید هنگام انتشار یک نوشته، در بخش «نمایانی» (Visibility) گزینه «محافظتشده با رمز عبور» را انتخاب کنید. برای کل سایت هم میتوانید از قابلیت Password Protection هاست (در سیپنل: Directory Privacy) استفاده کنید.
۴) robots.txt و هدر X-Robots-Tag (و یک باور غلط رایج)
بسیاری تصور میکنند نوشتن «Disallow» در فایل robots.txt جلوی ایندکس را میگیرد؛ این باور نادرست است. robots.txt فقط به ربات میگوید مسیری را نخزد، اما اگر صفحهای از جای دیگری لینک گرفته باشد، آدرس آن میتواند بدون عنوان و توضیحات همچنان در نتایج ظاهر شود. برای فایلهای غیر HTML مثل PDF و تصویر که نمیتوان به آنها تگ متا اضافه کرد، راه درست استفاده از هدر HTTP به نام X-Robots-Tag است:
# جلوگیری از ایندکس فایلهای غیر HTML (PDF، تصویر) با هدر X-Robots-Tag در .htaccess
<FilesMatch "\.(pdf|docx?|xlsx?)$">
Header set X-Robots-Tag "noindex, noarchive"
</FilesMatch>
# معادل همین کار در وبسرور Nginx (داخل بلاک server یا location):
# add_header X-Robots-Tag "noindex" always;هشدار: robots.txt و noindex را با هم روی یک صفحه بهکار نبرید
اگر صفحهای را هم در robots.txt بلاک کنید و هم برایش noindex بگذارید، نتیجه برعکس میشود: چون گوگل اجازه خزیدن ندارد، هرگز تگ noindex را نمیبیند و ممکن است صفحه را حذف نکند. برای کارکرد درست noindex، صفحه باید قابل خزیدن باقی بماند.
مقایسه چهار روش جلوگیری از ایندکس در وردپرس:
| روش | دامنه پوشش | میزان اطمینان | بهترین کاربرد |
|---|---|---|---|
| تنظیم داخلی وردپرس | کل سایت | متوسط (درخواست از موتور) | سایت در حال ساخت یا staging |
| تگ noindex با افزونه سئو | صفحه یا نوع محتوا | بالا (در صورت قابلخزیدن بودن) | پنهانکردن صفحات خاص |
| محافظت با رمز عبور | صفحه یا کل سایت | بسیار بالا (دسترسی مسدود) | محتوای خصوصی و قطعی |
| robots.txt (Disallow) | مسیر مشخص | پایین (مانع ایندکس نیست) | مدیریت بودجه خزش، نه پنهانسازی |
| هدر X-Robots-Tag | فایلهای غیر HTML | بالا | PDF، تصویر و فایلهای دانلودی |
محدودیتها و نکاتی که باید بدانید
هیچ روشی بینقص نیست و آگاهی از محدودیتها به همان اندازه اجرای درست اهمیت دارد:
- زمانبر بودن حذف: اگر صفحهای قبلاً ایندکس شده، حذف آن از نتایج فوری نیست؛ گوگل باید دوباره صفحه را بخزد تا تگ noindex را ببیند. این کار از چند روز تا چند ماه طول میکشد.
- تگ متای noindex فقط برای صفحات HTML کار میکند: برای فایلها باید از X-Robots-Tag استفاده کنید.
- تضمین صددرصدی نیست: همه موتورهای جستجو لزوماً تگ noindex را رعایت نمیکنند؛ فقط رمز عبور پنهانسازی قطعی میدهد.
- حذف فوری: برای پاککردن سریع یک صفحه از نتایج، باید از ابزار Removals در Google Search Console استفاده کنید که حذف موقت میدهد و با noindex دائمی میشود.
اگر هدف شما حذف کامل و دائمی یک سایت یا صفحه از گوگل است، راهنمای جداگانه ما درباره حذف یک وبسایت از گوگل مراحل تکمیلی را پوشش میدهد.
نقش میزبانی وب در سئو؛ هاست وردپرس وبداده
کنترل ایندکس بخشی از سئوی فنی است، اما زیربنای آن یک میزبانی پایدار و سریع است. وقتی سایت شما کند باشد یا قطعی داشته باشد، ربات گوگل نمیتواند بهموقع صفحات را بخزد و همان تگهای noindex یا تغییرات سئو دیرتر اعمال میشوند. به همین دلیل کیفیت هاست مستقیماً روی نحوه دیدهشدن سایت در گوگل اثر میگذارد.
تجربه وبداده
زیرساخت هاست وردپرس وبداده روی سرورهای نسل جدید HPE (Gen11 و Gen10) و در دیتاسنترهای ایران، هلند و آلمان اجرا میشود. این یعنی پایداری بالا برای خزش منظم گوگل و امکان انتخاب لوکیشن متناسب با مخاطب سایت شما. پشتیبانی فنی ۲۴ ساعته هم در پیکربندی موارد فنی مثل همین تنظیمات ایندکس و فایل robots در کنار شماست.
- ✅ زیرساخت HPE Gen11/Gen10 برای سرعت و پایداری خزش.
- ✅ دیتاسنتر در ایران، هلند و آلمان برای انتخاب لوکیشن مناسب.
- ✅ پشتیبانی فنی ۲۴ ساعته برای تنظیمات فنی سئو.
- ✅ بستر بهینه برای وردپرس و افزونههای سئو مثل Rank Math و Yoast.
📌 برای دیدن پلنها و امکانات، صفحه هاست وردپرس وبداده را ببینید.
سؤالات متداول درباره جلوگیری از ایندکس وردپرس
آیا robots.txt جلوی ایندکس شدن سایت را میگیرد؟
نه. فایل robots.txt فقط به ربات میگوید مسیری را نخزد، اما مانع ایندکس نیست. اگر صفحهای از سایت دیگری لینک گرفته باشد، آدرس آن میتواند بدون عنوان و توضیح همچنان در نتایج گوگل ظاهر شود. برای جلوگیری واقعی باید از تگ noindex یا رمز عبور استفاده کنید.
سادهترین راه پنهانکردن کل سایت از گوگل چیست؟
به پیشخوان وردپرس بروید، «تنظیمات → خواندن» را باز کنید و گزینه «از موتورهای جستجو بخواهید این سایت را ایندکس نکنند» را تیک بزنید و ذخیره کنید. این کار روی همه صفحات تگ noindex قرار میدهد. فقط یادتان باشد بعد از آمادهشدن سایت آن را بردارید.
چطور فقط یک صفحه خاص را نوایندکس کنم؟
از افزونه سئو استفاده کنید. در Rank Math نوشته را باز کنید، تب Advanced و بخش Robots Meta را بیاورید و گزینه No Index را فعال کنید. در Yoast هم در بخش Advanced همان نوشته، نمایش در نتایج جستجو را روی No بگذارید.
بعد از فعالکردن noindex، چقدر طول میکشد صفحه از گوگل حذف شود؟
فوری نیست. گوگل باید دوباره صفحه را بخزد تا تگ noindex را ببیند و سپس آن را حذف کند؛ این کار بسته به اهمیت صفحه از چند روز تا چند ماه طول میکشد. برای تسریع میتوانید از ابزار URL Inspection در Search Console درخواست خزش مجدد بدهید.
چرا با وجود فعالبودن noindex، صفحهام هنوز در گوگل است؟
دو دلیل رایج دارد: یا گوگل هنوز صفحه را پس از اعمال noindex دوباره نخزیده، یا صفحه در robots.txt بلاک شده و ربات نمیتواند تگ noindex را ببیند. مطمئن شوید مسیر صفحه در robots.txt مسدود نباشد.
تفاوت noindex و nofollow چیست؟
noindex یعنی صفحه در نتایج فهرست نشود. nofollow یعنی گوگل لینکهای داخل صفحه را دنبال نکند. این دو مستقلاند و میتوان آنها را با هم بهکار برد، مثل noindex, nofollow؛ اما برای فقط پنهانکردن صفحه، تنها noindex کافی است.
چطور فایل PDF یا تصویر را از نتایج گوگل پنهان کنم؟
چون نمیتوان به فایلهای غیر HTML تگ متا اضافه کرد، باید از هدر HTTP به نام X-Robots-Tag با مقدار noindex استفاده کنید. این هدر را میتوانید در فایل .htaccess (آپاچی) یا در پیکربندی Nginx برای آن نوع فایل تنظیم کنید.
نسخه staging سایتم را چطور از گوگل دور نگه دارم؟
بهترین راه برای نسخه آزمایشی، محافظت با رمز عبور است تا کاملاً از دسترس گوگل خارج شود و محتوای تکراری ایجاد نشود. فعالکردن گزینه «جلوگیری از ایندکس» در تنظیمات خواندن هم لایه دوم خوبی است.
جمعبندی
در این راهنما دیدیم که پنهانکردن سایت یا یک صفحه از گوگل در موقعیتهایی مثل سایت در حال ساخت، نسخه آزمایشی یا صفحات خصوصی کاملاً منطقی است. مهمترین درس این بود که robots.txt جلوی ایندکس را نمیگیرد؛ تنها تگ noindex (با تنظیم داخلی وردپرس یا افزونه سئو) و محافظت با رمز عبور این کار را بهدرستی انجام میدهند. همچنین یادمان باشد که برای کارکرد noindex، صفحه باید قابل خزیدن بماند و حذف صفحات قبلاً ایندکسشده زمانبر است. در نهایت، بعد از آمادهشدن سایت، حتماً تنظیم نوایندکس را بردارید تا سایتتان در گوگل دیده شود.
جمعبندی سریع
✅ برای کل سایت موقت: «تنظیمات → خواندن» وردپرس.
✅ برای یک صفحه: تگ noindex در افزونه سئو.
✅ برای محتوای خصوصی: رمز عبور (مطمئنترین).
✅ robots.txt برای پنهانسازی کافی نیست؛ صفحه باید قابل خزیدن بماند.
✅ برای یک صفحه: تگ noindex در افزونه سئو.
✅ برای محتوای خصوصی: رمز عبور (مطمئنترین).
✅ robots.txt برای پنهانسازی کافی نیست؛ صفحه باید قابل خزیدن بماند.
در صورتی که سوالی داشتید میتوانید در بخش نظرات با ما در ارتباط باشید.
