چگونگی کاهش میزان crawl کردن موتور جستجوی bing

چگونگی کاهش میزان crawl کردن موتور جستجوی bing

ربات MSN یا BING وب سایت شما را برای نمایش محتوا نشان می دهد و نتایج را در موتور جستجو bing نیز منتشر می کند .

bing دستورالعمل های پروتکل منع ورود روبات ها (REP) را پشتیبانی می کند که  در فایل robots.txt سایت ذکر می شود .

میزان crawl کردن موتور جستجوی bing را می توانید با استفاده از فایل  robots.txt کنترل کنید . برای کاهش سرعت crawl  کردن باید دستور زیر را در این فایل وارد کنید :

User-agent: bingbot
Crawl-delay: 1

دو crawler زیر نیز برای برخی از وظایف crawl  به کار می روند :

• MSNBot (منابع عمومی)
• MSNBot-Media (تصاویر و ویدئو)

عوامل مکاتبه کننده کاربر (corresponding user agent)عبارت اند از :

msnbot
msnbot-media

bing کمترین میزان crawl-delay را توصیه می کند . در اینجا یک لیست از مقادیری است که می توانید در وب سایت خود استفاده کنید:

تنظیم بدون crawl-delay  : معمولی

1 : کند

5 : خیلی کند

10 : فوق العاده کند

یک روش دیگر برای مدیریت نرخ crawl کردن bing برای وب سایت شما این است که برای ابزار وب مستر بینگ(Bing’s webmaster tools ) ثبت نام کنید و تنظیمات خود را در آنجا انجام دهید .