چگونگی کاهش میزان crawl کردن موتور جستجوی bing
ربات MSN یا BING وب سایت شما را برای نمایش محتوا نشان می دهد و نتایج را در موتور جستجو bing نیز منتشر می کند .
bing دستورالعمل های پروتکل منع ورود روبات ها (REP) را پشتیبانی می کند که در فایل robots.txt سایت ذکر می شود .
میزان crawl کردن موتور جستجوی bing را می توانید با استفاده از فایل robots.txt کنترل کنید . برای کاهش سرعت crawl کردن باید دستور زیر را در این فایل وارد کنید :
User-agent: bingbot Crawl-delay: 1
دو crawler زیر نیز برای برخی از وظایف crawl به کار می روند :
- MSNBot (منابع عمومی)
- MSNBot-Media (تصاویر و ویدئو)
عوامل مکاتبه کننده کاربر (corresponding user agent)عبارت اند از :
msnbot
msnbot-media
bing کمترین میزان crawl-delay را توصیه می کند . در اینجا یک لیست از مقادیری است که می توانید در وب سایت خود استفاده کنید:
تنظیم بدون crawl-delay : معمولی
1 : کند
5 : خیلی کند
10 : فوق العاده کند
یک روش دیگر برای مدیریت نرخ crawl کردن bing برای وب سایت شما این است که برای ابزار وب مستر بینگ(Bing’s webmaster tools ) ثبت نام کنید و تنظیمات خود را در آنجا انجام دهید .
