-
پشتبانی ثبت تیکت و سوالات پیش از خرید
-
پشتیبانی تلفنی 021-91300210
-
پشتیبانی فوری 0313740
چگونگی کاهش میزان crawl کردن موتور جستجوی bing
چگونگی کاهش میزان crawl کردن موتور جستجوی bing
ربات MSN یا BING وب سایت شما را برای نمایش محتوا نشان می دهد و نتایج را در موتور جستجو bing نیز منتشر می کند .
bing دستورالعمل های پروتکل منع ورود روبات ها (REP) را پشتیبانی می کند که در فایل robots.txt سایت ذکر می شود .
میزان crawl کردن موتور جستجوی bing را می توانید با استفاده از فایل robots.txt کنترل کنید . برای کاهش سرعت crawl کردن باید دستور زیر را در این فایل وارد کنید :
User-agent: bingbot Crawl-delay: 1
دو crawler زیر نیز برای برخی از وظایف crawl به کار می روند :
- MSNBot (منابع عمومی)
- MSNBot-Media (تصاویر و ویدئو)
عوامل مکاتبه کننده کاربر (corresponding user agent)عبارت اند از :
msnbot
msnbot-media
bing کمترین میزان crawl-delay را توصیه می کند . در اینجا یک لیست از مقادیری است که می توانید در وب سایت خود استفاده کنید:
تنظیم بدون crawl-delay : معمولی
1 : کند
5 : خیلی کند
10 : فوق العاده کند
یک روش دیگر برای مدیریت نرخ crawl کردن bing برای وب سایت شما این است که برای ابزار وب مستر بینگ(Bing’s webmaster tools ) ثبت نام کنید و تنظیمات خود را در آنجا انجام دهید .