چگونگی کاهش میزان crawl کردن موتور جستجوی bing

چگونگی کاهش میزان crawl کردن موتور جستجوی bing ربات MSN یا BING وب سایت شما را برای نمایش محتوا نشان می دهد و نتایج را در موتور جستجو bing نیز منتشر می کند . bing دستورالعمل های پروتکل منع ورود روبات ها (REP) را پشتیبانی می کند که  در فایل robots.txt سایت ذکر می شود .…