آیا در سرور های وب داده ، crawl-delay وجود دارد ؟
ما هیچ دستور العمل پیش فرض crawl-delay بر سرور هایمان اعمال نمی کنیم. شما باید تصمیم بگیرید که در رابطه با crawl-delay چه کنید ، در هر صورت بایدبا ویرایش robots.txt را در وب سایتتان آن را مدیریت کنید . این مورد میتواند با اضافه شدن دستور زیر در آن فایل تنظیم شود : crawl-delay: 1 برخی از…