آیا در سرور های وب داده ، crawl-delay وجود دارد ؟

ما هیچ دستور العمل پیش فرض crawl-delay بر سرور هایمان اعمال نمی کنیم.

شما باید تصمیم بگیرید که در رابطه با crawl-delay چه کنید ، در هر صورت بایدبا ویرایش  robots.txt را در وب سایتتان آن را مدیریت کنید . این مورد میتواند با اضافه شدن دستور زیر در آن فایل تنظیم شود :

crawl-delay: 1

برخی از موتورهای جستجوگر (مانند یانداکس، یاهو، بینگ و غیره) در مورد حداقل فاصله زمانی تاخیر در هر ثانیه بین درخواست های شما، دستور می دهد. به عنوان مثال در بالا دستورالعمل این است که همان ربات باید فاصله ای 1 ثانیه ای بین هر صفحه ای که می گذارد نگه دارد.

هدف این خط جلوگیری کردن از crawl شدن بیش از حد سایت شما است ، زیرا این کار موجب بروز مشکلاتی در استفاده از منابع کاربری شما شود یا اینکه منابع غیر ضروری به شما اختصاص دهد .