ما هیچ دستور العمل پیش فرض crawl-delay بر سرور هایمان اعمال نمی کنیم.
شما باید تصمیم بگیرید که در رابطه با crawl-delay چه کنید ، در هر صورت بایدبا ویرایش robots.txt را در وب سایتتان آن را مدیریت کنید . این مورد میتواند با اضافه شدن دستور زیر در آن فایل تنظیم شود :
crawl-delay: 1
برخی از موتورهای جستجوگر (مانند یانداکس، یاهو، بینگ و غیره) در مورد حداقل فاصله زمانی تاخیر در هر ثانیه بین درخواست های شما، دستور می دهد. به عنوان مثال در بالا دستورالعمل این است که همان ربات باید فاصله ای 1 ثانیه ای بین هر صفحه ای که می گذارد نگه دارد.
هدف این خط جلوگیری کردن از crawl شدن بیش از حد سایت شما است ، زیرا این کار موجب بروز مشکلاتی در استفاده از منابع کاربری شما شود یا اینکه منابع غیر ضروری به شما اختصاص دهد .
