چگونگی کنترل crawl کردن وب سایت توسط ربات های جستجو با استفاده از فایل robots.txt
چگونگی کنترل crawl کردن وب سایت توسط ربات های جستجو با استفاده از فایل robots.txt هدف فایل robots.txt این است که به ربات های جستجو بگویند کدام فایل ها را باید index کنند و کدام فایل ها را خیر . اغلب برای فایل هایی استفاده می شود که نباید توسط ربات ها index شود . اگر میخواهید…