چگونگی کنترل crawl کردن وب سایت توسط ربات های جستجو با استفاده از فایل robots.txt

چگونگی کنترل crawl کردن وب سایت توسط ربات های جستجو با استفاده از فایل robots.txt هدف فایل  robots.txt این است که به ربات های جستجو بگویند کدام فایل ها را باید index  کنند و کدام فایل ها را خیر . اغلب برای فایل هایی استفاده می شود که نباید توسط ربات ها index  شود . اگر میخواهید…