Файл robots.txt - это служебный файл, который подсказывает поисковому роботу, какие разделы сайта индексировать, а какие нет. Определяет основное зеркало сайта, указывает путь к карте сайта sitemap.xml и вообще, наличие этого файла - признак любого уважающего себя сайта.
Шаблоны WordPress, wordpress плагины, WordPress SEO, блоги для новичков, создание блога, настройка блога, услуги для блоггеров, безопасность WordPress