Профиль: Аноним (вход | регистрация)
OpenNET

[ новости /+++ | форум | теги |    ]

Каталог документации / Раздел "Руководства по FreeBSD на русском" / Оглавление документа

8.34. В журнале ошибок apache зачастую появляются сообщения о попытках запросить файл robots.txt. Кому и зачем он нужен?

Этот файл содержит правила (Robot Rules) исключений для различных роботов индексации, поиска или зеркалирования веб-серверов.

Стандарт, описывающий содержимое этого файла, можно найти по адресу http://info.webcrawler.com/mak/projects/robots/norobots.html




XSQUARE
Inferno Solutions
Hosting by Hoster.ru
Хоcтинг: