Crawl delay 10
Автор Alexander Smolin задал вопрос в разделе Другие языки и технологии
Что означает эта строка: "Crawl-delay: 10" в файле для поисковиков robots.txt? и получил лучший ответ
Ответ от Дмитрий Шаров[гуру]
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Ответ от 22 ответа[гуру]
Привет! Вот подборка тем с похожими вопросами и ответами на Ваш вопрос: Что означает эта строка: "Crawl-delay: 10" в файле для поисковиков robots.txt?