Robots закрыть от индексации
Автор Дмитрий Николаевич задал вопрос в разделе Другие языки и технологии
Как правильно закрыть от индексации постраничную навигацию сайта в файле robots.txt? и получил лучший ответ
Ответ от Gruz[гуру]
подробно эти причины были описаны на странице блога «Яндекс. Поиска» : «Почему всё находится»
попробуйте так
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
– запрещает скачивать всё, кроме страниц, начинающихся с ‘/cgi-bin’.
вот здесь есть спец для вордпресса
Источник: ссылка
Ответ от 22 ответа[гуру]
Привет! Вот подборка тем с похожими вопросами и ответами на Ваш вопрос: Как правильно закрыть от индексации постраничную навигацию сайта в файле robots.txt?