Автор SAPER1985 задал вопрос в разделе Другие языки и технологии
По robots.txt в Яше. и получил лучший ответ
Ответ от Василий Теркин[гуру]
Вообще-то, достаточно только - Disallow: /index2.php
Остальные -Disallow: /index2.php/ и Disallow: /index2.php?* - излишне
Дело в том, что Disallow: /index2.php блокирует все страницы, в состав которых входит /index2.php. В том числе и /index2.php?123, и тд.
Думаю, что если Вы недавно измении роботс. ТХТ, то поисковики просто не успели еще убрать из индекса запрещенные старницы.
И еще, у яндекса есть вот такой сервис - - он поможет проанализировать работают ваши условия или нет.
- Просто вводите адрес своего сайта
- Сервис загружает файл robots.txt с него
- Ниже вы указываете разные УРЛы своего сайта и жмете кнопку проверить.
- Появляется результат проверки. Те урлы, которые запрещены для индексации будут отмечены.