Автор Ёергей Соловьёв задал вопрос в разделе Прочие
Индексирование сайта в Яндекс Документ запрещен в файле robots.txt и получил лучший ответ
Ответ от Evgeny M.[гуру]
Файл robots.txt нужен не для индексирования сайта, а, наоборот, для того чтобы что-то спрятать от индексирования.
Поэтому для начала удалите этот файл со своего сайта. Пусть Яндекс всё проиндексирует. А уже потом, если увидите, что Яндекс индексирует что-то лишнее, тогда сделайте файл robots.txt и укажите в нем только то, что Вы считаете лишним для индексации.
Ответ от 22 ответа[гуру]
Привет! Вот подборка тем с похожими вопросами и ответами на Ваш вопрос: Индексирование сайта в Яндекс Документ запрещен в файле robots.txt