Настрою файл robots.txt

Robots.txt – текстовый файл, содержимое которого используют поисковики в качестве рекомендаций по индексации страниц сайта. Этот файл содержит список директив по исключению или включению страниц в индекс поисковой машины.

Некорректная настройка robots.txt может весьма существенно повлиять на уровень оптимизации сайта. И не стоит недооценивать это влияние.

Рекомендую создание или настройку robots.txt после:

1. создания сайта;
2. смены cms;
3. изменения структуры сайта;
4. внедрения различных модулей на сайт.