Настрою правильные robots.txt + sitemap.xml

Файл robots.txt должен решать две основные задачи:

1. Все служебные и неиформативные страницы и директории запрещены к индексации в поисковых системах. В индексе нет "лишних" страниц, которые забивают выдачу и благодаря этому повышается общий траст сайта в глазах поисковых систем.
2. Все файлы и директории, отвечающие за корректное отображение страниц (файлы стилей и скриптов, изображения и другие) в глазах поисковых роботов разрешены к индексации. Роботы должны видеть ту же страницу, что и пользователи (это одни из факторов ранжирования в Google)

Какие работы провожу:

1. Анализирую сайт и страницы в индексе для поиска параметров, директив и страниц, которые следует закрыть от индексации
2. Бесплатно добавляю сайт в Google Webmaster и с помощью инструмента "Посмотреть как googlebot" открываю для индексации те файлы, которые отвечают за корректное отображение сайта
3. Прописываю параметр host и указываю путь к sitemap.xml
4. Выкачиваю полностью сайт и на основе этих данных генерирую файл sitemap.xml
5. Загружаю файлы на сайт и предоставляю краткий отчет о проделанной работе.