Откорректирую или создам файлы robots.txt, sitemap.xml.
Данные файлы предназначены для управления индексацией сайта в поисковых систем, корректно составленные файлы избавят от ряда важных, критических ошибок продвижения (дубли, мусорные страницы, технически генерированные системой администрирования, без добавочной ценности), что значительно повисит сайт в "глазах" поисковых систем. А так же увеличит скорость попадания нужных страниц в индекс.
Что входит в задание!
✔ Полное сканирование сайта на наличие нежелательных URL адресов (такие адреса есть всегда, в любой системе администрирования (админке))
✔ Поиск дублей страниц (рекомендации по устранению, если нужны)
✔ Проверка главного зеркала (указывается в robots.txt)
✔ Составление файла роботс или добавление директив в имеющийся для исключения их из индекса, так как их наличие затрудняет продвижение
✔ Составление карты сайта для роботов (сайтмап) с отобранными важными страницами сайта