Robots.txt и sitemap.xml - создание и правильная настройка

В рамках данного услуги я настрою 2 очень важных файла для каждого сайта на любой CMS - robots.txt и sitemap.xml

Стоимость услуги всего 500 ₽, при общей стоимости включенных в него услуг на 2000 ₽

Для чего нужны эти файлы?

robots.txt - директива, в которой указаны правила индексации сайта для разных поисковых роботов (какие разделы и страницы индексировать, а какие нет);

sitemap.xml - карта сайта, в которой собраны и структурированы ссылки на все имеющиеся html-страницы сайта, чтобы поисковым роботам было легче понимать его структуру и сканировать сайт.

По robots.txt:

1. Укажу правило User-agent для всех важных поисковых роботов (Yandex, Google, общее правило и др)
2. Уберу нерабочий параметр Host
3. Пропишу путь к карте сайта
4. Закрою JS-скрипты и CSS-стили для Яндекс
5. Закрою все 404 ошибки и битые страницы
6. Проверю всё на валидность

По sitemap.xml:

1. Настрою правильную карту сайта только с нужными страницами
2. Всё структурирую и задам правильные приоритеты для всех страниц
3. Проверю на валидность

Работаю со всеми CMS: WordPress, OpenCart / OcStore, 1C-Битрикс, Joomla, Magento, PrestaShop, Shop Scipt, Simpla, Мегагрупп, Tiu.ru, WIX, WebAsyst, DLE, Drupal, ModX, UMI. CMS, NetCat, Host CMS, InSales, Tilda и др.