Создам или настрою идеальный robots.txt

Для чего нужен robots.txt? Это файл, располагающийся в корневой директории сайта, в котором прописаны специальные указания для роботов-поисковиков. Именно к нему в первую очередь обращается робот при заходе на ваш сайт.

1. Секции правил для Yandex, Google и остальных
2. Составление с учетом структуры вашего сайта
3. Запрет индексации дублей и системных страниц
4. Директивы Allow
5. Адаптация под новые стандарты 2019 года
6. Указание карты сайта для поисковых систем.

Настройка Sitemap (опционально):

Подключение автогенерируемой карты сайта

Быстрая карта сайта, формируется в 5-6 раз быстрее

Настройка иерархии приоритетности страниц

Настройка htaccess (опционально):

Настройка кеширования статических файлов

Настройка редиректов с 'www' на 'без www', или наоборот

Настройка редиректов с 'http' на 'https', или наоборот

Настройка редиректов для устранения дублей главной страницы