Создание и настройка robots.txt, sitemap.xml

Файл robots.txt (индексный файл) – это документ в формате .txt, где указываются инструкции к индексированию веб-сайта/его страниц/разделов и прочих материалов для поисковых роботов. Проще говоря, он включает команды, дающие рекомендации роботам касательно того, какие материалы веб-ресурса можно скачивать и вносить в индекс, а какие – нет.

Файл sitemap переводится с английского как карта сайта и представляет из себя весь список url адресов вашего сайта, что как раз и нужно просматривать поисковым роботам на сайте. То есть эти роботы просмотрев данный файл обновляют у себя информацию и после анализа индексируют страницы вашего сайта. А индексирование напрямую благотворно влияет на продвижение.