Если говорить проще, это набор инструкций для ботов. Этот файл включен в исходные файлы большинства веб-сайтов. Robots.txt файлы в основном предназначены для управления действиями хороших ботов, таких как веб-сканеры, поскольку плохие боты вряд ли будут следовать инструкциям.
Подумайте о robots.txt например, вывеска "кодекс поведения", вывешенная на стене в спортзале, баре или общественном центре: сама по себе вывеска не имеет силы обеспечить соблюдение перечисленных правил, но "хорошие" посетители будут следовать правилам, в то время как "плохие", скорее всего, нарушат их и получат запрет.
Иначе говоря, это автоматизированная компьютерная программа, которая взаимодействует с веб-сайтами и приложениями. Есть хорошие боты и плохие боты, и один тип хорошего бота называется ботом веб-искателя. Эти боты "сканируют" веб-страницы и индексируют контент, чтобы он мог отображаться в результатах поиска. А robots.txt файл помогает управлять деятельностью этих веб-искателей, чтобы они не перегружали веб-сервер, на котором размещается веб-сайт, или индексировать страницы, которые не предназначены для публичного просмотра.
