Robots.txt — файл в текстовом формате, расположенный в корневой директории веб-сайта, предназначенный для роботов поисковых систем. Владелец сайта может задать параметры индексирования сайта для поисковых роботов, как в общем виде, так и отдельно для каждой поисковой системы.

Использование Robots.txt в интернет-маркетинге

Основное использование файла robots.txt связано с продвижением сайта в выдаче поисковых систем. Этот инструмент позволяет избавиться от служебных и дублирующих страниц в индексе, указать основной домен сайта при использовании зеркал, указать явным образом ссылку на карту сайта, чтобы добиться более быстрой и полной индексации страниц.

Управлением содержимым файла robots.txt, как правило, занимаются специалисты в области SEO.