Куда загружать файл robots.txt?

В корневую директорию домена, чтобы он открывался по адресу https://вашдомен.ru/robots.txt. Роботы читают только этот путь: файл в /blog/robots.txt или /public/robots.txt они проигнорируют. У каждого поддомена свой файл — blog.example.ru не наследует правила example.ru.

Уберёт ли Disallow страницу из поиска?

Не всегда. Disallow запрещает роботу скачивать страницу, но Google может проиндексировать сам URL, если на него ведут внешние ссылки, — в выдаче появится пустой сниппет без описания. Чтобы страница точно не попала в поиск, разрешите её обход и отдайте мета-тег noindex или заголовок X-Robots-Tag.

Стоит ли блокировать ИИ-краулеров?

Зависит от того, нужны ли вам ссылки из чат-ботов. Блокировка GPTBot, ClaudeBot и Google-Extended не пускает ваш контент в обучающие выборки, но Google-Extended заодно исключает сайт из AI Overviews, а OAI-SearchBot решает, сможет ли ChatGPT вообще на вас сослаться. Издатели, которым важен трафик, обычно закрывают обучающих роботов и оставляют поисковых.

Работает ли директива Crawl-delay?

Bing и Яндекс её учитывают. Google игнорирует полностью: если Googlebot создаёт нагрузку, меняйте скорость обхода в Search Console или отвечайте кодом 429. Вреда от директивы нет, но и пользы для Google тоже.

Чем Allow отличается от Disallow?

Disallow закрывает путь целиком, Allow делает исключение внутри закрытого раздела. Робот применяет самое длинное подходящее правило, поэтому Disallow: /wp-admin/ вместе с Allow: /wp-admin/admin-ajax.php закрывает админку, но оставляет доступным файл, который нужен темам. Один и тот же путь в обоих полях — конфликт, и генератор об этом предупредит.

Можно ли использовать подстановочные символы?

Да. Звёздочка заменяет любую последовательность символов, а знак доллара закрепляет конец адреса: Disallow: /*?sort= уберёт все страницы с сортировкой, а Disallow: /*.pdf$ закроет PDF-файлы. Google, Bing и Яндекс поддерживают оба символа. Мелкие роботы — не всегда, поэтому важные правила лучше писать простыми.

Генератор robots.txt — создайте и проверьте файл онлайн

Отправная точка

Crawl-delay (секунды, необязательно)

Закрыть пути (по одному в строке)

Исключения Allow (по одному в строке)

Адреса карты сайта (по одному в строке)

Закрыть сайт от ИИ-краулеров и поисковых ботов чатов (20 агентов)

Заблокировать SEO-краулеров

Ваш robots.txt —

Скачать

Выберите готовый пресет или перечислите пути, которые не должны попадать в индекс, — и получите синтаксически верный robots.txt, готовый к загрузке в корень сайта. Один флажок закрывает доступ двадцати роботам, которые собирают контент для обучения ИИ. Конфликты правил и типичные ошибки подсвечиваются прямо во время ввода.

Как это работает

1
Выберите отправную точку Открыть всё, закрыть всё или начать с пресета для WordPress либо интернет-магазина. Пресет подставляет пути, которые обычно закрывают на таких сайтах, — дальше их можно править.
2
Укажите пути и карту сайта В поле Disallow пишите по одному пути в строке: /admin/, /cart, /*?sort= — всё это работает. Исключения добавьте в Allow, а в последнее поле вставьте адрес sitemap.xml.
3
Скопируйте или скачайте файл Прочитайте предупреждения и нажмите «Копировать» или «Скачать». Файл нужно положить в корень сайта, чтобы он открывался по адресу https://вашдомен.ru/robots.txt — во вложенной папке он не работает.

Ваши данные защищены

Всё обрабатывается прямо в вашем браузере. Никакие файлы или текст не отправляются на наши серверы. Отключите интернет — инструмент продолжит работать.

Часто задаваемые вопросы

Куда загружать файл robots.txt?: В корневую директорию домена, чтобы он открывался по адресу https://вашдомен.ru/robots.txt. Роботы читают только этот путь: файл в /blog/robots.txt или /public/robots.txt они проигнорируют. У каждого поддомена свой файл — blog.example.ru не наследует правила example.ru.
Уберёт ли Disallow страницу из поиска?: Не всегда. Disallow запрещает роботу скачивать страницу, но Google может проиндексировать сам URL, если на него ведут внешние ссылки, — в выдаче появится пустой сниппет без описания. Чтобы страница точно не попала в поиск, разрешите её обход и отдайте мета-тег noindex или заголовок X-Robots-Tag.
Стоит ли блокировать ИИ-краулеров?: Зависит от того, нужны ли вам ссылки из чат-ботов. Блокировка GPTBot, ClaudeBot и Google-Extended не пускает ваш контент в обучающие выборки, но Google-Extended заодно исключает сайт из AI Overviews, а OAI-SearchBot решает, сможет ли ChatGPT вообще на вас сослаться. Издатели, которым важен трафик, обычно закрывают обучающих роботов и оставляют поисковых.
Работает ли директива Crawl-delay?: Bing и Яндекс её учитывают. Google игнорирует полностью: если Googlebot создаёт нагрузку, меняйте скорость обхода в Search Console или отвечайте кодом 429. Вреда от директивы нет, но и пользы для Google тоже.
Чем Allow отличается от Disallow?: Disallow закрывает путь целиком, Allow делает исключение внутри закрытого раздела. Робот применяет самое длинное подходящее правило, поэтому Disallow: /wp-admin/ вместе с Allow: /wp-admin/admin-ajax.php закрывает админку, но оставляет доступным файл, который нужен темам. Один и тот же путь в обоих полях — конфликт, и генератор об этом предупредит.
Можно ли использовать подстановочные символы?: Да. Звёздочка заменяет любую последовательность символов, а знак доллара закрепляет конец адреса: Disallow: /*?sort= уберёт все страницы с сортировкой, а Disallow: /*.pdf$ закроет PDF-файлы. Google, Bing и Яндекс поддерживают оба символа. Мелкие роботы — не всегда, поэтому важные правила лучше писать простыми.

Из блога

Как написать robots.txt, который делает именно то, что вы задумали Четыре директивы, которые действительно работают, поддержка масок в Google и ошибки, из-за которых сайт тихо выпадает из индекса. Читать статью →

Генератор robots.txt — создайте и проверьте файл онлайн

Как это работает

Ваши данные защищены

Часто задаваемые вопросы

Из блога

Похожие инструменты