Мониторинг сайта · №09
Проверка robots.txt
Коротко
robots.txt — это текстовый файл в корне сайта, который подсказывает поисковым роботам и ИИ-ботам, какие адреса можно сканировать. Одна строка Disallow: / запрещает сканировать весь сайт, и он постепенно теряет видимость в Google и ИИ-поиске. Чаще всего так происходит, когда файл с тестовой версии попадает на рабочий сайт при запуске или обновлении.
Содержание
Что такое robots.txt?
robots.txt — это обычный текстовый файл по адресу example.com/robots.txt, в котором владелец сайта пишет правила для автоматических посетителей: поисковых роботов, ИИ-ботов, сервисов анализа. Google описывает его так:
«Файл robots.txt сообщает поисковым роботам, к каким URL вашего сайта они могут получить доступ».
Формат стандартизирован в RFC 9309 — документе, который описывает Robots Exclusion Protocol (протокол исключений для роботов). Файл должен лежать в корне сайта: в подкаталогах роботы его не ищут, а Google читает только первые 500 КиБ (документация Google).
| Строка | Что означает |
|---|---|
User-agent: * | Правила ниже действуют для всех роботов |
User-agent: Googlebot | Правила ниже действуют только для робота Google Поиска |
Disallow: /cart/ | Не сканировать адреса, которые начинаются с /cart/ |
Disallow: / | Не сканировать ни одной страницы сайта |
Disallow: (пустое значение) | Ограничений нет, сканировать можно всё |
Allow: /cart/help/ | Исключение из более широкого запрета |
Sitemap: https://example.com/sitemap.xml | Адрес карты сайта |
Важно: robots.txt — это просьба, а не замок. RFC 9309 прямо предупреждает, что эти правила не являются формой авторизации доступа (RFC 9309). Добросовестные роботы их соблюдают, но закрыть ими приватные данные невозможно.
Чем грозит ошибка в robots.txt?
Самая опасная ошибка — строка Disallow: / в группе User-agent: *. Она запрещает всем поисковым роботам сканировать сайт. Google не может прочитать содержимое страниц: новые страницы не попадают в поиск, изменения на старых не учитываются, а адрес заблокированной страницы, согласно документации Google, может и дальше показываться в результатах, но уже без описания. При этом сайт открывается как обычно, и без проверки ошибку замечают, только когда падает трафик.
Вторая распространенная ошибка — попытка убрать страницу из поиска через robots.txt. Это не работает, потому что файл управляет сканированием, а не индексированием:
«Это не механизм, позволяющий не допустить веб-страницу в Google. […] Мы всё равно можем найти и проиндексировать запрещенный URL, если на него ссылаются из других мест в интернете».
Чтобы страницы не было в Google, документация советует запретить индексирование через noindex или закрыть страницу паролем. Причем страницу с noindex нельзя одновременно закрывать в robots.txt: робот не загрузит ее и не увидит запрет.
Если страницу нужно срочно скрыть из поиска, в Google Search Console есть инструмент «Удаления» (Removals). Он блокирует показ адреса в результатах Google примерно на шесть месяцев, но не запрещает сканирование и не удаляет страницу навсегда: после этого срока она может вернуться в выдачу (Справка Search Console). Поэтому временное удаление стоит сочетать с noindex, паролем или удалением самой страницы.
Опасна и недоступность самого файла. Если robots.txt отвечает ошибкой сервера 5xx, Google первые 12 часов не сканирует сайт, а затем до 30 дней пользуется последней сохраненной версией файла (документация Google). Поэтому Google отдельно предупреждает: не отдавайте код 503 для robots.txt даже во время технических работ (документация Google). А вот ответ 404 означает «ограничений нет».
Видимость в ответах ИИ
Как robots.txt влияет на видимость в ответах ИИ?
Напрямую. Большинство крупных ИИ-сервисов сканируют сайты собственными роботами и соблюдают правила robots.txt, поэтому один и тот же файл решает, может ли сайт попасть в ответы ChatGPT, Claude или Perplexity. О поиске с ИИ OpenAI пишет прямо:
«Сайты, запретившие доступ OAI-SearchBot, не будут показываться в ответах поиска ChatGPT».
Важно, что у каждого сервиса несколько роботов с разными задачами. Можно запретить использовать сайт для обучения моделей и при этом остаться в ИИ-поиске:
| Компания | Робот в robots.txt | Для чего |
|---|---|---|
Googlebot | Google Поиск, в том числе AI Overviews и AI Mode | |
Google-Extended | Обучение будущих моделей Gemini и grounding (привязка ответов к источникам) в приложениях Gemini и Vertex AI; на Google Поиск не влияет | |
| OpenAI | OAI-SearchBot | Показ сайтов в поиске ChatGPT |
| OpenAI | GPTBot | Обучение моделей |
| Anthropic | Claude-SearchBot | Улучшение результатов поиска для пользователей Claude |
| Anthropic | ClaudeBot | Сбор контента, который может использоваться для обучения |
| Perplexity | PerplexityBot | Показ сайтов и ссылки на них в результатах поиска Perplexity |
Что говорят сами компании:
- Google. У Google-Extended нет отдельного робота: сканирует обычный Googlebot, а токен в robots.txt лишь управляет использованием контента. Согласно документации, Google-Extended не влияет на присутствие сайта в Google Поиске и не является сигналом ранжирования (Google). А доступ для сканирования в Поиске, частью которого являются AI Overviews и AI Mode, определяют правила robots.txt для Googlebot, причем сама страница должна быть проиндексирована (Google). То есть
Disallow: /для Googlebot убирает сайт и из поиска, и из ответов ИИ от Google. - OpenAI. Настройки для каждого робота независимы, а после изменения robots.txt поисковым системам OpenAI нужно около 24 часов, чтобы учесть изменения. Запрет для GPTBot означает, что контент не следует использовать для обучения моделей (OpenAI).
- Anthropic. Компания пишет, что ее роботы соблюдают стандартные директивы robots.txt. Запрет Claude-SearchBot, по ее словам, может снизить видимость и точность сайта в результатах поиска (Anthropic).
- Perplexity. PerplexityBot не используется для обучения базовых моделей ИИ, и компания советует разрешить ему доступ в robots.txt (Perplexity).
Есть и исключения. Роботы, которые открывают страницу по прямому запросу пользователя, работают иначе: OpenAI пишет, что к действиям ChatGPT-User правила robots.txt могут не применяться, а Perplexity — что Perplexity-User в целом их игнорирует. Anthropic, наоборот, указывает, что запрет для Claude-User не дает Claude получать ваш контент в ответ на запрос пользователя.
Почему robots.txt ломается?
Файл редко меняют осознанно — обычно он меняется попутно, во время других работ на сайте:
- Перенос с тестовой версии. На тестовой копии сайта ставят
Disallow: /, чтобы ее не проиндексировали, а при запуске файл копируют на рабочий сайт вместе со всем остальным. - Настройки CMS или хостинга. В некоторых CMS и панелях хостинга есть опция «скрыть сайт от поисковых систем» для тестовых копий. Ее включают на время разработки и забывают выключить после запуска.
- SEO-плагин или модуль. Обновление плагина перезаписывает файл своим шаблоном или добавляет запреты для разделов, которые должны быть в поиске.
- Слишком широкий шаблон. Строка
Disallow: /cвместоDisallow: /cart/закрывает вместе с корзиной и каталог/catalog/, потому что правило действует на все адреса, которые начинаются с этих символов. - Защита от ИИ-ботов. Кто-то добавляет блок против «всех ботов» и вместе с роботами для обучения закрывает поисковых роботов ИИ или даже Googlebot.
- Ошибка сервера. Файл генерируется динамически, и после обновления адрес
/robots.txtотдает ошибку 5xx.
Как распознать проблему с robots.txt?
Признаки обычно видны в Search Console и в поиске, а не на самом сайте:
| Что вы видите | Возможная причина | Что сделать |
|---|---|---|
| Резко падают показы и клики в Search Console после запуска или обновления | На рабочем сайте оказался Disallow: / | Открыть /robots.txt, убрать общий запрет, запросить повторное сканирование |
| В поиске страница без описания | Страница закрыта в robots.txt, но Google нашел ее по ссылкам | Если страница должна быть в поиске — разрешить сканирование; если нет — разрешить сканирование и добавить noindex |
| В Search Console у важных страниц статус «Заблокировано в файле robots.txt» | Слишком широкое правило Disallow | Уточнить путь или добавить Allow для нужного раздела |
| Google совсем перестал сканировать сайт | robots.txt отвечает ошибкой 5xx | Настроить, чтобы файл отдавался с кодом 200 |
| Сайт не появляется в поиске ChatGPT или Perplexity | Заблокирован OAI-SearchBot или PerplexityBot | Разрешить доступ поисковым роботам ИИ, оставив при необходимости запрет только для роботов обучения |
Как проверить robots.txt самостоятельно?
Понадобятся браузер и Google Search Console:
- Откройте
https://example.com/robots.txt, подставив свой домен. Файл должен открываться как текст, без ошибки. - Найдите группу
User-agent: *и группы для отдельных роботов. Проверьте, нет ли тамDisallow: /и слишком коротких путей вродеDisallow: /c. - Убедитесь, что строка
Sitemap:указывает на рабочий адрес карты сайта. - Найдите группы для
Googlebot,OAI-SearchBot,Claude-SearchBotиPerplexityBotи убедитесь, что им разрешено то, что должно быть в поиске. - В Search Console откройте отчет о файлах robots.txt в настройках: он показывает, когда Google в последний раз загрузил файл и были ли ошибки. Для отдельной страницы инструмент проверки URL покажет, не заблокировано ли ее сканирование.
- Или воспользуйтесь проверкой FullCheckApp «Проверка robots.txt» и получите информацию в удобном графическом виде.
RFC 9309 разрешает роботам кешировать файл до 24 часов (RFC 9309), поэтому исправление вступает в силу не мгновенно.
Если вы выбрали последний пункт — вы уже приняли правильное решение: проверка выполняется автоматически, и о предупреждении или критическом событии вы узнаете первыми.
Что проверяет FullCheckApp
FullCheckApp каждый день, в выбранное вами время, загружает robots.txt каждого сайта в мониторинге и показывает в отчете:
- Разрешена ли индексация — не закрывает ли файл сайт от поисковых роботов.
- Сколько карт сайта указано — строки
Sitemap:в файле. - Появление
Disallow: /— отмечается как проблема, чтобы перенос с тестовой версии не остался незамеченным.
Отметки в отчете: зеленая — норма, желтая — предупреждение, красная — критично; критичность вы настраиваете отдельно для каждого сайта. После проверки приходит письмо с отчетом, критичные проблемы дублируются в Telegram.
Саму карту сайта — сколько в ней страниц и не уменьшилось ли их количество — проверяет отдельная проверка sitemap.xml. Запрет индексации через meta robots и X-Robots-Tag описан в материале «Проверка SEO-тегов страницы», а статус страниц по данным самого Google — в материале «Проверка индексации страниц в Google».
Частые вопросы
Удаляет ли Disallow страницу из поиска Google?
Нет. robots.txt запрещает сканировать страницу, но не индексировать ее. Google пишет, что может найти и проиндексировать запрещенный адрес, если на него ссылаются другие сайты, — тогда его показывают без описания. Чтобы убрать страницу из поиска, используйте noindex или закройте ее паролем, а сканирование не запрещайте. Кроме того, ненужные страницы можно убрать из выдачи инструментом «Удаления» в Google Search Console, но только временно — примерно на шесть месяцев.
Что будет, если на сайте нет robots.txt?
Ничего плохого, особенно если у вас небольшой сайт-визитка, лендинг или блог на десяток страниц без технических разделов и дублей, которые стоит закрыть от сканирования. Если файл отвечает ошибкой 404, Google считает, что ограничений на сканирование нет, и сканирует весь сайт. Опаснее ситуация, когда файл отдает ошибку сервера 5xx: тогда Google сначала останавливает сканирование, а затем до 30 дней пользуется последней сохраненной версией файла. Преимущество robots.txt в том, что в нем можно указать адрес карты сайта, чтобы роботы быстрее находили новые материалы, и в целом управлять тем, как поисковые роботы сканируют сайт.
Как запретить ИИ обучаться на моем сайте, но остаться в ИИ-поиске?
Закройте в robots.txt роботов для обучения — например, GPTBot, ClaudeBot и Google-Extended — и не закрывайте поисковых роботов: Googlebot, OAI-SearchBot, Claude-SearchBot, PerplexityBot. Согласно документации компаний, эти настройки независимы, а Google-Extended не влияет на Google Поиск. Актуальные названия роботов сверяйте с документацией каждого сервиса.
Защищает ли robots.txt страницы от посторонних?
Нет. RFC 9309 прямо указывает, что правила robots.txt не являются формой авторизации доступа. Добросовестные роботы их соблюдают, но кто угодно может открыть запрещенный адрес, а сам файл публичный и даже подсказывает, какие разделы вы хотите скрыть. Для закрытых данных нужен пароль или другая настоящая защита.
Почему после исправления robots.txt Google не сразу возвращает сайт в поиск?
Роботы кешируют robots.txt: RFC 9309 разрешает хранить копию до 24 часов. После этого Google еще должен повторно просканировать страницы, а на это нужно время. Ускорить процесс можно, если запросить повторное сканирование важных страниц в Search Console и убедиться, что карта сайта доступна.
Источники
- Google Search Central — Introduction to robots.txtdevelopers.google.com/search/docs/crawling-indexing/robots/intro
- Google Search Central — How Google interprets the robots.txt specificationdevelopers.google.com/search/docs/crawling-indexing/robots/robots_txt
- RFC 9309 — Robots Exclusion Protocolwww.rfc-editor.org/rfc/rfc9309.html
- Google — Google's common crawlers (Google-Extended)developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Search Central — AI features and your websitedevelopers.google.com/search/docs/appearance/ai-features
- OpenAI — Overview of OpenAI Crawlersdevelopers.openai.com/api/docs/bots
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity — Perplexity Crawlersdocs.perplexity.ai/guides/bots
- Search Console Help — Removals and SafeSearch reports toolsupport.google.com/webmasters/answer/9689846?hl=en
Проверьте свой сайт
Добавьте адрес сайта — первая проверка пройдет сразу, и вы увидите состояние каждого пункта из этого материала.
Проверить бесплатно