Проверка sitemap.xml

Что такое sitemap.xml?

Sitemap.xml, или карта сайта, — это служебный файл со списком страниц, которые владелец сайта хочет показать поисковым системам. Людям он не нужен: это «оглавление» сайта для поисковых роботов. Google определяет его так:

Обычно карта лежит по адресу example.com/sitemap.xml, а ее расположение указывают в файле robots.txt строкой Sitemap:. Большинство CMS и SEO-плагинов создают карту автоматически и обновляют ее, когда на сайте появляются новые страницы.

У одной карты есть ограничения по размеру: не больше 50 000 адресов и не больше 50 МБ в несжатом виде — этого требуют и протокол sitemaps.org, и документация Google. Крупные сайты делят список на несколько карт и объединяют их файлом индекса, в котором может быть до 50 000 ссылок на карты (Google о больших файлах Sitemap).

Зачем сайту sitemap.xml и чем грозит проблема с ней?

Карта сайта помогает поисковым системам быстрее узнавать о страницах, до которых трудно добраться по ссылкам: новых товарах, глубоких разделах каталога, свежих статьях. Google прямо говорит, что это подсказка, а не гарантия:

При этом, по словам Google, в большинстве случаев карта сайту только на пользу, а особенно она нужна большим и новым сайтам, на которые еще мало внешних ссылок. Для интернет-магазина с тысячами товаров карта часто — самый быстрый способ сообщить поисковикам о новинках.

Опасность в том, что проблем с картой не видно на самом сайте. Если из списка пропала половина страниц, сайт открывается как обычно, а новые страницы просто дольше ждут сканирования. Если файл недоступен, отчет «Файлы Sitemap» в Search Console покажет статус Couldn't fetch («Не удалось получить»), а если в XML есть ошибки — сообщения о них. При этом Google ставит в очередь на сканирование только те адреса, которые смог разобрать:

Отдельный риск — недостоверные даты <lastmod>. Google использует это значение, только если оно неизменно точное и это можно проверить (документация Google). Если плагин ставит всем страницам сегодняшнюю дату, эта подсказка перестает работать для всего сайта.

Когда карта сайта обязательна, а когда — нет?

Карта сайта не обязательна для небольших сайтов с простой структурой и очень желательна для больших, новых и часто обновляемых. Google в разделе «Нужен ли мне файл Sitemap?» называет главный критерий — размер:

Когда карта сайта не обязательна:

• Небольшой сайт. Сайт-визитка, лендинг или портфолио с небольшим количеством страниц.
• Полная внутренняя перелинковка. Все страницы легко найти через главное меню или внутренние ссылки — на практике не дальше чем в 2–3 кликах от главной. Google формулирует это так: робот может добраться до всех важных страниц, переходя по ссылкам с главной.
• Редкие изменения. Контент обновляется нечасто, а видео, изображений или новостей, которые должны появляться в поиске, немного.

Когда карта сайта необходима или очень желательна:

• Большой сайт. Интернет-магазины, медиа, порталы — от сотен до десятков тысяч адресов. По словам Google, на больших сайтах сложнее позаботиться о том, чтобы на каждую страницу вела хотя бы одна ссылка, поэтому робот может пропустить новые страницы.
• Сложная структура. Есть изолированные страницы, на которые не ведет ни одна ссылка, или нет «хлебных крошек» — навигационной цепочки вроде «Главная › Каталог › Кофе».
• Новый сайт. На него еще мало внешних ссылок, а роботы находят страницы как раз по ссылкам с других сайтов.
• Динамический контент. Страницы часто добавляются и меняются; карта с честной датой <lastmod> подсказывает поисковикам, что стоит проверить.
• Много видео, изображений или новостей. Google может учитывать дополнительную информацию о таких файлах из карты сайта.
• Нужна быстрая индексация. Чтобы роботы как можно скорее увидели новые товары или статьи, а значит, чтобы те раньше могли появиться и в поиске, и в ответах ИИ вроде AI Overviews, которые опираются на проиндексированные страницы.

Критерии размера, перелинковки, новых сайтов и медиафайлов приводит сам Google (документация Google); остальное — практические ориентиры.

Почему страницы пропадают из sitemap.xml?

Карту почти всегда генерирует CMS или плагин, поэтому страницы пропадают из нее после изменений в настройках или на сервере:

• Настройки SEO-плагина. После обновления или ручной правки из карты исключают целый тип контента — товары, категории, статьи блога.
• Страницы с noindex. Большинство плагинов не включают в карту страницы, закрытые от индексации, и это правильно: Google советует добавлять в карту только те адреса, которые вы хотите видеть в поиске. Но случайный noindex в шаблоне убирает страницы и из поиска, и из карты одновременно.
• Сломанный XML. Предупреждение PHP, выведенное перед заголовком <?xml, неэкранированный символ & в адресе или оборванный на середине файл делают карту нечитаемой полностью или частично.
• Таймаут на большом сайте. Динамическая карта формируется на лету, и если сервер не успевает, поисковик получает ошибку или неполный файл.
• Защита от ботов и кеш. Файрвол или CDN вместо XML отдает страницу проверки «вы человек?», а кеш — старую версию карты.
• Переезд сайта. После перехода на HTTPS или новый домен карта еще содержит старые адреса или лежит по старому пути, а в robots.txt указан несуществующий файл.

Как распознать проблему с sitemap.xml?

Большинство проблем с картой видно в Search Console или в самом файле, а не на сайте. Типичные симптомы и что с ними делать:

Как проверить sitemap.xml самостоятельно?

Понадобятся браузер и Google Search Console. Проверку стоит повторять после обновления CMS, плагинов или темы:

1. Откройте example.com/robots.txt и найдите строку Sitemap: — так вы узнаете точный адрес карты.
2. Откройте карту в браузере. Если это файл индекса, откройте каждую вложенную карту. Браузер должен показать дерево XML, а не ошибку или HTML-страницу.
3. Нажмите Ctrl+U и убедитесь, что файл начинается с <?xml без какого-либо текста перед ним. Через Ctrl+F посчитайте вхождения <loc> — это примерное количество адресов.
4. Выборочно проверьте несколько важных страниц: есть ли они в карте и открываются ли их адреса без перенаправлений.
5. В Search Console откройте отчет «Файлы Sitemap»: он показывает статус последнего запроса и количество обнаруженных страниц для каждой карты.
6. Или воспользуйтесь проверкой FullCheckApp «Проверка sitemap.xml» и получите информацию в удобном графическом виде.

Разовая проверка занимает несколько минут. Сложнее заметить момент, когда количество страниц в карте изменилось: для этого нужно каждый день записывать число и сравнивать со вчерашним.

Если вы выбрали последний пункт — вы уже приняли правильное решение: проверка выполняется автоматически, и о предупреждении или критическом событии вы узнаете первыми.

Что проверяет FullCheckApp

FullCheckApp раз в сутки, в выбранное вами время, открывает карту сайта и считает, сколько страниц в ней указано. Результат сравнивается с предыдущей проверкой, поэтому резкое сокращение количества страниц видно сразу, а не через несколько недель в Search Console.

• Количество страниц — число адресов в карте и сравнение со вчерашним днем.
• Корректность XML — если файл сломан, сервис не выдает прочитанную часть за полный подсчет.
• Адрес карты в robots.txt — совпадает ли домен карты сайта, указанной в строке Sitemap:, с доменом самого сайта.
• Домен страниц в карте — совпадают ли адреса страниц в sitemap.xml с доменом сайта. Чужой или старый домен в карте — типичный след незавершенного переезда.
• Сайты за защитой — FullCheckApp не выдает себя за Googlebot. Если Cloudflare или другая защита блокирует запрос, сервис рекомендует добавить его IP-адреса в белый список.

Отметки в отчете: зеленая — норма, желтая — предупреждение, красная — критично. Насколько критичной считать каждую проверку, вы настраиваете отдельно для каждого сайта. После проверки приходит письмо с отчетом, а критичные проблемы дублируются в Telegram. Файл robots.txt, в котором указан адрес карты, проверяет отдельная проверка robots.txt, а то, как карту видит сам Google, показывает проверка индексации страниц в Google.

Частые вопросы

Источники

1. Google Search Central — Learn about sitemapsdevelopers.google.com/search/docs/crawling-indexing/sitemaps/overview
2. Google Search Central — Build and submit a sitemapdevelopers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap
3. Google Search Central — Manage your sitemaps with sitemap index filesdevelopers.google.com/search/docs/crawling-indexing/sitemaps/large-sitemaps
4. Search Console Help — Manage your sitemaps using the Sitemaps reportsupport.google.com/webmasters/answer/7451001?hl=en
5. sitemaps.org — Sitemaps XML formatwww.sitemaps.org/protocol.html
6. Bing Webmaster Blog — Keeping Content Discoverable with Sitemaps in AI Powered Searchblogs.bing.com/webmaster/July-2025/Keeping-Content-Discoverable-with-Sitemaps-in-AI-Powered-Search
7. Google Search Central — AI features and your websitedevelopers.google.com/search/docs/appearance/ai-features