Аналитика · №20
Проверка индексации страниц в Google
Коротко
Индексация — это этап, на котором Google анализирует страницу и сохраняет ее в своей базе — индексе. Только проиндексированная страница может появиться в поиске Google и стать источником в AI Overviews. Проверка индексации показывает фактический статус страницы по данным самого Google: есть ли она в индексе, когда ее сканировали и какой адрес Google выбрал каноническим.
Содержание
Что такое индексация страницы в Google?
Google Поиск работает в три этапа: сканирование (робот Googlebot загружает страницу), индексация (Google анализирует ее содержимое и сохраняет) и показ в результатах поиска. Индекс — это огромная база данных Google, из которой берутся результаты поиска.
«Google анализирует текст, изображения и видеофайлы на странице и сохраняет информацию в индексе Google — большой базе данных. […] Индексация не гарантирована: не каждая страница, которую обрабатывает Google, будет проиндексирована».
При индексации Google также определяет каноническую страницу: если у нескольких адресов одинаковое или очень похожее содержимое, Google группирует их и выбирает одну, которую может показывать в поиске. Остальные считаются альтернативными версиями (документация Google).
| Что вы указываете на сайте | Что решает Google |
|---|---|
Разрешение или запрет сканирования в robots.txt | Сканировать ли страницу и когда |
Мета-тег robots или X-Robots-Tag (index / noindex) | Индексировать ли страницу, если индексация разрешена |
| Canonical — предпочтительный основной адрес | Какой адрес из группы похожих сделать каноническим |
| Карта сайта — список страниц | Какие из них сканировать и индексировать |
Левая колонка — ваши пожелания, которые видны в коде сайта; о них рассказывает материал о проверке SEO-тегов страницы. Правая — решение Google, которое видно только в Google Search Console. Проверка индексации показывает именно правую колонку.
Чем грозит страница вне индекса?
Страница, которой нет в индексе, не появится в Google Поиске ни по одному запросу — даже если она открывается, быстро грузится и хорошо написана. Если это карточка популярного товара или страница услуги, она просто не приносит посетителей из поиска.
Проблема в том, что снаружи все выглядит нормально. Директивы на странице могут разрешать индексацию, а Google — все равно не индексировать ее или считать копией другого адреса. Например, статус «Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают» (Duplicate, Google chose different canonical than user) означает, что вы отметили страницу как основную, но Google считает лучшим другой адрес и проиндексировал именно его (Справка Search Console).
При этом не каждая страница вне индекса — проблема. Google прямо советует сосредоточиться на ключевых страницах:
«Не рассчитывайте, что будет проиндексирован каждый URL вашего сайта. Некоторые URL могут быть дубликатами или не содержать полезной информации. Просто убедитесь, что ключевые страницы вашего сайта проиндексированы».
Поэтому смысл проверки — не в том, чтобы проиндексировать все подряд, а в том, чтобы важные страницы гарантированно были в индексе и вы вовремя узнавали, когда какая-то из них выпала.
Видимость в ответах ИИ
Как индексация влияет на видимость в ответах ИИ?
Для ответов ИИ в Google индексация — обязательное условие. Отдельного индекса или отдельных тегов для AI Overviews и AI Mode нет: требования те же, что и для обычного поиска.
«Чтобы страница могла показываться как вспомогательная ссылка в AI Overviews или AI Mode, она должна быть проиндексирована и пригодна для показа в Google Поиске со сниппетом, соответствуя техническим требованиям Поиска».
Отсюда прямой вывод: страница со статусом «не в индексе» не может быть ссылкой-источником в ответах ИИ Google. Страница в индексе, но с запретом сниппета (например, директивой nosnippet), этому условию тоже не соответствует. Поэтому проверка индексации ключевых страниц — первый шаг, если вы хотите, чтобы Google мог цитировать сайт в ответах ИИ.
Почему Google не индексирует страницу?
Отчет «Индексирование страниц» в Google Search Console называет конкретную причину для каждого непроиндексированного адреса. Самые распространенные из них (Справка Search Console):
- «Исключено с помощью тега noindex» (URL marked 'noindex'). Google обнаружил директиву
noindexи поэтому не проиндексировал страницу. Если страница нужна в поиске, директиву нужно убрать из мета-тега или HTTP-заголовка. - «Страница просканирована, но пока не проиндексирована» (Crawled - currently not indexed). Google просканировал страницу, но не проиндексировал; она может попасть в индекс позже, а может и не попасть. Повторно отправлять ее на сканирование, согласно справке, не нужно.
- «Обнаружена, не проиндексирована» (Discovered - currently not indexed). Google нашел адрес, но еще не сканировал — обычно потому, что сканирование могло перегрузить сайт, и Google его перенес.
- «Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают» (Duplicate, Google chose different canonical than user). Вы отметили страницу как каноническую, но Google считает лучшим другой адрес.
- «Заблокировано в файле robots.txt» (URL blocked by robots.txt). Сканирование запрещено в файле
robots.txt. - «Ошибка сервера (5xx)», «Не найдено (404)», «Страница с переадресацией» (Server error (5xx), Not found (404), Page with redirect). Сервер вернул ошибку, страницы нет или адрес перенаправляет на другой — такой адрес не индексируется.
Часть этих статусов нормальна: например, адрес с переадресацией или «Альтернативная страница с правильным тегом canonical» (Alternate page with proper canonical tag) — альтернативная страница, которая правильно указывает на каноническую. Справка Google об этом статусе прямо говорит, что делать ничего не нужно.
Как распознать проблему с индексацией?
Главный признак — страница не приносит трафика из поиска или пропала из выдачи. Что проверить в зависимости от ситуации:
| Что вы видите | Возможная причина | Что сделать |
|---|---|---|
| Страница открывается, но ее нет в Google | noindex в мета-теге или X-Robots-Tag | Убрать запрет, проверить страницу на сайте и запросить индексирование |
| Статус «Страница просканирована, но пока не проиндексирована» у важной страницы | Google решил пока не индексировать страницу; конкретную причину отчет не называет | Сделать страницу содержательнее, добавить на страницу внутренние ссылки |
| Google выбрал другой canonical | Страница очень похожа на другой адрес | Сравнить оба адреса, сделать содержимое уникальным или согласиться с выбором Google |
| Новая страница долго в статусе «Обнаружена, не проиндексирована» | Google отложил сканирование | Добавить страницу в карту сайта и поставить на нее ссылки с других страниц |
| Страница выпала вместе со многими другими | Техническая проблема на всем сайте | Проверить отчет «Индексирование страниц», robots.txt, доступность сервера |
В руководстве по падению трафика Google советует: если трафик упал по всему сайту, смотреть отчет «Индексирование страниц», а если только на отдельных страницах — проверять несколько из них инструментом проверки URL (документация Google).
Как проверить индексацию самостоятельно?
Точный статус страницы знает только Google, поэтому основной инструмент — Google Search Console, доступная владельцам подтвержденного сайта:
- Откройте Search Console и вставьте адрес страницы в строку вверху — запустится инструмент проверки URL. Он показывает данные о версии страницы, которую Google проиндексировал последней.
- Посмотрите статус («URL есть в Google» или «URL нет в Google»), дату последнего сканирования, разрешены ли сканирование и индексирование, а также два canonical: указанный вами и выбранный Google.
- Нажмите «Проверить страницу на сайте» (Test live URL), чтобы увидеть, может ли Google проиндексировать текущую версию страницы, например после того, как вы убрали
noindex. - Если проблема исправлена, нажмите «Запросить индексирование» (Request indexing). Google предупреждает: запрос не гарантирует попадание в индекс, а количество запросов в день ограничено (Справка Search Console).
- Чтобы увидеть картину по всему сайту, откройте отчет «Индексирование страниц» (Page indexing): там непроиндексированные адреса сгруппированы по причинам.
- Или воспользуйтесь проверкой FullCheckApp «Проверка индексации страниц в Google» и получите информацию в удобном графическом виде.
«Статус „URL есть в Google“ на самом деле не гарантирует, что ваша страница появится в результатах поиска».
Проверять так каждую важную страницу вручную каждый день неудобно, а выпадение из индекса видно только в Search Console, а не на самом сайте.
Если вы выбрали последний пункт — вы уже приняли правильное решение: проверка выполняется автоматически, и о предупреждении или критическом событии вы узнаете первыми.
Что проверяет FullCheckApp
FullCheckApp показывает данные об индексации во вкладке «Аналитика». Уведомлений для этого раздела нет — данные доступны во вкладке.
- Статус в Google. Для страниц из мониторинга (до 10) сервис раз в сутки запрашивает данные инструмента проверки URL.
- Сканирование. Разрешено ли сканирование и смог ли Googlebot загрузить страницу.
- Canonical. Адрес, который указали вы, и адрес, который выбрал Google, — рядом, чтобы расхождение было видно сразу.
- Sitemap. Файлы Sitemap в Search Console — в том виде, в каком их видит Google.
Эти данные дополняют ежедневный мониторинг сайта: проверка SEO-тегов страницы показывает, что написано в коде страницы, а проверка индексации — что из этого сделал Google. Как меняются клики и показы проиндексированных страниц, видно в материале о мониторинге позиций и кликов.
Частые вопросы
Как быстро Google индексирует новую страницу?
Google не называет фиксированного срока. В справке по отчету «Индексирование страниц» сказано, что новый контент может попасть в индекс за несколько дней. Ускорить процесс могут ссылки на страницу с других страниц сайта, карта сайта и запрос на индексирование в Search Console, но ни один способ не гарантирует результата.
Что означает статус «Страница просканирована, но пока не проиндексирована»?
Google просканировал страницу, но решил пока не добавлять ее в индекс. Согласно Справке Search Console, она может попасть в индекс позже, а может и не попасть, и повторно отправлять ее на сканирование не нужно. Если страница важна, стоит сделать ее содержательнее и поставить на нее внутренние ссылки.
Почему Google выбрал другой canonical, а не тот, что я указал?
Canonical для Google — сильный сигнал, но не приказ. Если у нескольких адресов очень похожее содержимое, Google сам выбирает, какой считать основным, и может не согласиться с вашим выбором. Сравните обе страницы: если они почти одинаковые, сделайте содержимое уникальным или согласитесь с выбором Google.
Нужно ли, чтобы все страницы сайта были в индексе?
Нет. Google прямо пишет, что не стоит ожидать индексации каждого адреса: часть из них — дубликаты или не содержит полезной информации. Важно, чтобы в индексе были ключевые страницы: главная, категории, товары, услуги, контакты. Именно их стоит регулярно проверять, а остальные статусы в отчете разбирать, только когда среди них попадаются нужные вам адреса.
Может ли непроиндексированная страница попасть в AI Overviews?
Нет. Согласно документации Google, чтобы страница могла быть вспомогательной ссылкой в AI Overviews или AI Mode, она должна быть проиндексирована и пригодна для показа в поиске со сниппетом. Поэтому проверка индексации — первый шаг к видимости сайта и в поиске, и в ответах ИИ Google.
Источники
- Google Search Central — In-depth guide to how Google Search worksdevelopers.google.com/search/docs/fundamentals/how-search-works
- Search Console Help — Page indexing reportsupport.google.com/webmasters/answer/7440203
- Search Console Help — URL Inspection toolsupport.google.com/webmasters/answer/9012289
- Google Search Central — AI features and your websitedevelopers.google.com/search/docs/appearance/ai-features
- Google Search Central — Debugging drops in Google Search trafficdevelopers.google.com/search/docs/monitor-debug/debugging-search-traffic-drops
Проверьте свой сайт
Добавьте адрес сайта — первая проверка пройдет сразу, и вы увидите состояние каждого пункта из этого материала.
Проверить бесплатно