Аналітика · №20
Перевірка індексації сторінок у Google
Коротко
Індексація — це етап, на якому Google аналізує сторінку й зберігає її у своїй базі, індексі. Лише проіндексована сторінка може з’явитися в пошуку Google і як джерело в AI Overviews. Перевірка індексації показує фактичний статус сторінки за даними самого Google: чи вона в індексі, коли її сканували і яку адресу Google обрав канонічною.
Зміст статті
Що таке індексація сторінки в Google?
Google Пошук працює в три етапи: сканування (робот Googlebot завантажує сторінку), індексація (Google аналізує її вміст і зберігає) і показ у результатах пошуку. Індекс — це велика база даних Google, з якої беруться результати пошуку.
«Google аналізує текст, зображення й відеофайли на сторінці та зберігає інформацію в індексі Google — великій базі даних. […] Індексація не гарантована: не кожна сторінка, яку обробляє Google, буде проіндексована».
Під час індексації Google також визначає канонічну сторінку: якщо кілька адрес мають однаковий чи дуже схожий вміст, Google групує їх і обирає одну, яку може показувати в пошуку. Решта вважаються альтернативними версіями (документація Google).
| Що ви вказуєте на сайті | Що вирішує Google |
|---|---|
Дозвіл чи заборона сканування в robots.txt | Чи сканувати сторінку і коли |
Мета-тег robots або X-Robots-Tag (index / noindex) | Чи індексувати сторінку, якщо індексацію дозволено |
| Canonical — бажана основна адреса | Яку адресу з групи схожих зробити канонічною |
| Карта сайту — список сторінок | Які з них сканувати й індексувати |
Ліва колонка — ваші побажання, які можна побачити в коді сайту; про них ідеться в матеріалі про перевірку SEO-тегів. Права — рішення Google, яке видно лише в Google Search Console. Перевірка індексації показує саме праву колонку.
Чим загрожує сторінка поза індексом?
Сторінка, якої немає в індексі, не з’явиться в Google Пошуку за жодним запитом — навіть якщо вона відкривається, швидка й добре написана. Якщо це картка популярного товару чи сторінка послуги, вона просто не приносить відвідувачів з пошуку.
Проблема в тому, що зовні все виглядає нормально. Директиви на сторінці можуть дозволяти індексацію, а Google — усе одно не індексувати її або вважати копією іншої адреси. Наприклад, статус «Duplicate, Google chose different canonical than user» означає, що ви позначили сторінку як основну, але Google вважає кращою іншу адресу і проіндексував саме її (довідка Search Console).
Водночас не кожна сторінка поза індексом — проблема. Google прямо радить зосередитися на ключових сторінках:
«Не розраховуйте, що буде проіндексовано кожну URL-адресу на вашому сайті. Деякі URL-адреси можуть бути дублікатами або не містити змістовної інформації. Просто переконайтеся, що ключові сторінки вашого сайту проіндексовано».
Тому сенс перевірки — не в тому, щоб проіндексувати все, а щоб важливі сторінки гарантовано були в індексі і щоб ви вчасно дізналися, коли якась із них випала.
Видимість у відповідях ШІ
Як індексація впливає на видимість у відповідях ШІ?
Для відповідей ШІ в Google індексація — обов’язкова умова. Окремого індексу чи окремих тегів для AI Overviews і AI Mode немає: вимоги ті самі, що й для звичайного пошуку.
«Щоб сторінка могла показуватися як допоміжне посилання в AI Overviews чи AI Mode, вона має бути проіндексована й придатна до показу в Google Пошуку зі сніпетом, відповідаючи технічним вимогам Пошуку».
Звідси прямий висновок: сторінка зі статусом «не в індексі» не може бути посиланням-джерелом у відповідях ШІ Google. Сторінка в індексі, але із забороною сніпета (наприклад, директивою nosnippet), теж не відповідає цій умові. Тож перевірка індексації ключових сторінок — перший крок, якщо ви хочете, щоб Google міг цитувати сайт у відповідях ШІ.
Чому Google не індексує сторінку?
Звіт Google Search Console про індексування сторінок називає конкретну причину для кожної непроіндексованої адреси. Найпоширеніші з них (довідка Search Console):
- URL marked ‘noindex’. Google натрапив на директиву
noindexі тому не проіндексував сторінку. Якщо сторінка потрібна в пошуку, директиву треба прибрати з мета-тегу чи HTTP-заголовка. - Crawled - currently not indexed. Google просканував сторінку, але не проіндексував; вона може потрапити в індекс згодом, а може й ні. Повторно надсилати її на сканування, за довідкою, не потрібно.
- Discovered - currently not indexed. Google знайшов адресу, але ще не сканував — зазвичай тому, що сканування могло перевантажити сайт, і Google переніс його.
- Duplicate, Google chose different canonical than user. Ви позначили сторінку канонічною, але Google вважає кращою іншу адресу.
- URL blocked by robots.txt. Сканування заборонене у файлі
robots.txt. - Server error (5xx), Not found (404), Page with redirect. Сервер повернув помилку, сторінки немає, або адреса переадресовує на іншу — така адреса не індексується.
Частина цих статусів нормальна: наприклад, адреса з переадресацією чи «Alternate page with proper canonical tag» — альтернативна сторінка, що правильно вказує на канонічну. Довідка Google про цей статус прямо пише, що робити нічого не потрібно.
Як розпізнати проблему з індексацією?
Головна ознака — сторінка не приносить трафіку з пошуку або зникла з видачі. Що перевірити залежно від ситуації:
| Що ви бачите | Можлива причина | Що зробити |
|---|---|---|
| Сторінка відкривається, але її немає в Google | noindex у мета-тегу чи X-Robots-Tag | Прибрати заборону, перевірити живу версію і запросити індексування |
| Статус «Crawled - currently not indexed» у важливої сторінки | Google вирішив поки не індексувати сторінку; конкретну причину звіт не називає | Зробити вміст змістовнішим, додати внутрішні посилання на сторінку |
| Google обрав інший canonical | Сторінка дуже схожа на іншу адресу | Порівняти обидві адреси, зробити вміст унікальним або погодитися з вибором Google |
| Нова сторінка довго «Discovered - currently not indexed» | Google відклав сканування | Додати сторінку в карту сайту й посилання з інших сторінок |
| Сторінка випала разом із багатьма іншими | Технічна проблема на всьому сайті | Перевірити звіт про індексування, robots.txt, доступність сервера |
Google у посібнику з падіння трафіку радить: якщо трафік упав по всьому сайту, дивитися звіт про індексування сторінок, а якщо лише на окремих сторінках — перевіряти кілька з них інструментом перевірки URL-адреси (документація Google).
Як перевірити індексацію самостійно?
Точний статус сторінки знає лише Google, тому основний інструмент — Google Search Console, доступна власникам підтвердженого сайту:
- Відкрийте Search Console, вставте адресу сторінки в рядок угорі — запуститься інструмент перевірки URL-адреси. Він показує дані про версію сторінки, яку Google проіндексував останньою.
- Подивіться статус («URL is on Google» чи «URL is not on Google»), дату останнього сканування, чи дозволені сканування й індексація, а також два canonical: вказаний вами і обраний Google.
- Натисніть «Test live URL» (перевірка поточної версії), щоб побачити, чи може Google проіндексувати поточну версію сторінки, наприклад після того, як ви прибрали
noindex. - Якщо проблему виправлено, натисніть «Request indexing». Google попереджає: запит не гарантує потрапляння в індекс, а кількість запитів на день обмежена (довідка Search Console).
- Щоб побачити картину по всьому сайту, відкрийте звіт «Сторінки» (Page indexing): там непроіндексовані адреси згруповано за причинами.
- Або скористайтеся перевіркою FullCheckApp «Перевірка індексації сторінок у Google» й отримайте інформацію в зручному графічному вигляді.
«Статус “URL is on Google” насправді не гарантує, що ваша сторінка з’явиться в результатах пошуку».
Перевіряти так кожну важливу сторінку вручну щодня незручно, а випадіння з індексу видно лише в Search Console, не на самому сайті.
Якщо ви обрали останній пункт — ви вже ухвалили правильне рішення: перевірка виконується автоматично, і про попередження чи критичну подію ви дізнаєтеся першими.
Що перевіряє FullCheckApp
FullCheckApp показує дані про індексацію у вкладці «Аналітика». Сповіщень для цього розділу немає — дані доступні у вкладці.
- Статус у Google. Для сторінок із моніторингу (до 10) сервіс раз на добу запитує дані інструмента перевірки URL-адреси.
- Сканування. Чи дозволене сканування і чи зміг Googlebot завантажити сторінку.
- Canonical. Адреса, яку вказали ви, і адреса, яку обрав Google, — поруч, щоб розбіжність було видно одразу.
- Sitemap. Карти сайту в Search Console — так, як їх бачить Google.
Ці дані доповнюють щоденний моніторинг сайту: перевірка SEO-тегів показує, що написано в коді сторінки, а перевірка індексації — що з цього зробив Google. Як змінюються кліки й покази проіндексованих сторінок, видно в матеріалі про моніторинг позицій і кліків.
Часті питання
Як швидко Google індексує нову сторінку?
Google не називає фіксованого строку. У довідці звіту про індексування сказано, що новий вміст може потрапити в індекс за кілька днів. Пришвидшити процес можуть посилання на сторінку з інших сторінок сайту, карта сайту і запит на індексування в Search Console, але жоден спосіб не гарантує результату.
Що означає статус «Crawled - currently not indexed»?
Google просканував сторінку, але вирішив поки не додавати її в індекс. За довідкою Search Console, вона може потрапити в індекс згодом, а може й ні, і повторно надсилати її на сканування не потрібно. Якщо сторінка важлива, варто зробити її змістовнішою й додати на неї внутрішні посилання.
Чому Google обрав інший canonical, ніж я вказав?
Canonical для Google — сильний сигнал, але не наказ. Якщо кілька адрес мають дуже схожий вміст, Google сам обирає, яку вважати основною, і може не погодитися з вашим вибором. Порівняйте обидві сторінки: якщо вони майже однакові, зробіть вміст унікальним або погодьтеся з вибором Google.
Чи потрібно, щоб усі сторінки сайту були в індексі?
Ні. Google прямо пише, що не варто очікувати індексації кожної адреси: частина з них — дублікати або не містить змістовної інформації. Важливо, щоб у індексі були ключові сторінки: головна, категорії, товари, послуги, контакти. Саме їх варто регулярно перевіряти, а решту статусів у звіті розбирати лише тоді, коли серед них трапляються потрібні вам адреси.
Чи може непроіндексована сторінка потрапити в AI Overviews?
Ні. За документацією Google, щоб сторінка могла бути допоміжним посиланням в AI Overviews чи AI Mode, вона має бути проіндексована й придатна до показу в пошуку зі сніпетом. Тому перевірка індексації — перший крок до видимості сайту і в пошуку, і у відповідях ШІ Google.
Джерела
- Google Search Central — In-depth guide to how Google Search worksdevelopers.google.com/search/docs/fundamentals/how-search-works
- Search Console Help — Page indexing reportsupport.google.com/webmasters/answer/7440203
- Search Console Help — URL Inspection toolsupport.google.com/webmasters/answer/9012289
- Google Search Central — AI features and your websitedevelopers.google.com/search/docs/appearance/ai-features
- Google Search Central — Debugging drops in Google Search trafficdevelopers.google.com/search/docs/monitor-debug/debugging-search-traffic-drops
Перевірте свій сайт
Додайте адресу сайту — перша перевірка пройде одразу, і ви побачите стан кожного пункту з цього матеріалу.
Перевірити безкоштовно