Моніторинг сайту · №09
Перевірка robots.txt
Коротко
robots.txt — це текстовий файл у корені сайту, який підказує пошуковим роботам і ШІ-ботам, які адреси можна сканувати. Один рядок Disallow: / забороняє сканувати весь сайт, і він поступово втрачає видимість у Google та ШІ-пошуку. Найчастіше так стається, коли файл із тестової версії потрапляє на робочий сайт під час запуску чи оновлення.
Зміст статті
Що таке robots.txt?
robots.txt — це звичайний текстовий файл за адресою example.com/robots.txt, у якому власник сайту пише правила для автоматичних відвідувачів: пошукових роботів, ШІ-ботів, сервісів аналізу. Google описує його так:
«Файл robots.txt повідомляє пошуковим роботам, до яких URL-адрес вашого сайту вони можуть отримати доступ».
Формат стандартизовано в RFC 9309 — документі, що описує Robots Exclusion Protocol (протокол винятків для роботів). Файл має лежати в корені сайту: у підкаталогах роботи його не шукають, а Google читає лише перші 500 КіБ (документація Google).
| Рядок | Що означає |
|---|---|
User-agent: * | Правила нижче діють для всіх роботів |
User-agent: Googlebot | Правила нижче діють лише для робота Google Пошуку |
Disallow: /cart/ | Не сканувати адреси, що починаються з /cart/ |
Disallow: / | Не сканувати жодної сторінки сайту |
Disallow: (порожнє значення) | Обмежень немає, сканувати можна все |
Allow: /cart/help/ | Виняток із ширшої заборони |
Sitemap: https://example.com/sitemap.xml | Адреса карти сайту |
Важливо: robots.txt — це прохання, а не замок. RFC 9309 прямо застерігає, що ці правила «не є формою авторизації доступу» (RFC 9309). Сумлінні роботи їх виконують, але закрити ними приватні дані неможливо.
Чим загрожує помилка в robots.txt?
Найнебезпечніша помилка — рядок Disallow: / у групі User-agent: *. Він забороняє всім пошуковим роботам сканувати сайт. Google не може прочитати вміст сторінок: нові сторінки не потрапляють у пошук, зміни на старих не враховуються, а адреса заблокованої сторінки, за документацією Google, може й далі показуватися в результатах, але вже без опису. При цьому сайт відкривається як завжди, і без перевірки помилку помічають, лише коли падає трафік.
Друга поширена помилка — спроба прибрати сторінку з пошуку через robots.txt. Це не працює, бо файл керує скануванням, а не індексуванням:
«Це не механізм, який дозволяє не допустити вебсторінку в Google. […] Ми все одно можемо знайти й проіндексувати заборонену URL-адресу, якщо на неї посилаються з інших місць в інтернеті».
Щоб сторінки не було в Google, документація радить заборонити індексування через noindex або закрити сторінку паролем. Причому сторінку з noindex не можна одночасно закривати в robots.txt: робот не завантажить її і не побачить заборону.
Якщо сторінку треба сховати з пошуку терміново, у Google Search Console є інструмент «Вилучення» (Removals). Він блокує показ адреси в результатах Google приблизно на шість місяців, але не забороняє сканування і не видаляє сторінку назавжди: після цього строку вона може повернутися у видачу (довідка Search Console). Тож тимчасове вилучення варто поєднувати з noindex, паролем або видаленням самої сторінки.
Небезпечна й недоступність самого файлу. Якщо robots.txt відповідає помилкою сервера 5xx, Google перші 12 годин не сканує сайт, а далі до 30 днів користується останньою збереженою версією файлу (документація Google). Тому Google окремо застерігає не віддавати код 503 для robots.txt навіть під час технічних робіт (документація Google). Відповідь 404 натомість означає «обмежень немає».
Видимість у відповідях ШІ
Як robots.txt впливає на видимість у відповідях ШІ?
Безпосередньо. Більшість великих ШІ-сервісів сканують сайти власними роботами й виконують правила robots.txt, тож той самий файл вирішує, чи може сайт потрапити у відповіді ChatGPT, Claude чи Perplexity. Для пошуку з ШІ OpenAI пише прямо:
«Сайти, які заборонили доступ OAI-SearchBot, не показуватимуться у відповідях пошуку ChatGPT».
Важливо, що в кожного сервісу кілька роботів з різними задачами. Можна заборонити використовувати сайт для навчання моделей і водночас лишитися в ШІ-пошуку:
| Компанія | Робот у robots.txt | Для чого |
|---|---|---|
Googlebot | Google Пошук, зокрема AI Overviews і AI Mode | |
Google-Extended | Навчання майбутніх моделей Gemini і заземлення відповідей у застосунках Gemini та Vertex AI; на Google Пошук не впливає | |
| OpenAI | OAI-SearchBot | Показ сайтів у пошуку ChatGPT |
| OpenAI | GPTBot | Навчання моделей |
| Anthropic | Claude-SearchBot | Покращення результатів пошуку для користувачів Claude |
| Anthropic | ClaudeBot | Збір вмісту, який може використовуватися для навчання |
| Perplexity | PerplexityBot | Показ і посилання на сайти в результатах пошуку Perplexity |
Що кажуть самі компанії:
- Google. Google-Extended не має окремого робота: сканує звичайний Googlebot, а токен у robots.txt лише керує використанням вмісту. За документацією, Google-Extended «не впливає на присутність сайту в Google Пошуку й не є сигналом ранжування» (Google). Натомість доступ для сканування в Пошуку, частиною якого є AI Overviews і AI Mode, визначають правила robots.txt для Googlebot, а сама сторінка має бути проіндексована (Google). Тобто
Disallow: /для Googlebot прибирає сайт і з пошуку, і з відповідей ШІ Google. - OpenAI. Налаштування для кожного робота незалежні, а після зміни robots.txt системам пошуку потрібно близько 24 годин, щоб це врахувати. Заборона для GPTBot означає, що вміст не слід використовувати для навчання моделей (OpenAI).
- Anthropic. Компанія пише, що її роботи виконують стандартні директиви robots.txt. Заборона Claude-SearchBot, за її словами, може зменшити видимість і точність сайту в результатах пошуку (Anthropic).
- Perplexity. PerplexityBot не використовується для навчання базових моделей ШІ, і компанія радить дозволити йому доступ у robots.txt (Perplexity).
Є й винятки. Роботи, що відкривають сторінку на прямий запит користувача, працюють інакше: OpenAI пише, що до дій ChatGPT-User правила robots.txt можуть не застосовуватися, а Perplexity — що Perplexity-User здебільшого їх ігнорує. Anthropic, навпаки, зазначає, що заборона для Claude-User не дає Claude отримувати ваш вміст у відповідь на запит користувача.
Чому robots.txt ламається?
Файл рідко змінюють свідомо — зазвичай він змінюється разом з іншими роботами на сайті:
- Перенесення з тестової версії. На тестовій копії сайту ставлять
Disallow: /, щоб її не проіндексували, а під час запуску файл копіюють на робочий сайт разом з усім іншим. - Налаштування CMS чи хостингу. Деякі CMS і панелі хостингу мають опцію «приховати сайт від пошукових систем» для тестових копій. Її вмикають на час розробки й забувають вимкнути після запуску.
- SEO-плагін чи модуль. Оновлення плагіна перезаписує файл своїм шаблоном або додає заборони для розділів, які мають бути в пошуку.
- Широкий шаблон. Рядок
Disallow: /cзамістьDisallow: /cart/закриває разом із кошиком і каталог/catalog/, бо правило діє на всі адреси, що починаються з цих символів. - Захист від ШІ-ботів. Хтось додає блок проти «всіх ботів» і разом із роботами для навчання закриває пошукових роботів ШІ або навіть Googlebot.
- Помилка сервера. Файл генерується динамічно, і після оновлення адреса
/robots.txtвіддає помилку 5xx.
Як розпізнати проблему з robots.txt?
Ознаки зазвичай видно в Search Console і в пошуку, а не на самому сайті:
| Що ви бачите | Можлива причина | Що зробити |
|---|---|---|
| Різко падають покази й кліки в Search Console після запуску чи оновлення | На робочому сайті опинився Disallow: / | Відкрити /robots.txt, прибрати загальну заборону, запросити повторне сканування |
| У пошуку сторінка без опису | Сторінка закрита в robots.txt, але Google знайшов її за посиланнями | Якщо сторінка має бути в пошуку — дозволити сканування; якщо ні — дозволити сканування й додати noindex |
| У Search Console статус «Заблоковано файлом robots.txt» для важливих сторінок | Надто широке правило Disallow | Уточнити шлях або додати Allow для потрібного розділу |
| Google зовсім перестав сканувати сайт | robots.txt відповідає помилкою 5xx | Налаштувати, щоб файл віддавався з кодом 200 |
| Сайт не з’являється в пошуку ChatGPT чи Perplexity | Заблоковано OAI-SearchBot або PerplexityBot | Дозволити пошукових роботів ШІ, лишивши заборону лише для роботів навчання, якщо потрібно |
Як перевірити robots.txt самостійно?
Знадобляться браузер і Google Search Console:
- Відкрийте
https://example.com/robots.txt, підставивши свій домен. Файл має відкриватися як текст, без помилки. - Знайдіть групу
User-agent: *і групи для окремих роботів. Перевірте, чи немає тамDisallow: /і надто коротких шляхів на кшталтDisallow: /c. - Перевірте, що рядок
Sitemap:вказує на робочу адресу карти сайту. - Знайдіть групи для
Googlebot,OAI-SearchBot,Claude-SearchBotіPerplexityBotта переконайтеся, що їм дозволено те, що має бути в пошуку. - У Search Console відкрийте звіт про robots.txt у налаштуваннях: він показує, коли Google востаннє завантажив файл і чи були помилки. Для окремої сторінки перевірка URL-адреси покаже, чи не заблоковано її сканування.
- Або скористайтеся перевіркою FullCheckApp «Перевірка robots.txt» й отримайте інформацію в зручному графічному вигляді.
RFC 9309 дозволяє роботам кешувати файл до 24 годин (RFC 9309), тож виправлення набуває чинності не миттєво.
Якщо ви обрали останній пункт — ви вже ухвалили правильне рішення: перевірка виконується автоматично, і про попередження чи критичну подію ви дізнаєтеся першими.
Що перевіряє FullCheckApp
FullCheckApp щодня, в обраний вами час, завантажує robots.txt кожного сайту в моніторингу і показує у звіті:
- Чи дозволена індексація — чи не закриває файл сайт від пошукових роботів.
- Скільки карт сайту вказано — рядки
Sitemap:у файлі. - Поява
Disallow: /— позначається як проблема, щоб перенесення з тестової версії не минуло непоміченим.
Позначки у звіті: зелена — норма, жовта — попередження, червона — критично; критичність ви налаштовуєте окремо для кожного сайту. Після перевірки приходить лист зі звітом, критичні проблеми дублюються в Telegram.
Саму карту сайту — скільки в ній сторінок і чи не зменшилася їхня кількість — перевіряє окрема перевірка sitemap.xml. Заборону індексації через meta robots і X-Robots-Tag описано в матеріалі про перевірку SEO-тегів сторінки, а статус сторінок за даними самого Google — у матеріалі про перевірку індексації.
Часті питання
Чи прибирає Disallow сторінку з Google?
Ні. robots.txt забороняє сканувати сторінку, але не індексувати її. Google пише, що може знайти й проіндексувати заборонену адресу, якщо на неї посилаються інші сайти, — тоді її показують без опису. Щоб прибрати сторінку з пошуку, використовуйте noindex або закрийте її паролем, а сканування не забороняйте. Також непотрібні сторінки можна вилучити з видачі інструментом «Вилучення» в Google Search Console, але лише тимчасово — приблизно на шість місяців.
Що буде, якщо на сайті немає robots.txt?
Нічого поганого, особливо якщо у вас невеликий сайт-візитка, лендинг чи блог із десятком сторінок без технічних розділів і дублікатів, які варто закрити від сканування. Якщо файл відповідає помилкою 404, Google вважає, що обмежень на сканування немає, і сканує весь сайт. Небезпечніша ситуація, коли файл віддає помилку сервера 5xx: тоді Google спершу зупиняє сканування, а потім до 30 днів користується останньою збереженою версією файлу. Перевага robots.txt — у ньому можна вказати адресу карти сайту, щоб роботи швидше знаходили нові матеріали, і загалом керувати тим, як пошукові роботи сканують сайт.
Як заборонити ШІ навчатися на моєму сайті, але лишитися в ШІ-пошуку?
Закрийте в robots.txt роботів для навчання — наприклад GPTBot, ClaudeBot і Google-Extended — і не закривайте пошукових роботів: Googlebot, OAI-SearchBot, Claude-SearchBot, PerplexityBot. За документацією компаній, ці налаштування незалежні, а Google-Extended не впливає на Google Пошук. Перевіряйте актуальні назви роботів у документації кожного сервісу.
Чи захищає robots.txt сторінки від сторонніх?
Ні. RFC 9309 прямо зазначає, що правила robots.txt не є формою авторизації доступу. Сумлінні роботи їх виконують, але будь-хто може відкрити заборонену адресу, а сам файл публічний і навіть підказує, які розділи ви хочете сховати. Для закритих даних потрібні пароль або інший справжній захист.
Чому після виправлення robots.txt Google не одразу повертає сайт у пошук?
Роботи кешують robots.txt: RFC 9309 дозволяє зберігати копію до 24 годин. Після цього Google ще має повторно просканувати сторінки, а на це потрібен час. Пришвидшити процес можна, запросивши повторне сканування важливих сторінок у Search Console і переконавшись, що карта сайту доступна.
Джерела
- Google Search Central — Introduction to robots.txtdevelopers.google.com/search/docs/crawling-indexing/robots/intro
- Google Search Central — How Google interprets the robots.txt specificationdevelopers.google.com/search/docs/crawling-indexing/robots/robots_txt
- RFC 9309 — Robots Exclusion Protocolwww.rfc-editor.org/rfc/rfc9309.html
- Google — Google’s common crawlers (Google-Extended)developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Search Central — AI features and your websitedevelopers.google.com/search/docs/appearance/ai-features
- OpenAI — Overview of OpenAI Crawlersdevelopers.openai.com/api/docs/bots
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity — Perplexity Crawlersdocs.perplexity.ai/guides/bots
- Search Console Help — Removals and SafeSearch reports toolsupport.google.com/webmasters/answer/9689846?hl=en
Перевірте свій сайт
Додайте адресу сайту — перша перевірка пройде одразу, і ви побачите стан кожного пункту з цього матеріалу.
Перевірити безкоштовно