Мониторинг сайта · №01
Проверка доступности сайта
Коротко
Проверка доступности сайта показывает, открывается ли он для посетителей и поисковых роботов: какой HTTP-код возвращает сервер и как быстро отвечает. Нормальный ответ — 200. Ошибки 5xx, таймауты или сбой DNS означают, что люди видят пустой экран, реклама тратит деньги впустую, а Google замедляет сканирование и со временем убирает страницы из поиска.
Содержание
Что такое доступность сайта?
Доступность сайта — это способность сервера ответить на запрос браузера или поискового робота и отдать страницу. Каждый раз, когда кто-то открывает адрес, сервер возвращает трехзначный код состояния HTTP (status code) — короткое служебное сообщение о результате. Посетитель его не видит, но именно по этому коду браузер и Google понимают, что произошло.
Коды сгруппированы по первой цифре: 2xx — успех, 3xx — перенаправление, 4xx — ошибка на стороне запроса, 5xx — ошибка на стороне сервера (MDN). Отдельно бывают сбои, при которых кода нет вообще: сервер не ответил вовремя, домен не найден в DNS или браузер не доверяет SSL-сертификату.
| Ответ | Что означает | Что видит посетитель |
|---|---|---|
200 OK | Страница успешно отдана | Обычную страницу |
301 / 302 | Страница переехала навсегда или временно | Браузер сам открывает новый адрес |
404 Not Found | По этому адресу ничего нет | Страницу «не найдено» |
500 Internal Server Error | Сбой в коде сайта или на сервере | Пустую страницу или сообщение об ошибке |
503 Service Unavailable | Сервер временно не готов обработать запрос | Страницу техработ или ошибку |
| Таймаут | Сервер не ответил за отведенное время | Бесконечную загрузку |
| Ошибка DNS | Не удалось сопоставить домен с адресом сервера | «Не удается найти сайт» |
| Ошибка SSL | Сертификат просрочен или не подходит домену | Предупреждение «Подключение не защищено» |
Чем грозит недоступность сайта?
Самое очевидное — потерянные посетители и заявки: человек, увидевший ошибку, редко возвращается второй раз. Если на сайт ведет реклама, клики оплачиваются и тогда, когда страница не открывается. Но есть и последствия, которые проявляются только со временем, — в поиске Google.
Ошибки сервера Google воспринимает как сигнал снизить нагрузку и реже заходит на сайт:
«Ошибки сервера 5xx и 429 заставляют поисковых роботов Google временно замедлить сканирование. В Google Поиске уже проиндексированные URL сохраняются в индексе, но со временем удаляются».
Таймауты и сбои DNS не менее опасны, хотя сервер при этом не возвращает никакого кода. Google приравнивает их к ошибкам сервера и реагирует даже быстрее:
«Google обрабатывает сетевые таймауты, сброс соединения и ошибки DNS так же, как ошибки сервера 5xx. […] Уже проиндексированные URL, которые недоступны, будут удалены из индекса Google в течение нескольких дней».
Когда сервер снова отвечает кодом 2xx, Google постепенно возвращает привычную частоту сканирования (документация Google). То есть короткий сбой проходит бесследно, а сбой на несколько дней может стоить позиций, которые придется восстанавливать неделями.
Даже у плановой недоступности есть пределы. Для технических работ правильный ответ — 503: по определению MDN, этот код означает, что «сервер не готов обработать запрос», и его следует использовать для временных состояний (MDN). Google советует отключать сайт таким образом лишь ненадолго — не больше чем на несколько дней (документация Google).
Видимость в ответах ИИ
Как доступность сайта влияет на видимость в ответах ИИ?
Недоступная страница не может попасть в ответы ИИ Google, потому что для AI Overviews и AI Mode действует то же условие, что и для обычного поиска:
«Чтобы страница могла показываться как вспомогательная ссылка в AI Overviews или AI Mode, она должна быть проиндексирована и пригодна для показа в Google Поиске со сниппетом».
Отсюда прямая цепочка: продолжительные ошибки 5xx, таймауты или сбои DNS заставляют Google реже сканировать сайт, а затем убирать недоступные страницы из индекса. Страница, которой нет в индексе, не может стать и источником для ответа ИИ в Google.
Короткий сбой на несколько минут редко имеет последствия. Опасны сбои, которые длятся днями и остаются незамеченными, например когда сайт падает каждую ночь во время резервного копирования или недоступен только из определенных сетей.
Почему сайт становится недоступным?
Причины обычно будничные и редко связаны с атакой:
- Перегрузка сервера. Наплыв посетителей после рассылки или рекламы, активность ботов или тяжелые фоновые задачи исчерпывают память и процессор — сервер отвечает 503 или не отвечает вовсе.
- Обновление CMS, темы или плагина. Несовместимая версия плагина или PHP — самая частая причина ошибки 500 сразу после обновления.
- Проблемы хостинга. Закончился оплаченный период, переполнился диск, провайдер проводит работы или переносит сервер.
- DNS. После смены хостинга или DNS-провайдера записи указывают на старый адрес или домен перестал делегироваться. Google отмечает, что ошибки DNS чаще всего вызваны неправильной настройкой (документация Google).
- Просроченный SSL-сертификат. Бесплатные сертификаты Let's Encrypt по умолчанию действуют 90 дней (Let's Encrypt FAQ), так что если автоматическое продление перестало работать, браузеры начнут показывать предупреждение уже через несколько недель.
- Закончилась регистрация домена. Регистратор отключает DNS домена, и сайт пропадает вместе с почтой. Подробнее — в материале о мониторинге срока действия домена.
Отдельный случай — сайт работает у вас, но не открывается у посетителей. Ваш браузер может показывать сохраненную копию страницы, в вашей сети еще действует старая DNS-запись, ваш IP-адрес внесен в белый список защиты, а посетителей из других стран или мобильных сетей блокирует файрвол или CDN. Поэтому проверять доступность стоит извне, а не со своего компьютера.
Как распознать проблему с доступностью сайта?
О сбое чаще всего первыми узнают клиенты. Вот симптомы, на которые стоит реагировать сразу:
| Что вы видите | Возможная причина | Что сделать |
|---|---|---|
| Пустая белая страница или «500 Internal Server Error» | Сбой в коде после обновления CMS или плагина | Откатить последнее обновление, посмотреть журнал ошибок сервера |
| «503 Service Unavailable» в часы пик | Сервер не выдерживает нагрузку | Проверить ресурсы хостинга, кеширование, активность ботов |
| Страница грузится бесконечно | Таймаут: сервер завис или перегружен | Обратиться в хостинг, проверить фоновые задачи |
| «Не удается найти сайт» | Ошибка DNS или закончилась регистрация домена | Проверить DNS-записи и дату окончания регистрации домена |
| «Подключение не защищено» | Просроченный или неверный SSL-сертификат | Продлить сертификат, настроить автоматическое продление |
| У вас работает, а клиенты жалуются | Кеш браузера, блокировка файрволом или CDN для части сетей | Проверить сайт извне и через мобильный интернет, пересмотреть правила защиты |
Как проверить доступность сайта самостоятельно?
Для разовой проверки хватит браузера и бесплатных инструментов:
- Откройте сайт в режиме инкогнито и через мобильный интернет, а не через офисный Wi-Fi: так вы обойдете кеш браузера и увидите сайт глазами нового посетителя.
- Посмотрите код ответа: инструменты разработчика (
F12) → вкладка Network → обновите страницу → в первой строке колонка Status должна показывать200. - Нажмите на значок замка в адресной строке и проверьте, до какой даты действует SSL-сертификат.
- В Google Search Console откройте отчет «Статистика сканирования» в настройках: он показывает, какие ответы получал Googlebot и были ли проблемы с доступностью хоста.
- Воспользуйтесь инструментом проверки URL в Search Console, чтобы увидеть, может ли Google загрузить страницу прямо сейчас.
- Или воспользуйтесь проверкой FullCheckApp «Проверка доступности сайта» и получите информацию в удобном графическом виде.
Такая проверка показывает состояние сайта только в момент проверки. Сбой ночью или в выходные так не заметить — для этого нужна регулярная автоматическая проверка.
Если вы выбрали последний пункт — вы уже приняли правильное решение: проверка выполняется автоматически, и о предупреждении или критическом событии вы узнаете первыми.
Что проверяет FullCheckApp
FullCheckApp раз в сутки, в выбранное вами время и по вашему часовому поясу, открывает главную страницу сайта извне — так, как ее открывает посетитель. Ничего устанавливать на сайт не нужно.
- HTTP-код ответа — что именно вернул сервер.
- Время ответа — сколько миллисекунд сервер готовил ответ.
- Ошибка сервера или таймаут — отмечаются как критическая проблема.
Отметки в отчете: зеленая — норма, желтая — предупреждение, красная — критично. Критичность каждой проверки вы настраиваете отдельно для каждого сайта. После проверки приходит письмо с отчетом, а критические проблемы дублируются в Telegram.
Сервер ответил «503 Service Unavailable»: сайт временно не обрабатывает запросы.
Если сайт работает за защитой вроде Cloudflare, FullCheckApp не выдает себя за Googlebot. Чтобы защита не блокировала проверку, добавьте IP-адрес сервиса в белый список. Доступность корзины, каталога и других важных страниц проверяет отдельная проверка доступности внутренних страниц, а скорость загрузки — проверка скорости сайта.
Частые вопросы
Чем ошибка 500 отличается от 503?
Код 500 означает непредвиденный сбой на сервере, чаще всего ошибку в коде сайта после обновления. Код 503 означает, что сервер временно не готов обрабатывать запросы из-за перегрузки или технических работ. При плановом отключении сайта правильно отдавать именно 503, но Google советует делать это не дольше нескольких дней.
Почему сайт открывается у меня, но не открывается у клиентов?
Ваш браузер может показывать сохраненную копию страницы, в вашей сети еще действует старая DNS-запись, а ваш IP-адрес может быть в белом списке защиты. Клиентов тем временем блокирует файрвол или CDN, либо они попадают на другой сервер. Проверяйте сайт в режиме инкогнито, через мобильный интернет и внешними инструментами.
Выпадет ли сайт из Google, если он не работал несколько часов?
Короткий сбой обычно проходит без последствий: Google временно замедляет сканирование, а когда сервер снова отвечает успешно, постепенно возвращает привычную частоту. Риск появляется, когда ошибки длятся днями: согласно документации Google, недоступные проиндексированные страницы со временем удаляются из индекса, а при сетевых сбоях — в течение нескольких дней.
Что такое таймаут и чем он опасен?
Таймаут — это ситуация, когда сервер не ответил за отведенное время и браузер так и не получил страницу. Посетитель видит бесконечную загрузку и уходит. Google обрабатывает сетевые таймауты так же, как ошибки сервера 5xx, то есть замедляет сканирование, а продолжительные проблемы могут привести к удалению страниц из индекса.
Влияет ли недоступность сайта на AI Overviews?
Да, косвенно. Чтобы попасть в AI Overviews или AI Mode, страница должна быть проиндексирована и пригодна для показа в Google Поиске. Продолжительные ошибки сервера, таймауты или сбои DNS приводят к удалению страниц из индекса, а страница вне индекса не может стать источником для ответа ИИ в Google.
Источники
- Google Search Central — How HTTP status codes, and network and DNS errors affect Google Searchdevelopers.google.com/search/docs/crawling-indexing/http-network-errors
- Google Search Central — Network and DNS errorsdevelopers.google.com/crawling/docs/troubleshooting/dns-network-errors
- Google Search Central — Pause or disable a websitedevelopers.google.com/search/docs/crawling-indexing/pause-online-business
- Google Search Central — AI features and your websitedevelopers.google.com/search/docs/appearance/ai-features
- MDN Web Docs — HTTP response status codesdeveloper.mozilla.org/en-US/docs/Web/HTTP/Reference/Status
- MDN Web Docs — 503 Service Unavailabledeveloper.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/503
- Let's Encrypt — FAQletsencrypt.org/docs/faq/
Проверьте свой сайт
Добавьте адрес сайта — первая проверка пройдет сразу, и вы увидите состояние каждого пункта из этого материала.
Проверить бесплатно