Анализ логов сервера
Сервисы для вебмастеров показывают обход сайта выборочно и с задержкой. Логи сервера — полная правда: каждый запрос робота, каждый код ответа. Внесли правки, а страница не обновляется в поиске? Логи покажут, заходил ли робот вообще.
Александр Евстигнеевмаркетолог, сертифицированный специалист Яндекс Директ Про
Логи показывают кто, когда и куда обращался и с каким кодом ответа. Для SEO это: какие страницы обходят и игнорируют, редиректы и ошибки, сломанные скрипты, зомби-страницы, всплески от мусорных ботов. Бесплатный GoAccess строит наглядный дашборд прямо на сервере (есть и на обычном хостинге); команды можно попросить у нейросети. За CDN логи доступны не на всех тарифах. Мусорных ботов блокируют правилами сервера; ботов с исполнением JavaScript — только внешним антибот-сервисом.
Что видно в логах
| Данные | Польза |
|---|---|
| Частота обхода страниц | Какие разделы робот любит, какие забыл |
| Коды ответов | 3xx, 4xx, 5xx, которые не видно снаружи |
| Запросы к скриптам и файлам | Ошибки, тормозящие загрузку |
| User-agent | Поисковики, нейросети, мусорные боты |
| Источники переходов | Аномальная активность |
Где взять
- VPS: обычно каталоги логов веб-сервера, доступ по SSH.
- Обычный хостинг: папка logs в панели, архивы по неделям.
- WordPress: плагины выгрузки.
- CDN: выгрузка логов только на старших тарифах.
GoAccess
Открытый бесплатный анализатор: работает в терминале или строит HTML-дашборд на русском языке, умеет объединять архивы логов за годы, фильтровать только краулеров по своему списку ботов, обновлять отчёт в реальном времени.
Практические задачи
- Страница не заходит в индекс — заходил ли робот, какой ответ получил.
- После релиза — нет ли всплеска 5xx и редиректов.
- Робот тратит обход на одни и те же служебные URL — закрыть их.
- Хостер требует сменить тариф из-за нагрузки — проверить, кто нагружает.
Ниже 10 готовых сценариев разбора логов по схеме «задача — что отфильтровать — что сделать» для разных типов сайтов.
Возьмите сценарий, похожий на вашу ситуацию, отфильтруйте логи за 2–4 недели в GoAccess только по нужным user-agent и сравните до и после исправления.
- 1Интернет-магазинSEO-специалист e-commerceЗадача — робот тратит обход на фильтры и сортировки. Фильтр — URL с параметрами от Яндекс- и Googlebot. Действие — закрыть мусорные параметры в robots.txt и Clean-param, проверить долю обхода карточек через месяц.Почему работает. Служебные URL съедают обход, и новые товары индексируются медленнее.
- 2Новостное СМИредакция и техотделЗадача — свежие новости долго попадают в индекс. Фильтр — время от публикации до первого визита робота на URL. Действие — актуальный sitemap с датами, ссылки на новое с главной и рубрик.Почему работает. Логи показывают реальную задержку обхода, которую не видно в сервисах.
- 3Корпоративный сайт B2Bмаркетолог компанииЗадача — страница услуги не заходит в индекс. Фильтр — все запросы робота к этому URL и коды ответа. Действие — если робот не заходил, добавить внутренние ссылки; если получил 3xx или 4xx, исправить ответ.Почему работает. Сразу видно, проблема в обходе или в ответе сервера, — без гаданий.
- 4Сайт на WordPressвладелец блогаЗадача — после обновления плагинов просели позиции. Фильтр — коды 5xx и 3xx за дни после релиза. Действие — откатить плагин, который даёт ошибки, и настроить проверку логов после каждого обновления.Почему работает. Всплеск 5xx после релиза снаружи часто незаметен, а робот его фиксирует.
- 5Маркетплейс объявленийтехнический SEOЗадача — хостер требует сменить тариф. Фильтр — топ user-agent и IP по числу запросов. Действие — ограничить мусорных ботов на уровне сервера, оставить поисковики.Почему работает. Часто нагрузку дают не люди и не поисковики, а парсеры — и тариф менять не нужно.
- 6Онлайн-школапродюсер и SEOЗадача — понять, читают ли сайт ИИ-боты. Фильтр — user-agent нейросетевых краулеров и разделы, которые они обходят. Действие — решить, какие разделы открыть, и подготовить для них страницы с короткими ответами.Почему работает. Логи — единственный способ увидеть, что нейросети реально забирают с сайта.
- 7Сайт клиникимаркетолог медцентраЗадача — после переезда на новый домен падает трафик. Фильтр — запросы роботов к старым URL и цепочки редиректов. Действие — заменить цепочки на прямые 301 и обновить внутренние ссылки.Почему работает. Цепочки редиректов видны в логах по повторным запросам одного робота.
- 8Каталог стройматериаловSEO-специалистЗадача — часть разделов робот не посещал месяцами. Фильтр — частота обхода по разделам каталога. Действие — усилить перелинковку забытых разделов и проверить, нет ли их только в глубокой пагинации.Почему работает. Таблица частоты обхода показывает, какие разделы робот «забыл».
- 9Локальный сервис доставкивладелец бизнесаЗадача — сайт тормозит в часы пик. Фильтр — запросы к тяжёлым скриптам и файлам, время ответа. Действие — кешировать тяжёлые ответы, сжать изображения, убрать неиспользуемые скрипты.Почему работает. Запросы к скриптам и файлам в логах показывают, что именно тормозит загрузку.
- 10Лендинг под рекламумаркетолог, ведущий ДиректЗадача — аномальные визиты и подозрение на скликивание. Фильтр — источники переходов, IP и частота запросов с одной подсети. Действие — сверить с отчётом Директа, исключить подозрительные площадки, подключить внешний антибот.Почему работает. Логи дают независимые данные для разбора аномалий, а JS-ботов закрывает только внешний сервис, как сказано в FAQ.
Частые вопросы
Как бороться с негативной накруткой поведения?
Боты, исполняющие JavaScript, не блокируются правилами сервера — нужен внешний антибот-сервис.
Можно ли выгрузить отчёт GoAccess в таблицу?
Напрямую — нет, но есть выгрузка в JSON для дальнейшей обработки.
Сервисы рассказывают, что робот видел. Логи — что робот делал.
