Screaming Frog: краулер, который досконально проверяет сайт для технического SEO-аудита

Редкий технический аудит обходится без него. Screaming Frog запускают перед редизайном, после переезда или когда трафик падает без видимой причины, потому что он показывает сайт таким, каким его видит робот, — без фильтров и оценок. Его данные — не прогнозы на основе внешней базы, а реальные ответы сервера, страница за страницей. Это также инструмент, который глубже всех погружается в детали, далеко за пределы модулей аудита в онлайн-пакетах, поэтому и спустя более пятнадцати лет после выхода его первым советуют тому, кто ищет краулер.

За эту глубину приходится платить. Интерфейс из вкладок и таблиц больше похож на электронную таблицу, чем на панель управления, а инструмент выдаёт сырые находки, а не приоритеты: нужно знать, что искать, настроить сканирование и интерпретировать результаты. Для новичка порог входа высок. На больших сайтах приходится считаться и с компьютером: сканирование потребляет много памяти и может часами тормозить машину, а совместная работа сводится к обмену файлами, а не к общему пространству.

Нужно помнить и о сервере, который вы сканируете: на скорости по умолчанию программа может замедлить виртуальный хостинг или вызвать блокировку файрвола вроде Cloudflare, и тогда отчёт заполняется ошибками 403 или 429, которые ничего не говорят о реальном состоянии сайта. Перед первым сканированием снизьте скорость, предупредите хостера и при необходимости попросите добавить IP-адрес вашего компьютера в белый список.

По цене это один из самых разумных профессиональных инструментов на рынке: годовая лицензия за 245 €, без ежемесячной подписки и без автоматического продления по умолчанию. Бесплатной версии, ограниченной 500 URL и лишённой расширенных настроек, хватает для сайта-визитки или первой проверки, но не для интернет-магазина. Когда лицензия истекает, программа снова становится бесплатной, а сохранённые сканирования больше не открываются, поэтому заранее выгрузите всё, что хотите сохранить.