- SEO
- Технический аудит
Oncrawl: краулер и анализатор логов для крупных сайтов
Хороший инструмент
Oncrawl обходит сайт так, как это сделал бы Googlebot, страница за страницей, а затем сопоставляет найденное с лог-файлами сервера, которые показывают, что на самом деле посещают роботы Google и ИИ-сервисов. SEO-специалист видит в нём страницы-сироты, слишком глубоко вложенные, медленные или проигнорированные страницы и может дополнить эти данные сведениями из Search Console, Google Analytics или собственными цифрами продаж. Платформа рассчитана на сайты из сотен тысяч и миллионов URL и входит в число инструментов технического SEO, которыми пользуются крупные компании, наряду с Botify и Lumar (бывший DeepCrawl).
Что такое Oncrawl?
Oncrawl — онлайн-сервис (SaaS): устанавливать ничего не нужно, сканирование выполняется на серверах компании, а не на компьютере пользователя. Вы создаёте проект, настраиваете профиль сканирования (охват, скорость, рендеринг JavaScript, периодичность), и робот собирает сотни показателей по каждой странице: коды ответа, теги, дублированный контент, внутреннюю перелинковку, глубину, время загрузки, Core Web Vitals. Результаты отображаются на панелях, которые можно делить на сегменты — например, по категориям товаров или шаблонам страниц, — а два последовательных сканирования можно сравнить, чтобы заметить регрессию после выкладки.
Вторая опора — анализ логов. Подключённый к Cloudflare, AWS, Google Cloud, Azure или к обычным лог-файлам, Oncrawl без выборки фиксирует каждый визит Googlebot, Bing, а теперь и роботов OpenAI (GPTBot, OAI-SearchBot), Perplexity, Anthropic (ClaudeBot) или Mistral. Gemini и ИИ-обзоры Google, напротив, питаются тем, что уже обходит Googlebot: отдельных визитов в логах не видно, а токен Google-Extended в robots.txt служит лишь для отказа от такого использования. Сопоставляя эти визиты со сканированием, можно измерить краулинговый бюджет, потраченный на бесполезные страницы, и время между публикацией страницы и её первым органическим визитом. Дополнительные модули, так называемые Lenses, направляют анализ на видимость в ИИ-поисковиках или качество контента, а API, собственный язык запросов и MCP-сервер позволяют использовать данные в других инструментах.
Инструмент запустили в 2013 году Франсуа Губ и Танги Моаль — поначалу чтобы решить проблемы сканирования крупного французского интернет-магазина. Его выпускает компания Cogniteev из Мериньяка под Бордо, где работает команда. В феврале 2022 года американская BrightEdge, специалист по SEO-платформам для крупных клиентов, выкупила доли инвесторов; Oncrawl сохранил в составе группы свой бренд, продукт и команду. Тогда в компании было почти 50 сотрудников и более тысячи клиентов.
Oncrawl вкратце
- Тип
- SaaS-платформа для технического SEO
- Основан
- 2013
- Основатели
- Франсуа Губ и Танги Моаль
- Происхождение
- Франция
- Штаб-квартира
- Мериньяк, под Бордо (Cogniteev SAS)
- Владелец
- BrightEdge (США), с 2022 года
- Бесплатная версия
- Нет, как и самостоятельного пробного доступа
- Стоимость
- по запросу, после демонстрации
Для чего нужен Oncrawl?
-
Сканировать сайт в большом масштабе
миллионы URL сканируются в облаке, с рендерингом JavaScript и без искусственных ограничений по скорости и глубине.
-
Читать логи сервера
каждый визит Googlebot и других роботов фиксируется без выборки, чтобы знать, какие страницы действительно сканируются.
-
Проверить техническое состояние
коды ответа, индексируемость, дублированный контент, внутренняя перелинковка и глубина страниц в разбивке по сегментам сайта.
-
Измерить производительность
время загрузки и Core Web Vitals для каждой страницы во время сканирования, в лабораторных условиях: эти значения стоит сверять с полевыми данными Search Console, на которые и ориентируется Google.
-
Следить за роботами ИИ
визиты GPTBot, PerplexityBot, ClaudeBot и других ИИ-роботов на ваши страницы и страницы, которые могут цитироваться в их ответах.
-
Получать оповещения о регрессиях
плановые сканирования, сравнение сканирований между собой и оповещения, когда показатель меняется после выкладки.
-
Объединять данные
Search Console, GA4, Majestic, Piano или ваши собственные цифры продаж, а также API для передачи результатов в BI-инструменты.
Отзывы о Oncrawl
Хороший инструмент
Oncrawl — не тот инструмент, который открывают ради небольшого аудита сайта-визитки. Его призвание — сайты, слишком большие или сложные для десктопного краулера: каталоги интернет-магазинов, СМИ, доски объявлений, многоязычные платформы. На этом поле он выполняет обещанное. Сканирование нескольких миллионов страниц проходит без сбоев, сегментация позволяет читать сайт крупными блоками, а не постранично, а сопоставление сканирования, логов и данных Search Console даёт картину, которую мало какие инструменты предлагают так же легко.
Его сильнейшая сторона — анализ логов. Логи — это не оценка: они показывают, что Googlebot действительно посетил, и именно там на крупном сайте часто скрываются точки роста (важные страницы, которые никогда не сканируются, краулинговый бюджет, съеденный фильтрами или параметрами URL). Недавно добавленное отслеживание ИИ-роботов опирается на тот же исходный материал: оно точно говорит, какие страницы и когда просканировали GPTBot или ClaudeBot. Но оно не говорит, цитируются ли эти страницы в ответах, — это измеряют, с погрешностями своего метода, инструменты на основе промптов вроде Otterly.AI или Meteoria. Одно дополняет другое. Зато нужен доступ к логам сервера, а для этого часто приходится обращаться к технической команде.
Обратная сторона — требовательная платформа. Чтобы извлечь пользу из сотен показателей, нужно разбираться в техническом SEO, а освоение занимает время, хотя сопровождение командой входит в предложение. Коммерческая модель рассчитана на крупных клиентов: никаких публичных цен, демонстрация перед любым предложением и договор, который продлевается автоматически и расторгается только заказным письмом. Для независимого консультанта или малого бизнеса это избыточно.
Сильные стороны
- Облачный краулер, который справляется с сайтами из нескольких миллионов страниц, включая JavaScript.
- Полный анализ логов без выборки, включая роботов ИИ.
- Сопоставление сканирования с логами, Search Console, GA4 и вашими собственными данными.
- Гибкая сегментация, которая применяется и к прошлым анализам.
- API, выгрузка в BI-инструменты и MCP-сервер для более глубокой работы.
- Сопровождение командой специалистов по техническому SEO.
Слабые стороны
- Нет публичных цен и самостоятельного пробного доступа: всё идёт через демонстрацию.
- Инструмент для крупных сайтов, избыточный для сайта скромного размера.
- Долгое освоение, требующее хорошей базы в техническом SEO.
- Анализ логов доступен только на тарифах Core и Scale и зависит от доступа к логам сервера.
- Договор продлевается автоматически, с возможным ежегодным повышением цены до 5 %.
Стоит ли Oncrawl своих денег?
Да, если вы отвечаете за SEO сайта из нескольких сотен тысяч страниц, целые разделы будто бы игнорируются Google или вы готовите переезд. Сканирование, логи и данные Search Console под рукой позволяют расставлять приоритеты на основе фактов и показывать результат. Это также хороший выбор для специализированного агентства, которое ведёт крупных клиентов.
Не обязательно, если на вашем сайте несколько тысяч страниц. Screaming Frog — десктопная программа с годовой лицензией — или Sitebulb покрывают основную часть технического аудита гораздо дешевле, а Search Console бесплатно показывает, как Google сканирует сайт. Среди корпоративных платформ Botify и Lumar играют в одной лиге с Oncrawl: прежде чем подписывать договор, сравните демонстрации и предложения на своём собственном сайте.
Только для анализа логов потребности среднего сайта покрывают Seolyzer — французский инструмент с бесплатным тарифом — и Log File Analyser от Screaming Frog, который продаётся по лицензии. Между этими двумя мирами JetOctopus объединяет облачное сканирование и логи по публичной цене намного ниже, чем у корпоративных платформ, и заслуживает места в сравнении.
Сколько стоит Oncrawl?
Oncrawl не публикует никаких цен. На его сайте больше нет страницы тарифов: единственный путь — демонстрация, после которой готовится предложение в зависимости от размера сайта, объёма сканирования и выбранных модулей. Общие условия описывают три тарифа, все по запросу, ёмкость которых измеряется ежемесячными crawl tokens, закреплёнными в договоре.
| Тариф | В месяц | Включено | Для кого |
|---|---|---|---|
| Basic | По запросу | Краулер, базовые функции, Search Console, GA4 и API | Регулярные технические аудиты и сканирования |
| Core | По запросу | Basic плюс анализ логов и другие коннекторы (Majestic, Piano…) | SEO-команды, которые следят за реальным сканированием сайта |
| Scale | По запросу | Краулер и анализ логов для очень больших объёмов | Очень крупные сайты и группы из нескольких сайтов |
Источник: официальные тарифные условия Oncrawl (тарифы описаны в общих условиях, цены не опубликованы), данные на 31 октября 2026 года.
- Нет ни бесплатной версии, ни самостоятельного пробного доступа: доступ — через демонстрацию и индивидуальное предложение.
- Платные опции: годовые crawl tokens для внеплановых сканирований, модуль Content Lens для анализа контента с помощью ИИ и SEO-воркшопы с командой.
- Договор автоматически продлевается на тот же срок, если не расторгнуть его заказным письмом не позднее чем за 30 дней до окончания, а цена может ежегодно повышаться не более чем на 5 %.
FAQ
Ответы на вопросы о Oncrawl
Сколько стоит Oncrawl?
Oncrawl не публикует цен. Три тарифа — Basic, Core и Scale — продаются по индивидуальному предложению после демонстрации, в зависимости от размера сайта и нужного объёма сканирования.
Есть ли у Oncrawl бесплатная версия или пробный период?
Нет. Нет ни бесплатного тарифа, ни самостоятельного пробного доступа: всё начинается с запроса демонстрации.
Кто стоит за Oncrawl?
Oncrawl основали в 2013 году Франсуа Губ и Танги Моаль. Его выпускает компания Cogniteev из Мериньяка под Бордо, которая с 2022 года принадлежит американской BrightEdge.
Чем Oncrawl отличается от Screaming Frog?
Screaming Frog — программа, которая устанавливается на компьютер, продаётся по лицензии и подходит для большинства сайтов. Oncrawl работает в облаке, справляется с сайтами из нескольких миллионов страниц и сопоставляет сканирование с логами сервера и другими источниками данных — за заметно большие деньги.
Oncrawl или Botify?
Обе платформы нацелены на сайты из нескольких сотен тысяч страниц, сопоставляют сканирование и логи и продаются по индивидуальному предложению. Oncrawl выделяется гибкой сегментацией, своим языком запросов и командой во Франции. Разумнее всего прогнать обе демонстрации на своём сайте, прежде чем подписывать договор.
Информация проверена 31 октября 2026 г.