W3C Link Checker: поиск битых ссылок и «осиротевших» якорей на странице

Для каждой отправленной страницы инструмент читает HTML-код (или таблицу стилей CSS), извлекает ссылки и якоря и опрашивает каждый адрес — чаще всего простым запросом HEAD, который запрашивает заголовок ответа, не загружая страницу. Попутно он проверяет, что ни один якорь не объявлен дважды и что ссылки на конкретный фрагмент (page.html#section) действительно находят цель, — мало какие массовые инструменты заходят в этой проверке так далеко. Редиректы отмечаются, в том числе самые незаметные, например обращение к папке без завершающей косой черты. Флажок позволяет пойти дальше и пройти по внутренним ссылкам на несколько уровней вглубь — в онлайн-версии не более 150 документов. Обход спускается только в страницы, адрес которых начинается с адреса стартовой страницы: чтобы охватить небольшой сайт, начинать нужно с его корня.

Инструмент намеренно вежлив с серверами: он соблюдает файл robots.txt (где представляется как W3C-checklink) и делает паузу не меньше секунды между двумя запросами к одному сайту. Из-за этого он медленно работает на странице с большим количеством ссылок, зато его не принимают за агрессивного робота.

Программа появилась в W3C в августе 1998 года — её написал Рено Брюйерон, а в ноябре 1999 года Хьюго Хаас полностью её переписал; затем её развивали Вилле Скюття и другие добровольцы. Это Perl-скрипт, распространяемый по программной лицензии W3C; его можно установить у себя из CPAN и запускать из командной строки без ограничения на число страниц. Последняя опубликованная версия, 5.0.0, вышла в июне 2021 года; репозиторий остаётся открытым, но с тех пор получал лишь мелкие правки. W3C, основанный в 1994 году Тимом Бернерсом-Ли, с января 2023 года является независимой некоммерческой организацией и финансирует свои валидаторы отчасти за счёт пожертвований.