Паук
Краулер для аудита публичных страниц: карта сайта, метаданные, ссылки и технические сигналы
Что умеет
- Старт с URL и/или sitemap.xml
- Лимиты: страницы, глубина, пауза между запросами, таймаут, размер ответа
- Область: только домен / поддомены, префикс пути, исключения путей и расширений
- Вежливость: robots.txt, свой User-Agent, SSL, редиректы
- Сбор: title, description, canonical, H1–H3, ссылки, картинки без alt, формы, скрипты, email, телефоны, Open Graph
- Опционально Basic Auth / Cookie — только для сайтов, которые вам разрешено проверять
- Защита: только http(s), блок частных/локальных адресов (SSRF)
Запуск обхода доступен команде 1XQ в админ-панели. Нужен аудит вашего сайта — оставьте заявку.
Оставить бриф КонтактыНастройки обхода
Макс. страниц1–500
Глубина0–10
Пауза0–10000 мс
Таймаут3–60 сек
Редиректыдо 10
Ответдо 5 МБ
robots.txtвкл/выкл
Только доменвкл/выкл
Sitemap seedвкл/выкл
nofollowигнор / следовать
Экстракторы12 переключателей
AuthBasic / Cookie