Все инструменты

Паук

Краулер для аудита публичных страниц: карта сайта, метаданные, ссылки и технические сигналы

Что умеет
  • Старт с URL и/или sitemap.xml
  • Лимиты: страницы, глубина, пауза между запросами, таймаут, размер ответа
  • Область: только домен / поддомены, префикс пути, исключения путей и расширений
  • Вежливость: robots.txt, свой User-Agent, SSL, редиректы
  • Сбор: title, description, canonical, H1–H3, ссылки, картинки без alt, формы, скрипты, email, телефоны, Open Graph
  • Опционально Basic Auth / Cookie — только для сайтов, которые вам разрешено проверять
  • Защита: только http(s), блок частных/локальных адресов (SSRF)

Запуск обхода доступен команде 1XQ в админ-панели. Нужен аудит вашего сайта — оставьте заявку.

Оставить бриф Контакты
Настройки обхода
Макс. страниц1–500
Глубина0–10
Пауза0–10000 мс
Таймаут3–60 сек
Редиректыдо 10
Ответдо 5 МБ
robots.txtвкл/выкл
Только доменвкл/выкл
Sitemap seedвкл/выкл
nofollowигнор / следовать
Экстракторы12 переключателей
AuthBasic / Cookie
AI-консультант 1XQ онлайн
Здравствуйте! Я консультант 1XQ. Помогу подобрать решение по разработке сайтов, ботов, CRM и AI. Задайте вопрос — или оставьте контакты, и менеджер свяжется с вами.