POST /v1/crawl/probe отвечает на это за один запрос и не
стоит ни кредита.
url — единственный параметр. Знакомый сайт отвечает из базы знаний
мгновенно; новый разведывается словарём за три-четыре захода: стартовая
страница и, если это оглавление, до трёх этажей вниз до первого списка с
ценами. Языковая модель не участвует.
Ответ
boolean
Разведка состоялась.
false — сайт не открылся или закрыт для обхода;
причина в note.boolean
Стартовая страница открылась с наших адресов.
boolean
Словарь понял устройство: нашёл формы адресов разделов или карточек. Если
false, обход всё равно можно запускать — устройство будет разбирать
карта сайта или модель, — но оценка объёма будет грубее. Поле есть только у
свежей разведки; у знакомого сайта его заменяет knowledge.status.string
Что увидела разведка, человеческим языком: «старт — список товаров»,
«список товаров на 2-м этаже», «оглавление есть, до списка товаров не
спустились», «стартовая страница не открылась».
object
Карточка сайта из базы знаний: знаком ли
(
known), состояние (new, warmed, learned, blocked), опознанная
CMS, вид стартовой страницы, число разделов и этажей, подтверждённые поля,
сколько прогонов было (runs), какая доля страниц в последнем прогоне
разобрана без модели (without_model), сколько спорных страниц
(disputed).object
Устройство с учётом ручных правок: стартовый адрес и его вид, формы адресов
разделов (
section_shapes) и карточек (card_shapes), где <*> — любой
кусок пути, число этажей до списка (levels), адрес найденного списка,
есть ли у него пагинация, CMS.object
Оценка объёма:
pages_guess — сколько примерно страниц у каталога, по
числу разделов и этажей. Грубо, но до запуска лучше грубая цифра, чем
никакой: раздел на одном этаже — это список из одной-трёх страниц плюс
карточки.integer
Всегда
0.Сайт не открылся
recon_failed. В кабинете такой сайт уходит на
модерацию, и когда его откроют, вам придёт письмо.
Сайт, закрытый по решению модерации, приходит с ok: false и записью
moderation — причина в ней. Обход по нему отклоняется до старта кодом
site_blocked.
Зачем это агенту
Для ИИ-агента разведка — первый шаг сценария:parreq_site_probe → parreq_crawl →
parreq_crawl_status → parreq_crawl_rows. По estimate.pages_guess агент
выбирает pages, по understood — стоит ли запускать вообще, по
knowledge.known — будет ли обход дешевле за счёт памяти сайта.
См. MCP.
Разведка — это и прогрев: её результат записывается в базу знаний, и обход,
запущенный следом, разведку не повторяет. Прогреть сайт заранее, чтобы
ночной прогон по расписанию начался сразу с обхода, — нормальная практика.

