Перед тем как заказывать двести страниц, полезно знать, что сайт вообще открывается с наших адресов, что словарь понимает его устройство и сколько в каталоге разделов. POST /v1/crawl/probe отвечает на это за один запрос и не стоит ни кредита.
url — единственный параметр. Знакомый сайт отвечает из базы знаний мгновенно; новый разведывается словарём за три-четыре захода: стартовая страница и, если это оглавление, до трёх этажей вниз до первого списка с ценами. Языковая модель не участвует.

Ответ

boolean
Разведка состоялась. false — сайт не открылся или закрыт для обхода; причина в note.
boolean
Стартовая страница открылась с наших адресов.
boolean
Словарь понял устройство: нашёл формы адресов разделов или карточек. Если false, обход всё равно можно запускать — устройство будет разбирать карта сайта или модель, — но оценка объёма будет грубее. Поле есть только у свежей разведки; у знакомого сайта его заменяет knowledge.status.
string
Что увидела разведка, человеческим языком: «старт — список товаров», «список товаров на 2-м этаже», «оглавление есть, до списка товаров не спустились», «стартовая страница не открылась».
object
Карточка сайта из базы знаний: знаком ли (known), состояние (new, warmed, learned, blocked), опознанная CMS, вид стартовой страницы, число разделов и этажей, подтверждённые поля, сколько прогонов было (runs), какая доля страниц в последнем прогоне разобрана без модели (without_model), сколько спорных страниц (disputed).
object
Устройство с учётом ручных правок: стартовый адрес и его вид, формы адресов разделов (section_shapes) и карточек (card_shapes), где <*> — любой кусок пути, число этажей до списка (levels), адрес найденного списка, есть ли у него пагинация, CMS.
object
Оценка объёма: pages_guess — сколько примерно страниц у каталога, по числу разделов и этажей. Грубо, но до запуска лучше грубая цифра, чем никакой: раздел на одном этаже — это список из одной-трёх страниц плюс карточки.
integer
Всегда 0.

Сайт не открылся

Обычные причины — защита от ботов на входе или сайт, который отвечает только из своей страны. Запускать обход по такому адресу не стоит: он закончится отказом recon_failed. В кабинете такой сайт уходит на модерацию, и когда его откроют, вам придёт письмо. Сайт, закрытый по решению модерации, приходит с ok: false и записью moderation — причина в ней. Обход по нему отклоняется до старта кодом site_blocked.

Зачем это агенту

Для ИИ-агента разведка — первый шаг сценария: parreq_site_probeparreq_crawlparreq_crawl_statusparreq_crawl_rows. По estimate.pages_guess агент выбирает pages, по understood — стоит ли запускать вообще, по knowledge.known — будет ли обход дешевле за счёт памяти сайта. См. MCP.
Разведка — это и прогрев: её результат записывается в базу знаний, и обход, запущенный следом, разведку не повторяет. Прогреть сайт заранее, чтобы ночной прогон по расписанию начался сразу с обхода, — нормальная практика.