Краулер
Краулер — сохранённая задача: адрес каталога, сколько страниц брать за прогон, какие поля собирать, заходить ли в карточки, по какому ключу сравнивать прогоны между собой. У него своя история прогонов и свои письма. Принадлежит аккаунту, а не ключу: кредиты списываются с ключа, которым краулер запущен. Перед созданием кабинет разведывает сайт — это та же бесплатная разведка: показывает, знаком ли сайт, сколько в нём разделов и во сколько кредитов обойдётся прогон, диапазоном «от … до». «От» — половина верхней оценки: страницы из памяти сайта и отброшенные подборки не оплачиваются, и у знакомого сайта счёт обычно ближе к нижней границе. Одновременно может идти до пяти краулеров; шестому придётся дождаться, когда один из них закончится.Расписание
Время — ваше: часовой пояс берётся при регистрации из браузера и меняется
в настройках кабинета. Если прогон по расписанию не смог стартовать —
кончились кредиты, сайт закрыт модерацией, — автозапуск останавливается, а
причина остаётся в карточке краулера. Тихо пропускать запуски кабинет не
станет.
Ночное окно
Прогон, начатый с 01:00 до 07:00 по вашему времени, дешевле на 20%: ночью пул браузеров свободнее, и эту экономию отдаём вам. Скидка ставится на прогон при старте и применяется к итоговому списанию — по факту доставленных страниц, как и обычно. Проще всего поставить расписание на ночь: тогда каждый прогон идёт со скидкой, а отчёт ждёт вас утром в почте.Письма
По окончании прогона приходит письмо: статус, сколько страниц собрано, счёт, что изменилось по сравнению с прошлым прогоном — новые товары, пропавшие, изменившиеся цены. Сравнение идёт по выбранному ключу: название и цена, адрес или артикул. Отчёт можно получать и вложением — тот же CSV, что выгружается из кабинета, — если он умещается в письмо. Включается для краулера или разом для всех в настройках.Результат
Таблица прогона наполняется по ходу: разобранная страница появляется в ней при следующем обновлении, а не после финиша. Строки идут по дереву каталога: раздел, под ним подразделы, списки и товары. Колонки — реально найденные поля, а не заготовка: столбец «Цена до скидки» появляется, когда скидка впервые нашлась. Выгрузка — CSV с разделителем «точка с запятой», который русский Excel открывает сразу. В ней есть колонки «уровень» (1 раздел, 2 подраздел, 3 список, 4 товар), «раздел», «подраздел», «что это», «статус» и «адрес», а дальше — поля. По колонке «уровень» в Excel можно свернуть всё, кроме товаров. Страниц, признанных не каталогом, в файле нет: каждая строка обязана быть товаром или местом в каталоге.Шаблоны
Удалённый краулер не исчезает, а становится шаблоном: история прогонов остаётся, и из шаблона в любой момент делается новый краулер с теми же настройками. Шаблоном можно поделиться ссылкой — тогда он виден в библиотеке на витрине, и другой пользователь заведёт по нему свой краулер.Если сайт не открылся
Сайт, который не открывается с наших адресов, уходит на модерацию, а ваш краулер — в список ждущих. Когда сайт откроют, придёт письмо и скидка на прогоны по этому сайту. Если обход невозможен — придёт письмо с причиной.Всё, что кабинет делает с краулером, доступно и из API: разведка —
/v1/crawl/probe, прогон —
/v1/crawl с mode: catalog, результат —
/v1/crawl/{id} и /tree. Расписание, письма и шаблоны — только в
кабинете.