Как мы меряем качество AI

Схема из документа — это черновик аналитика, а не готовый результат. Скелет процесса (шаги, порядок, кто за что отвечает) вы получаете почти целиком за минуту вместо нескольких часов. Логику решений — развилки, условия, возвраты на доработку — нужно пройти глазами и поправить.

Сверять при этом не нужно по памяти: наведите курсор на ромб — рядом появится фрагмент вашего документа, где встречаются слова из подписи развилки. Это быстрый способ найти нужное место в регламенте, а не доказательство того, что развилка построена верно.

Мы намеренно не пишем «AI сделает всё за вас». Аналитик отвечает за схему перед заказчиком; инструмент, который врёт о своей точности, подставляет именно его.

Проверка занимает минуты, если знать, куда смотреть. Порядок — от того, что чаще требует правки, к мелочам.

• Развилки — по формулировке в тексте. Перечень требований или критериев («перечень должен соответствовать следующим условиям») — это условие отбора, а не точка выбора в процессе: ромба там быть не должно. Обратный случай — обороты «при необходимости», «в случае разногласий»: развилка в документе есть, но без слова «если», и на схеме её может не оказаться. Цитата у ромба показывает то место документа, откуда взяты его слова.
• Все ли стороны получили свою дорожку. Безличные обороты прячут участника: «технические условия предоставляются ресурсоснабжающими организациями», «результат направляется в МФЦ». Если такой участник остался без дорожки, вместе с ним со схемы уходит и его ветка процесса.
• Сроки и пункты — по первоисточнику. Числа («10 рабочих дней», «до 20 декабря») в подпись шага мы не выносим: подпись должна оставаться читаемой на схеме. Они лежат в карточке шага — наведите на фигуру мышь либо откройте «Описание» у выделенного узла, там же список участников по матрице ответственности. Сами сроки всё равно стоит сверить с документом.
• Скан без текстового слоя — сначала распознавание. Мы предложим распознать его (до 100 страниц за раз, диапазон выбираете сами). Если печать слепая или лист перекошен и текста не получилось — скажем об этом прямо, а не нарисуем схему из шума.

Корпус — 5 живых документов разных форм: регламент согласования, административный регламент госуслуги, положение о закупке, внутренняя процедура компании, положение об отделе (документ без процесса — правильный ответ на него «процесса нет»). Из них размечено 6 процессов: корпоративный регламент даёт три разных — по нему считаются проценты выше.

По каждому человек вручную выписал эталон: какие шаги, роли и развилки обязаны попасть в схему. Генерация сверяется с этим списком по пунктам — покрытие считается от разметки человека, а не от того, что выдала сама модель. Иначе метрика подтверждала бы сама себя.

Роли и развилки считает не модель, а программа. Она обходит готовую схему и сверяет её с эталоном человека: развилка засчитана, если обе её ветки приходят в те же шаги, что указаны в разметке; роль — если шаги участника собраны в одну дорожку. Судить качество моделью той же природы, что и проверяемая, значит спрашивать у неё оценку самой себе.

Даты замеров: шаги — 8 августа 2026, роли — 20 августа 2026, развилки — 20 августа 2026. У каждой цифры своя дата: они приходят из разных прогонов, и одна общая дата выдавала бы старый замер за свежий. 31 августа 2026 все три оси перемерены на текущей сборке. Перемер дал по двум осям выше — но повтор роста не подтвердил, и на витрине остались прежние, меньшие числа.

Схему строит облачная языковая модель в российском контуре — Yandex Cloud (Москва); отсканированные документы распознаёт Yandex Vision. Документ не покидает Россию, а запросы к модели уходят с отключённым логированием: провайдер не сохраняет их и не использует для обучения. Что и сколько хранится у нас — в политике конфиденциальности.

Сама модель общедоступна — её можно спросить и в чате. Разница в том, что происходит вокруг неё: мы принимаем файл целиком, разбираем многостраничный документ на разделы, читаем их по частям, собираем шаги в связный граф с дорожками, проверяем его правилами нотации и чиним найденное. Проценты выше меряют весь этот путь от файла до схемы, а не «умность» модели.

Каждое сообщение читает живой человек, а не бот. Если вы нашли настоящую ошибку — начислим бонусные документы на счёт: находка одного аналитика чинит продукт для всех.

Замеры — половина честности; вторая половина в том, что с найденным происходит. Все правки видны в открытом журнале «Что нового», где отдельно помечено то, что пришло от людей.