Разделите показатели для оценки и для релизной сводки
В подготовке к оценке полезность показывает качество вопросов по неизвестным условиям. В сводке релиза — соответствие подтверждённым изменениям и ограничениям. Объединять эти результаты в одно среднее время неудобно: у них разный объём и разная работа проверяющего.
Начало наблюдения должно включать сбор входа. Если аналитик долго готовит текст из чатов, это затраты процесса. Конец — документ, который специалист считает пригодным для обсуждения, а не первый ответ модели на экране.
Сравните способы подготовки на сопоставимых записях
Допустим, команда готовит внутреннюю заметку о готовности изменений. Для ручного и агентного способа используют одинаковый состав полей: задача, состояние, ограничение и источник решения. Сотрудник проверяет оба результата по исходным данным, не оценивая их по эффектности формулировок.
Для наблюдения хватит рабочей таблицы с понятными отметками:
- Затраты на подготовку входа и окончательную вычитку.
- Потерянные ограничения и неподтверждённые утверждения.
- Смешение завершённой задачи с фактом выпуска.
- Дополнительные вопросы участников после чтения сводки.
Не приписывайте агенту эффект нового порядка записей
Если одновременно ввели понятные состояния задач, часть сокращения поиска связана с этим изменением. Отметьте его отдельно. Для понимания вклада помощника можно сравнить ручную сводку уже упорядоченного набора с черновиком по тому же набору.
Количество исправлений тоже требует различения. Замена слова ради стиля и восстановление важного ограничения не равноценны. Чтение технически неверного абзаца может занимать больше труда, чем самостоятельное написание. Ускорение оформления нельзя считать полезным, если растут смысловые правки.
Не выводите пользу из того, что сотрудник стал отправлять больше запросов модели. Такая активность может означать трудности с получением нужного результата. Измеряется законченная работа, а не сам факт использования инструмента.
Обсудите пригодность результата с его получателем
Технический специалист сверяет факты, участник планирования отвечает, помог ли документ увидеть неизвестное. Для релизной сводки сотрудник поддержки проверяет понятность пользовательских ограничений. Эти вопросы не требуют опроса обо всём отношении к ИИ.
Решение может состоять в сужении задачи до списка открытых вопросов. Если полный документ приходится переписывать, небольшой проверяемый результат полезнее. При смешении проектов остановите этот набор до устранения причины, независимо от времени ответа.
Сохраняйте обезличенные примеры смысловых ошибок и исходные поля. Они дают основание поменять порядок подготовки входа или правило поручения. Вывод по собственным наблюдениям точнее, чем ожидание заранее выбранного роста эффективности.
Как с этим работает Coagent
Coagent ставится на сервер вашей компании и подключается к 1С, Битрикс24 и почте. Агент готовит результат, а важное действие выполняется после подтверждения человека.
Сопоставьте ручную и агентную сводки по одинаковым полям и включите в оценку время технической вычитки.