Ограничьте оценку сборкой заказа из сообщений
Для первой оценки выберите восстановление итоговой формы из переписки. Наличие, транспорт и допустимость другого товара зависят от самостоятельных проверок. Не включайте их в общий показатель, иначе станет непонятно, где помог агент, а где решение было принято сотрудниками или задержано внешними условиями.
Подготовьте цепочки обращений без лишних сведений о клиентах. Для каждой нужен утверждённый итог и указание, какие сообщения меняли заявку. Платформа на сервере компании может обращаться к внешней модели; состав разрешённых учебных материалов проверяют до начала сравнения.
Сравните обычный приём и работу с черновиком
Сопоставьте обращения по числу позиций, неоднозначности фасовки и цепочке изменений. Распределите их между обычным разбором и работой с агентом, меняя порядок способов: знакомый заказ повторно читается проще независимо от инструмента. Контрольный итог сверяет другой сотрудник по исходникам. Простая повторная заявка не служит честным противовесом длинной цепочке исправлений.
По каждой обработке сохраняйте замечания:
- Добавленная без источника позиция или количество.
- Отмена, которая не попала в итоговую форму.
- Неясная фасовка, требующая вопроса ресторану.
- Повторное чтение и исправления после получения черновика.
Регулярный заказ с исключением проверяет внимательность
Допустим, ресторан прислал привычный список, но попросил в этой поставке исключить одну позицию и увеличить другую. Агенту передают разрешённую цепочку и прежний шаблон со статусом справочного материала. Полезный результат сохраняет исключение и не восстанавливает его из старой формы.
Менеджер сверяет результат с сообщениями, а не только с шаблоном. Если он может сразу проверить изменения по источникам, это облегчает работу. Если приходится читать всё повторно из-за отсутствия оснований строк, ранняя генерация не сокращает подготовку. Согласованный заказ остаётся контрольным результатом, не ответ модели.
Потерянная отмена требует остановить передачу складу
При обнаружении ошибки состава не продолжайте пилот на рабочих отгрузках ради накопления наблюдений. Верните помощника к разбору копий и выясните, достаточно ли контекста, понятны ли статусы и словарь. Ошибку чтения и ошибку единиц исправляют разными способами; общий призыв быть внимательнее не объясняет причину.
Вывод об эффекте делайте по конкретному участку: подготовка формы снимает часть чтения либо пока даёт дополнительные исправления. Он не подтверждает автоматический контроль остатков, работу с возвратами или выбор допустимых продуктов. Для следующей задачи нужны свой ожидаемый выход и отдельная проверка, чтобы удачный разбор сообщения не расширял обещания платформы.
Как с этим работает Coagent
В Coagent у каждого сотрудника есть свой агент с ролью и правилами. Платформа работает на вашем сервере, а решения принимают люди.
Сравните два способа разбора регулярного ресторанного заказа с исключением, включив в оценку все исправления менеджера.