Выберите результат, который можно проверить по строкам
Для оценки подходит подготовка заказа магазина с действующими условиями поставщика. Итогом должна быть таблица, по которой менеджер понимает товар, количество, единицу и источник цены. Общий текст о готовности к отгрузке не годится: он может выглядеть убедительно, но скрывать пропущенные уточнения.
Опишите ручной путь к такому же результату. Отметьте поиск последней заявки, открытие прайса, сверку фасовки и подготовку вопросов. Так появится исходная картина работы, с которой можно сопоставить помощь агента. Не добавляйте в оценку всю продажу, если испытывается лишь сборка сведений до коммерческого предложения.
Сравнивайте одинаковую сложность, а не случайные заказы
Подготовьте группы заданий: полная заявка, изменение количества и строка с непонятной упаковкой. Прайсы в каждой группе должны иметь сопоставимый объём и ясные условия. Ручной разбор лёгкого заказа нельзя честно сравнить с помощью агента на запутанной переписке, как и наоборот.
Для каждого завершённого задания фиксируйте весь путь:
- Поиск и подготовка документов, которые понадобились для сверки.
- Создание сводки и время ожидания результата агента.
- Проверка менеджером, уточнения и повторная подготовка текста.
- Остаточные вопросы по цене, партии или единице, мешающие согласованию.
Разберите цену коробки вместе с затратой на исправление
Допустим, в прайсе цена дана за упаковку, а магазин заказал коробки. В ручном варианте менеджер находит состав коробки и готовит строку. В варианте с агентом он проверяет, не потерялась ли единица, и также подтверждает пересчёт. Если красивую сводку пришлось собирать заново, эта работа входит в оценку, а не выносится за пределы опыта.
Сохраняйте конкретную причину исправления. Ошибка чтения количества отличается от отсутствия данных о фасовке: первая требует проверки поручения и результата, вторая — порядка в справочнике. По общему числу правок без их содержания нельзя понять, помогает ли агент или только переносит усилие с составления на редактирование.
Прекратите расширение, когда источники не проверяются
Если результат не указывает, откуда взята цена, испытание не стоит переносить на более сложные заявки. Так же поступайте, когда невозможно отличить остаток на дату выгрузки от подтверждения склада. Сначала верните сводке проверяемость. Это ограничение оценки, а не вывод о бесполезности ИИ во всём продовольственном бизнесе.
Вывод формулируйте по наблюдаемому участку: стало ли меньше повторного поиска, какие вопросы теперь видны раньше, где сохранилась ручная сверка. Учитывайте подготовку данных и обучение менеджера отдельно от повседневного выполнения. Пока заданий мало или они несопоставимы, честный итог — недостаточно сведений для расширения, а не прогноз будущей экономии.
Как с этим работает Coagent
В Coagent у каждого сотрудника есть свой агент с ролью и правилами. Платформа работает на вашем сервере, а решения принимают люди.
Подготовьте сопоставимые заявки с разными фасовками и запишите труд до получения проверенной сводки в ручном варианте и с агентом.