Предмет оценки — сводка условий, а не весь рейс
Для испытания выделите подготовку списка исключений перед распределением: неполный адрес, несогласованный перенос, спорный интервал. Одинаковый итог нужен и при ручном разборе, и при помощи агента. Если в одном варианте сотрудник делает полноценную сводку, а в другом получает лишь пересказ письма, сопоставление времени будет бессодержательным.
Маршрут связан с проездом, видом груза и фактической доступностью людей. Наблюдать эти условия полезно, но они не становятся эффектом текстового помощника. Отдельно фиксируйте решение диспетчера: какие сведения из сводки помогли его принять, а какие всё равно пришлось искать в рабочих источниках.
Как провести сопоставимый разбор заказов
Составьте несколько учебных наборов сходной сложности, не показывая сотруднику заранее готовый ответ. В ходе сравнения соблюдайте такой порядок:
- Задать одинаковые требования к сводке и одинаковый состав исходных материалов.
- Отметить время ручного чтения, поиска основания и подготовки результата.
- В варианте с агентом учесть составление задания, ожидание, проверку и правки.
- Сопоставить пропущенные условия и необоснованные выводы, а не только длительность.
- Отдельно записать дополнительные уточнения, понадобившиеся диспетчеру.
Что записать при условном выборе курьера
Допустим, в наборе есть заказ с ограничением по виду транспорта и письмо о смене адреса. Ручной результат и черновик агента сравнивают по наличию обоих условий. Если помощник быстро собрал текст, но сотрудник заново прочёл всю переписку, экономии подготовительной работы ещё не видно. Если пропущено ограничение, скорость такого ответа не имеет самостоятельной ценности.
Учитывайте обучение: первое знакомство с формой задания и привычная работа дают разные наблюдения. Не объединяйте их в одно число без пояснения. Также не оценивайте только случаи, где все данные заполнены. Неполные обращения показывают, остаётся ли помощь полезной при необходимости уточнения, а не только в удобной демонстрации.
Когда результат нельзя считать положительным
Проба не оправдывает рабочее применение, если агент выдаёт пожелание за согласованный интервал или назначает человека без подтверждения его доступности. Такой вывод обсуждают независимо от быстроты подготовки. Причину разделяют: неверные данные, неясное поручение или ошибочный вывод модели. Для каждого недостатка нужен свой способ исправления.
По итогам можно оставить помощнику более узкий результат — извлечение условий без предложений о назначении. Это не требует менять действующее распределение рейсов. Рабочие наблюдения собирайте без раскрытия получателей в отчётной таблице; передачу внешней модели согласуйте отдельно. Формулируйте вывод только о проверенной задаче, не о производительности всей курьерской службы.
Как с этим работает Coagent
В Coagent у каждого сотрудника есть свой агент с ролью и правилами. Платформа работает на вашем сервере, а решения принимают люди.
Сравните ручную и агентскую сводки на сходных учебных заказах, включив в наблюдение время проверки каждого основания.