Наблюдайте работу от чтения вопроса до готового ответа
Для оценки нужны реальные записи вашего процесса: начало обработки, время поиска справки, чтение черновика и окончательная правка. Значения фиксирует сотрудник доступным ему способом, например в отдельной таблице наблюдений. Не подставляйте предполагаемую экономию вместо замера.
Отдельно отмечайте причину задержки. Ожидание ответа абонента, поиск действующей редакции и подготовка формулировки — разные виды работы. Если агент ускорил написание, но увеличил поиск оснований, результат нельзя описать только как быстрый ответ.
Сравните ответы по одной редакции тарифной справки
Подготовьте обезличенные обращения одинакового типа. Пусть сотрудник сначала отвечает привычным способом, затем работает с черновиком агента по той же справке. Учитывайте, что повторное чтение знакомого вопроса облегчает задачу; для сравнения добавьте другой вопрос с близкой сложностью.
Допустим, оба обращения спрашивают о применимости акции, но одно содержит нужные условия, а другое нет. Их результаты надо рассматривать отдельно: готовый ответ и запрос уточнений решают разные задачи. Проверяйте полноту каждого результата, не штрафуя осторожный черновик за отсутствие догадки.
Не считайте исчезнувший этап скрытой экономией
Черновик может выглядеть коротким потому, что пропустил существенное ограничение тарифа. Если оценивать только время чтения, такой ответ покажется полезным. Сотрудник должен сначала подтвердить содержание и лишь затем учитывать скорость. Правки по применимости условий не равны косметической смене приветствия.
Другой источник самообмана — перенос работы на следующую смену. Оператор быстрее передал текст, но коллега вынужден повторно искать справку. В оценку включите замечания того, кто использует итог, и возвраты обращения на уточнение. Иначе сокращение одного этапа скроет дополнительное чтение на другом.
Сведите наблюдения в решение по типу обращения
В итоговой заметке опишите не общую полезность ИИ, а условия, при которых черновик помогает. Для ответа об акции проведите содержательную проверку:
- Применимость условий подтверждена действующим источником.
- Время сверки и исправлений включено в наблюдение.
- Открытые вопросы не скрыты за готовым обещанием.
- Следующий сотрудник понимает основание итогового ответа.
Сохраняйте неудобные результаты рядом с удачными
Не удаляйте из выборки обращения, где агент смешал тарифы или сотрудник предпочёл ручной ответ. Такие записи обозначают границы применения. Если проблемы сосредоточены в вопросах с исключениями, оставьте их в ручной обработке, а подготовку простых разъяснений рассматривайте отдельно.
Заключение может быть словесным: в переписке стало меньше пропусков, но поиск источника не сократился; сводка полезна, а готовый ответ требует лишней проверки. Числа добавляются только из собранных наблюдений. Расширение задачи обсуждайте по содержанию этих записей, не по впечатлению от демонстрации.
Как с этим работает Coagent
Платформа Coagent работает с почтой, Telegram, таблицами и 1С по правилам вашей компании. Рутину берёт агент, а подтверждение остаётся за человеком.
Заведите отдельную строку наблюдения для сверки тарифной справки, чтобы оценка агента учитывала не только написание ответа.