Выберите единицу работы, которую команда завершает
Не сравнивайте число ответов модели с объёмом ручной работы. Для брифа единицей может быть готовый список вопросов клиенту. Для аналитики — проверенное пояснение к конкретной таблице. Эти результаты имеют разные источники и проверяющих, поэтому их показатели стоит вести отдельно.
До пробы опишите начало и конец наблюдения. Например, от получения разрешённого брифа до утверждения вопросов менеджером. Внутри границы учитывают поиск материалов, чтение, запрос, сверку и исправления. Так быстрая первая заготовка не скроет длинное восстановление исходного смысла.
Сравнение должно сохранять сложность исходного материала
Используйте учебные копии либо сопоставимые задачи с отмеченными различиями. Полный бриф и короткое письмо без цели нельзя сравнивать как равные. Если с агентом работали по очищенной таблице, а вручную — по разрозненным файлам, отдельно укажите вклад подготовки данных. Иначе вывод будет относиться не к помощнику, а к наведённому порядку.
Ход измерения для пояснения к отчёту можно построить так:
- Зафиксировать проверенную таблицу, определения показателей и ожидаемый вид текста.
- Подготовить ручной и пробный черновики на одной разрешённой основе.
- Проверить оба результата по источникам и записать содержательные правки.
- Сопоставить суммарные затраты до пригодного для клиента пояснения.
Записывайте причину правки, а не только её количество
Представим, агент быстро описал данные, но перепутал период и объяснил разницу причиной, которой нет в источниках. Аналитик исправляет оба места. Ошибки различны: первая касается чтения таблицы, вторая — границы вывода. Для решения о дальнейшей работе нужно понимать, что именно добавило трудозатраты.
Фиксируйте также полезные находки: замеченный пропуск единицы или противоречие цели. Они могут не сокращать время текста, но предотвращать неверный вопрос клиенту. Не превращайте это в заявленную экономию без наблюдения. Отмечайте фактическое действие специалиста и то, пришлось ли переделывать готовый материал.
Остановите оценку там, где источник нельзя восстановить
Если черновик содержит смешанные проекты или сведения неизвестного происхождения, его не отправляют и не засчитывают как готовый результат. Команда продолжает ручную подготовку. Причину разбирают до следующей пробы, особенно если в запрос попали данные, передача которых не согласована.
Решение о пользе должно быть узким: сводки брифов пригодны, пояснения пока требуют слишком много правок или наоборот. Нельзя из удобства одной операции вывести эффективность всего агентства. Показатели кампании зависят от множества условий, а помощь в подготовке отчёта не устанавливает влияние на продажи клиента.
Как с этим работает Coagent
В Coagent у каждого сотрудника есть свой агент с ролью и правилами. Платформа работает на вашем сервере, а решения принимают люди.
Сравните два способа подготовки одного пояснения на одинаковой таблице, включив в оценку все содержательные исправления.