Как измерить эффект от ИИ-агента в девелопменте

Какие наблюдения стоит завести до запуска

У застройщика процессы длинные и размазаны по отделам, поэтому выбирайте для замера что-то узкое. Например, согласование допсоглашения с подрядчиком или подготовку договора для покупателя. Идея в том, чтобы сравнивать одно и то же с одним и тем же.

За две-три недели до запуска фиксируйте в обычной таблице несколько простых признаков. Без сложных формул, только то, что можно вписать вручную за минуту.

Не забудьте записать и субъективное: что раздражает сотрудников в этом процессе больше всего. Через месяц тот же вопрос покажет, ушла ли эта боль.

• Сколько рабочего времени сотрудник тратит на один документ от начала до отправки.
• Сколько раз документ возвращался на правки и по какой причине.
• Сколько дней проходит между запросом подрядчика и ответом ему.
• Сколько договоров оказались с опечатками в реквизитах уже после подписи.

Как сравнить две половины периода честно

После запуска повторяйте те же наблюдения на тех же типах документов. Старайтесь, чтобы сравниваемые периоды были похожи по нагрузке: нельзя сравнивать тихую неделю до запуска с горячей неделей перед сдачей корпуса.

Время на проверку результата агента тоже входит в замер. Если черновик договора собран за минуту, но юрист читает его вдвое дольше обычного, выигрыш лежит не там, где казалось. Запишите оба интервала.

Где легко обмануть самого себя

Первая ловушка — удачный образец. Показывают тот случай, когда всё прошло гладко, и забывают про остальные. Договоритесь, что в оценку идут все документы подряд, без отбора.

Вторая — путаница причин. Если после запуска работа с подрядчиками стала идти быстрее, это может быть заслугой нового прораба. Отметьте в заметках, что ещё менялось в команде за этот период.

Третья — подмена цели. Скорость подготовки растёт, а качество договоров падает, и никто не замечает, потому что смотрели только на сроки.

Четвёртая ловушка — слишком короткий срок. За неделю нельзя отличить эффект от случайных колебаний нагрузки, особенно в отрасли с сезонными пиками продаж.

Итоговая проверка перед выводами

Соберите руководителя процесса и исполнителей и пройдите по замерам вместе. Ответить нужно на три вопроса: стало ли проще людям, не выросло ли число возвратов на доработку, окупает ли результат время на настройку.

Если ответы неоднозначны, продлите наблюдение ещё на месяц, но не меняйте методику посреди измерения. Разумнее иметь скромный, но понятный вывод, чем красивый и несравнимый.