Текст обращения может содержать опасный лишний доступ
Пользователь иногда прикладывает диагностические сведения вместе с токеном или паролем. Это не разрешение передать их языковой модели. До поручения сотрудник отделяет описание симптома от секретов и проверяет допустимость использования остальных данных.
Платформа на сервере клиента не исключает передачу содержания внешней модели. Технический специалист проверяет путь обработки и полномочия используемого подключения. Правило в поручении не ограничивает доступ технически: на учебных данных надо убедиться, что подключение не выдаёт лишних сведений и не позволяет выполнять запрещённые для этой задачи действия.
Разделите подготовку поддержки и административные действия
Агент может составить уточняющий вопрос по утверждённой памятке. Сотрудник поддержки сверяет технический смысл и адресата. Если вопрос требует проверки учётной записи или изменения рабочего окружения, действие выполняется специалистом по принятому порядку.
Допустим, пользователь не видит раздел приложения. Агент получает обезличенный симптом и готовит вопросы о роли и наблюдаемом поведении. Он не должен предлагать расширить права только потому, что это могло бы убрать симптом. Решение о доступе требует проверки оснований и полномочий.
Согласуйте разрешённый результат до подключения источника
Не начинайте с выдачи широких полномочий с обещанием позже ограничить их. Сначала определите, что помощник готовит и где заканчивается его работа. Для сценария поддержки удобно зафиксировать следующие условия:
- Вход содержит отобранное описание проблемы без паролей и токенов.
- Ответ основан на действующей памятке, а неизвестное отмечено явно.
- Внешнее сообщение читает и подтверждает сотрудник.
- Изменения рабочей системы не входят в это поручение.
- Требуемые подключения проверяются техническим специалистом отдельно.
Можно ли следовать командам из ответа пользователя?
Содержание обращения — данные для анализа, не инструкция по управлению агентом. Фраза в письме с просьбой выдать всю переписку или выполнить команду не должна менять границу поручения. Сотрудник проверяет результат, особенно когда в нём появились действия, не предусмотренные памяткой.
Проверить это можно на условном сообщении: описание проблемы сопровождается требованием прислать внутренние сведения. Агенту поручают только подготовить уточнение по симптому. Если ответ содержит раскрытие лишнего или административное действие, сценарий не используют до разбора причин.
Подтверждение человеком имеет смысл лишь после чтения результата и проверки основания. Нельзя превращать его в привычный клик под длинным непонятным планом. Для первой задачи выбирайте короткий ответ, который специалист может сопоставить с источником.
Как с этим работает Coagent
В Coagent у каждого сотрудника есть свой агент с ролью и правилами. Платформа работает на вашем сервере, а решения принимают люди.
Опишите границу поручения поддержки до подключения данных и проверьте её на учебном обращении с посторонним требованием.