Готовность критерия важнее объёма пробных работ
Фраза проверить домашние задания не задаёт понятный результат. Работа может требовать проверки формы, логики решения или достижения учебной цели. Для пилота выберите один вид заготовки: например, оформление замечаний преподавателя по уже просмотренному заданию. Тогда можно проверить, сохранён ли смысл его выводов.
Преподаватель заранее описывает, что нельзя добавлять: балл, вердикт о зачёте, скрытый правильный ответ или вывод о способностях ученика. Куратор уточняет организационные правила сдачи. Эти документы должны быть согласованы до испытания, иначе пилот станет спором о методике, а не проверкой подготовки текста.
Набор материалов с трудными исключениями
Одних аккуратных работ недостаточно. Учебный набор должен показать, как агент сохраняет неопределённость и отличает отсутствие данных от ошибки ученика. В него включите:
- Замечание преподавателя без окончательного вывода о зачёте.
- Работу с пропущенным фрагментом, который сначала требуется запросить.
- Вопрос ученика, на который приложенный критерий не отвечает.
- Противоречие между старой инструкцией и текущим порядком сдачи.
Слишком широкий ответ как причина срыва
Допустим, преподаватель отметил необходимость уточнить рассуждение, а агент написал, что решение неверно. Черновик изменил степень определённости. Его нельзя принять даже при ясном стиле. Сверяющий возвращается к исходной заметке и требует сохранить вопрос без окончательного педагогического вывода.
Другой риск — оценивать пилот только по времени генерации. Преподаватель читает результат, проверяет основание фраз и удаляет лишние подсказки. Эти усилия входят в стоимость подготовки ответа. Когда проверка превращается в повторное оценивание всей работы, задача сформулирована слишком широко.
Разбор одной попытки до расширения пилота
Пройдите учебный пример от заметки преподавателя до согласованного текста. Сначала человек выделяет смысловые опоры, затем сравнивает их с черновиком. Он объясняет, какая правка возвращает исходный смысл, а какая связана только с формой. Результат фиксируют в отдельной рабочей таблице без данных ученика.
Не отправляйте пробные ответы автоматически и не меняйте действующий порядок оценивания. Если агент раскрывает готовое решение или добавляет педагогический вердикт, остановите именно этот вид подготовки до уточнения инструкции. Продолжение оправдано, когда преподаватель способен проверить черновик по своим заметкам, не восстанавливая учебную оценку заново.
Как с этим работает Coagent
Coagent ставится на сервер вашей компании и подключается к 1С, Битрикс24 и почте. Агент готовит результат, а важное действие выполняется после подтверждения человека.
Испытайте пилот на замечании без окончательного вердикта и убедитесь, что агент сохраняет вопрос преподавателя как вопрос.