Human-in-the-loop («человек в контуре») — схема, при которой ИИ-система не совершает действие, пока его не подтвердит человек. Для ИИ-агентов это самый распространённый способ контроля: в 37 из 70 публичных описаний внедрений агентов в России 2025–2026 годов (52,9 %) главная мера сдерживания — подтверждение человеком. Но при потоке действий подтверждение быстро превращается в штамп: человек нажимает «Подтвердить», не вчитываясь. Это называют усталостью от подтверждений (approval fatigue).
Коротко
- Human-in-the-loop — человек подтверждает действие ИИ до исполнения.
- Работает, пока действий мало. Когда агент предлагает сотни действий в час, внимание человека кончается раньше, чем поток.
- Подтверждение без проверки хуже его отсутствия: оно создаёт видимость контроля и переносит ответственность на того, кто нажал кнопку.
- Что делать: человек утверждает правила, а программа проверяет по ним каждое действие; подтверждение остаётся для исключений и действий высокого риска.
Что такое human-in-the-loop?
Это способ контроля, при котором решение или действие ИИ-системы вступает в силу только после подтверждения человеком. Различают три уровня участия:
| Уровень | Что делает человек | Пример |
|---|---|---|
| Human-in-the-loop | Подтверждает каждое действие до исполнения | Агент готовит платёж, бухгалтер нажимает «Провести» |
| Human-on-the-loop | Наблюдает и может вмешаться, но не подтверждает каждое действие | Оператор следит за панелью и останавливает агента при сбое |
| Human-out-of-the-loop | Не участвует в отдельных действиях | Агент действует сам в заданных рамках |
Регламент ЕС об ИИ (AI Act) требует для высокорисковых систем надзора человека (ст. 14), но не обязывает подтверждать каждое действие: меры надзора должны быть соразмерны рискам, уровню автономности и контексту применения. Люди, которым поручен надзор, должны понимать возможности и ограничения системы, помнить о склонности автоматически полагаться на её вывод (automation bias) и иметь возможность вмешаться или остановить систему.
Почему подтверждение каждого действия не масштабируется?
Причин три.
- Поток. Агент совершает действия быстрее, чем человек успевает их прочитать. Чем больше подтверждений в час, тем меньше времени на каждое.
- Почти всё — нормально. Если 99 запросов из 100 безобидны, человек учится нажимать «Подтвердить» автоматически. Сотый, опасный, проходит тем же жестом. Склонность автоматически полагаться на вывод системы называют automation bias; AI Act прямо требует, чтобы надзирающий человек о ней помнил (п. 4 «b» ст. 14).
- Человек видит не то. Он видит краткое описание действия, которое составил сам агент, — а не параметры вызова. Если агента ввели в заблуждение промпт-инъекцией, описание будет выглядеть разумно.
Похожее давно известно в центрах мониторинга безопасности: когда оповещений слишком много, значительная их часть остаётся неразобранной. Эссе Tian Pan «Approval Fatigue» (июнь 2026 года) переносит этот опыт на подтверждения действий ИИ и описывает, как шлюз подтверждения со временем вырождается в формальность.
Что подписывает человек, если не каждое действие?
Правила. Вместо сотни одинаковых подтверждений в час человек один раз утверждает, что агенту можно:
- какие инструменты доступны для задачи;
- в каких границах — суммы, получатели, пути, объём выгрузки;
- что запрещено всегда — например, удаление резервных копий или перевод на новые реквизиты без проверки;
- кто отвечает за правило и как оно меняется.
Дальше каждое действие агента сверяет с правилом программа — до исполнения, детерминированно, с записью решения в журнал. Человек разбирает отказы и инциденты и меняет правила. Так устроена архитектура ИБ 3.0; чем проверка действия отличается от фильтра текста — на странице о guardrails.
Где подтверждение человека всё же нужно?
Подтверждение не исчезает — оно становится редким и потому осмысленным:
- необратимые действия высокого риска — крупный платёж, удаление производственных данных, массовая рассылка клиентам;
- исключения — действие, которое правило не покрывает или прямо запрещает, но бизнесу оно нужно;
- изменение самих правил и перевод класса действий из режима предупреждения в режим запрета;
- первые недели работы агента, пока по каждому классу действий не накоплена статистика.
Хорошее подтверждение показывает человеку не пересказ агента, а параметры вызова и причину, по которой правило не дало действию пройти автоматически.
Что с этим делать
- Посчитать поток. Сколько подтверждений в день получает каждый сотрудник и сколько из них он отклонил. Если почти ноль — подтверждение стало штампом.
- Разделить действия по риску. Рутинные — под правило; необратимые и крупные — под подтверждение.
- Записать правила для рутинных действий и утвердить их на уровне руководства.
- Показывать подтверждающему параметры, а не описание от агента.
- Вести журнал и подтверждений, и автоматических решений: он понадобится при разборе инцидента и в споре о том, кто отвечает за ошибку ИИ.
Частые вопросы (FAQ)
Что такое human-in-the-loop простыми словами?
Это схема, при которой ИИ-система не совершает действие, пока его не подтвердит человек. Например, агент готовит платёж, а бухгалтер его проводит.
Что такое усталость от подтверждений (approval fatigue)?
Это состояние, при котором человек, получающий много запросов на подтверждение, перестаёт их проверять и подтверждает автоматически. Подтверждение остаётся формально, а контроль исчезает.
Достаточно ли human-in-the-loop для безопасности ИИ-агентов?
Только при малом числе действий. При потоке человек перестаёт вчитываться, а видит он часто пересказ агента, а не параметры действия. Надёжнее, чтобы человек утверждал правила, а каждое действие проверялось по ним автоматически.
Чем human-in-the-loop отличается от human-on-the-loop?
В human-in-the-loop человек подтверждает каждое действие до исполнения. В human-on-the-loop он наблюдает за работой системы и может вмешаться, но не подтверждает каждое действие.
Когда подтверждение человека всё-таки обязательно?
Для необратимых действий высокого риска, для исключений из правил, для изменения самих правил и в первые недели работы агента, пока не накоплена статистика по его действиям.
Источники
- Регламент (ЕС) 2024/1689 (AI Act), ст. 14 «Надзор человека», EUR-Lex: https://eur-lex.europa.eu/eli/reg/2024/1689/oj
- Tian Pan, «Approval Fatigue: How Human-in-the-Loop Gates Decay Into Rubber Stamps», 25.06.2026 (авторское эссе): https://tianpan.co/blog/2026-06-25-approval-fatigue-how-human-in-the-loop-gates-decay-into-rubber-stamps
- АНО «НИИ Системного синтеза» — кабинетный обзор 70 публичных описаний внедрений ИИ-агентов в России 2025–2026 годов, октябрь 2026
Проверено: 16.10.2026