Закон необходимого разнообразия Эшби говорит: управлять системой может только регулятор, у которого не меньше разнообразия, чем у возмущений, с которыми он справляется. ИИ-агенты совершают действий больше, чем человек способен прочитать, поэтому «человек проверяет каждый шаг» не работает по построению. Выход — два приёма самого Эшби: сжать разнообразие действий агента до конечного перечня правил и усилить регулятор, применяя правило, однажды утверждённое человеком, к каждому действию автоматически. Модель жизнеспособной системы Бира показывает, где в компании должен стоять такой контроль: между агентами и средой, независимо от тех, кто агентами руководит.
Коротко
- Закон Эшби (1956): разнообразие исходов можно уменьшить только разнообразием регулятора — «только разнообразие может уничтожить разнообразие».
- Человек как регулятор проигрывает агентам по скорости и объёму: ручное одобрение каждого действия превращается в формальность (усталость от подтверждений).
- Первый приём — ослабить возмущения: не разбирать мысли модели, а свести её действия к конечному перечню классов и правил. Нет правила — нет действия.
- Второй приём — усилить регулятор: человек утверждает правило один раз, а проверка по нему применяется к каждому действию до исполнения.
- Модель Бира: агенты — исполнители (система 1), человек утверждает правила и держит ключи (система 5), а между ними нужен независимый канал проверки каждого действия (S3*), которому не подчиняются ни агенты, ни их операторы.
Что говорит закон необходимого разнообразия Эшби?
У. Р. Эшби сформулировал его в «Введении в кибернетику» (1956, глава 11 «Requisite Variety»). Есть возмущения D, которые среда обрушивает на систему, регулятор R, который на них отвечает, и исходы O. Если разнообразие измерять логарифмом числа различимых состояний, минимальное разнообразие исходов не меньше разности: V(O) ≥ V(D) − V(R). Уменьшить разнообразие нежелательных исходов можно только увеличив разнообразие регулятора. Сам Эшби пишет: только разнообразие регулятора может подавить разнообразие, идущее от возмущений, — разнообразие уничтожает разнообразие.
Для компании с ИИ-агентами возмущения — это всё, что агенты могут сделать: платежи, удаление данных, письма, вызовы программ. Регулятор — то, чем компания их ограничивает. Если регулятор — один человек, который читает и одобряет действия, его разнообразие ограничено вниманием и временем, а разнообразие агентов растёт вместе с их числом и скоростью.
Почему «человек в петле» не справляется с агентами?
Потому что поток действий агентов растёт, а внимание человека — нет. Когда на одного сотрудника приходятся сотни запросов на подтверждение в день, одобрение становится автоматическим: человек нажимает «Подтвердить», не читая. По закону Эшби это ожидаемо: регулятор с меньшим разнообразием, чем у возмущений, не удерживает исходы.
Из этого не следует, что человек не нужен. Следует, что человек должен регулировать не каждое действие, а правила, по которым действия проверяются. Где одобрение человеком остаётся необходимым и как избежать усталости от подтверждений — на странице о human-in-the-loop.
Два приёма Эшби для управления ИИ-агентами
| Приём | Что делает | Как выглядит для агентов |
|---|---|---|
| Ослабить разнообразие возмущений | Сжимает то, с чем имеет дело регулятор | Действие агента описывается конечным набором признаков: что делается, с чем, на какую сумму, куда уходят данные. Разрешено только то, что описано правилом: нет правила — нет действия |
| Усилить разнообразие регулятора | Даёт регулятору больше состояний, чем у него было | Человек утверждает правило один раз, а проверка по нему применяется к каждому действию автоматически — быстрее, чем агент совершает следующий шаг |
Ключевое различие — между мыслью и действием модели. Разнообразие внутренних рассуждений языковой модели практически неисчислимо, и предсказать их по весам или по тексту запроса нельзя. Но, чтобы изменить внешний мир — перевести деньги, удалить таблицу, отправить письмо, — агент должен сформировать конкретный вызов с конечным числом параметров. В этой точке правило и проверяется. Об этом водоразделе подробнее — на странице ИБ 3.0.
Модель жизнеспособной системы Бира и ИИ-агенты
Стаффорд Бир (модель жизнеспособной системы, Viable System Model; «Мозг фирмы», 1972, и «Сердце предприятия», 1979) показал, что любая устойчивая организация состоит из пяти систем и особых каналов связи между ними. Модель рекурсивна: так устроены и отдел, и компания, и государство. Для компании с ИИ-агентами её удобно читать так:
| Система по Биру | Функция | В компании с ИИ-агентами |
|---|---|---|
| Система 1 | Исполнение: производит результат в среде | ИИ-агенты, которые пишут код, работают с клиентами и платежами |
| Система 2 | Координация исполнителей | Протоколы взаимодействия агентов и платежей, очереди, расписания |
| Система 3 | Оперативное управление ресурсами здесь и сейчас | Оркестраторы задач, бюджеты и квоты, наблюдаемость |
| Канал S3* | Независимая проверка исполнителей в обход отчётов системы 3 | Проверка каждого действия агента по утверждённому правилу до исполнения и журнал, который нельзя незаметно исправить |
| Система 4 | Разведка внешней среды и будущего | Испытания: попытки заставить агентов нарушить правила раньше, чем это сделает посторонний |
| Система 5 | Политика и идентичность: что допустимо | Человек — собственник, директор по безопасности, регулятор: утверждает правила и отвечает за них |
| Алгедонический канал | Экстренный сигнал мимо иерархии | «Не измерено — не исполнять»: нераспознанное действие останавливается и уходит к человеку |
Канал S3* — главное, что дают Бир и Эшби практику. Отчёты системы 3 (дашборды, сводки агентов о проделанной работе) составляет тот, кто управляет исполнителями. Проверке, которой можно доверять, нужен независимый канал прямо к действиям исполнителей.
Типичная ошибка: ключи у агента
Когда агенту кладут в конфигурационный файл ключи от рабочей базы данных или платёжной системы, исполнитель (система 1) получает полномочия, которые по Биру принадлежат системе 5, а канал S3* исчезает: проверять действие уже некому и не на чем. Так случилось в апреле 2026 года с PocketOS: кодовый агент нашёл в конфигурационном файле токен с избыточными правами и одним вызовом удалил рабочую базу вместе с резервными копиями; в разборе Lumenova четырёх инцидентов 2026 года корень отказа — избыточные права доступа, а не качество модели (разбор инцидентов). По модели Бира агент должен передавать намерение туда, где действие проверяется по правилу, утверждённому человеком, а не держать ключи сам.
Что с этим делать
- Посчитать разнообразие: сколько действий агенты совершают в день и сколько из них человек реально может прочитать.
- Перейти от одобрения действий к утверждению правил: человек подписывает правило, проверка применяет его к каждому действию.
- Описать действия агентов конечным перечнем классов — платёж, удаление, отправка данных наружу, вызов программы — с явными границами для каждого.
- Закрыть перечень: действие без правила не исполняется.
- Отделить проверку от управления агентами (S3*) и вести журнал решений, который нельзя незаметно исправить.
- Забрать у агентов ключи с избыточными правами и завести сигнал «не измерено — не исполнять» для неизвестных действий.
Частые вопросы (FAQ)
Что такое закон необходимого разнообразия Эшби простыми словами?
Управлять системой может только тот, у кого не меньше вариантов ответа, чем у неё вариантов поведения. Формально: разнообразие нежелательных исходов не меньше разности разнообразия возмущений и разнообразия регулятора. У. Р. Эшби сформулировал это в «Введении в кибернетику» (1956).
Как закон Эшби применяется к ИИ-агентам?
Агенты совершают больше действий, чем человек может проверить. Значит, регулятор нужно усилить — применять правило, утверждённое человеком, к каждому действию автоматически, — и ослабить возмущения: свести действия агентов к конечному перечню классов с явными правилами.
Что такое модель жизнеспособной системы Бира?
Кибернетическая модель организации Стаффорда Бира: пять систем — исполнение, координация, оперативное управление, разведка будущего и политика — и особые каналы связи, включая независимую проверку исполнителей (S3*) и экстренный алгедонический сигнал. Модель рекурсивна и применима к отделу, компании и государству.
Где в модели Бира место ИИ-агента?
В системе 1 — среди исполнителей. Правила для него утверждает человек (система 5), а проверять его действия должен независимый канал S3*, а не тот, кто управляет агентами.
Почему нельзя просто поставить человека одобрять каждое действие агента?
Внимание человека ограничено, а поток действий агентов растёт. Когда подтверждений становится много, одобрение превращается в формальность. По закону Эшби такой регулятор не удерживает исходы; человек должен утверждать правила, а не каждое действие.
Что такое алгедонический канал в управлении ИИ-агентами?
Экстренный сигнал в обход обычной иерархии отчётов. Для агентов это правило «не измерено — не исполнять»: если действие не распознано или его не удалось проверить, оно не исполняется и передаётся человеку.
Источники
- Ashby W. R. An Introduction to Cybernetics. — London: Chapman & Hall, 1956. Глава 11 «Requisite Variety» — Principia Cybernetica: https://pespmc1.vub.ac.be/books/IntroCyb.pdf
- Beer S. Brain of the Firm. — London: Allen Lane, 1972.
- Beer S. The Heart of Enterprise. — Chichester: Wiley, 1979.
- Книга института «Доказанное действие. Власть и контроль над ИИ-агентами: стратегия 2027–2035», глава 7 «Кибернетика управления в эпоху агентов»: https://isslab.ru/kniga/
Проверено: 18.10.2026 — формулировка закона Эшби по тексту первого издания (глава 11).
Связанные страницы
- Human-in-the-loop и усталость от подтверждений
- ИБ 3.0: безопасность действий ИИ-агентов
- Guardrails для LLM и шлюз действий: в чём разница
- Инциденты ИИ-агентов: удалённые базы, файлы и сервисы
- Книга «Доказанное действие. Власть и контроль над ИИ-агентами: стратегия 2027–2035»
Канал института «ИБ 3.0: Безопасность AI-агентов» — разборы инцидентов с ИИ-агентами, изменения норм с датой проверки, новые страницы института. Читать в Telegram →