Знания

Знания · редакция 26 октября 2026 года

Знания: безопасность программ-агентов простыми словами

Раздел собран для читателя любого уровня. Тот, кто знает нейросети по чат-ботам, найдёт здесь, что такое агент и что с ним уже случалось, а специалист — разборы атак, способов защиты и норм. Начать проще всего с пути погружения: тринадцать страниц по порядку, и на каждой сказано, что становится ясно.


Путь погружения: от агента до проверки угроз

Тринадцать страниц по порядку: что делает агент, как его атакуют, почему фильтра текста мало и как действие проверяется до исполнения. На каждом шаге — что становится ясно и ссылка на следующий.

  1. 01Что такое агентАгент сам вызывает инструменты: проводит платёж, меняет запись в базе, отправляет письмо.
  2. 02ИнцидентыУщерб в разобранных случаях 2025–2026 годов наносило действие агента, и написанный им текст здесь ни при чём.
  3. 03Промпт-инъекцияЧужой текст в письме или на странице подменяет агенту задачу, и фильтр текста эту подмену не закрывает.
  4. 04Протокол MCPАгент подключается к инструментам по протоколу контекста модели MCP (Model Context Protocol), и каждое его действие проходит через вызов инструмента.
  5. 05Атаки через MCPЧерез вызов инструмента проходят инъекции и разрушающие команды, а меры против них отличаются по силе.
  6. 06Агент в разработкеАгент, который сам пишет и выкатывает код, получает права конвейера разработки, и его ошибка попадает в рабочую систему.
  7. 07Угрозы в банке данныхУгрозы для систем с искусственным интеллектом уже внесены в банк данных угроз Федеральной службы по техническому и экспортному контролю.
  8. 08Человек в контуреПодтверждение человеком со временем превращается в формальность, потому что человек устаёт быстрее агента.
  9. 09Ограничители и контроль действийОграничитель судит текст модели, а слой контроля проверяет само действие, поэтому нужны оба.
  10. 10ИБ 3.0Принцип третьего поколения защиты: контроль опережает исполнение, и недоказанное действие не исполняется.
  11. 11Формальная проверкаРешатель доказывает соблюдение правила, а при нарушении называет контрпример.
  12. 12MITRПринцип работает с апреля 2026 года: решатель допускает действие по контракту, на каждое решение пишется квитанция.
  13. 13Стенд INDRAСтенд проверяет веб-сервисы безопасными пробами и превращает найденную уязвимость в проект правила.
Темы раздела

Все страницы по группам

С чего начать

Что такое агент и что с ним уже случалось.

Управление и стратегия

Как управлять организацией, в которой работают агенты.

Справочное

Термины, книга и карта всех страниц.