Знания: безопасность программ-агентов простыми словами
Раздел собран для читателя любого уровня. Тот, кто знает нейросети по чат-ботам, найдёт здесь, что такое агент и что с ним уже случалось, а специалист — разборы атак, способов защиты и норм. Начать проще всего с пути погружения: тринадцать страниц по порядку, и на каждой сказано, что становится ясно.
Путь погружения: от агента до проверки угроз
Тринадцать страниц по порядку: что делает агент, как его атакуют, почему фильтра текста мало и как действие проверяется до исполнения. На каждом шаге — что становится ясно и ссылка на следующий.
- 01Что такое агентАгент сам вызывает инструменты: проводит платёж, меняет запись в базе, отправляет письмо.
- 02ИнцидентыУщерб в разобранных случаях 2025–2026 годов наносило действие агента, и написанный им текст здесь ни при чём.
- 03Промпт-инъекцияЧужой текст в письме или на странице подменяет агенту задачу, и фильтр текста эту подмену не закрывает.
- 04Протокол MCPАгент подключается к инструментам по протоколу контекста модели MCP (Model Context Protocol), и каждое его действие проходит через вызов инструмента.
- 05Атаки через MCPЧерез вызов инструмента проходят инъекции и разрушающие команды, а меры против них отличаются по силе.
- 06Агент в разработкеАгент, который сам пишет и выкатывает код, получает права конвейера разработки, и его ошибка попадает в рабочую систему.
- 07Угрозы в банке данныхУгрозы для систем с искусственным интеллектом уже внесены в банк данных угроз Федеральной службы по техническому и экспортному контролю.
- 08Человек в контуреПодтверждение человеком со временем превращается в формальность, потому что человек устаёт быстрее агента.
- 09Ограничители и контроль действийОграничитель судит текст модели, а слой контроля проверяет само действие, поэтому нужны оба.
- 10ИБ 3.0Принцип третьего поколения защиты: контроль опережает исполнение, и недоказанное действие не исполняется.
- 11Формальная проверкаРешатель доказывает соблюдение правила, а при нарушении называет контрпример.
- 12MITRПринцип работает с апреля 2026 года: решатель допускает действие по контракту, на каждое решение пишется квитанция.
- 13Стенд INDRAСтенд проверяет веб-сервисы безопасными пробами и превращает найденную уязвимость в проект правила.
Все страницы по группам
С чего начать
Что такое агент и что с ним уже случалось.
Как атакуют
Через что агента заставляют сделать не то.
Как защищаются
Что останавливает действие, а что только текст.
Нормы и ответственность
Какие законы и правила касаются действий агента и кто за них отвечает.
- Закон об искусственном интеллекте
- Искусственный интеллект в приказе № 117
- Приказ № 117 кратко
- Персональные данные в действиях агента
- Регламент Европейского союза
- Стандарт управления системами искусственного интеллекта
- Регулирование агентов в Китае
- Кто несёт ответственность
- Ответственность директора
- Киберстрахование
Управление и стратегия
Как управлять организацией, в которой работают агенты.