Guardrails («ограждения») для LLM — программные фильтры вокруг языковой модели, которые проверяют входящий запрос и исходящий ответ: не содержат ли они атаку, запрещённую тему, персональные данные, токсичный текст. Для чат-бота этого часто достаточно. Для ИИ-агента — нет: агент не только пишет текст, но и вызывает инструменты, и опасность — в действии, а не в слове. Действие проверяет другой механизм — шлюз действий.
Коротко
- Guardrails проверяют текст. Вход и выход модели — правилами, классификаторами или второй моделью.
- Вторая модель-надсмотрщик ошибается вероятностно, как и первая: она читает тот же текст и может быть обманута тем же приёмом.
- Шлюз действий проверяет вызов инструмента — конечный набор параметров — по правилу, детерминированно, без языковой модели.
- Шлюз не судит текст: он не знает, вежлив ли ответ и правдив ли он; он отвечает только на вопрос, допустимо ли действие.
- Нужны оба: guardrails — для разговора, шлюз — для действий.
Что такое guardrails?
Guardrails — слой проверок вокруг языковой модели. Типичные задачи:
- на входе — распознать промпт-инъекцию, попытку «снять ограничения», запрос на запрещённую тему, персональные данные в запросе;
- на выходе — не пропустить токсичный текст, утечку секретов или персональных данных, ответ вне разрешённой тематики, неверный формат.
Реализуются они по-разному: регулярными выражениями и списками, классификаторами, отдельной моделью-модератором (например, Llama Guard компании Meta — модель для классификации запросов и ответов), программируемыми сценариями диалога (NeMo Guardrails компании NVIDIA). Те же задачи ставит и российский регулятор: действующий п. 61 приказа ФСТЭК № 117 требует для сервисов ИИ в государственных системах задать шаблоны или допустимые тематики запросов и ответов и контролировать соответствие им (подробнее — на странице о приказе № 117).
Почему вторая нейросеть-надсмотрщик ошибается так же, как первая?
Потому что она решает ту же задачу тем же способом — вероятностно по тексту:
- Тот же материал. Модель-фильтр читает тот же запрос, что и основная модель. Инструкция, спрятанная в документе, может быть адресована и ей.
- Вероятностный ответ. Классификатор выдаёт оценку с какой-то ошибкой. Переформулировка, другой язык, кодировка — и оценка меняется.
- Нет гарантии полноты. OWASP в описании риска LLM01:2025 прямо пишет: неясно, существуют ли безотказные методы предотвращения промпт-инъекций.
- Надзор не богаче поднадзорного. По закону необходимого разнообразия (У. Р. Эшби) регулятор должен быть не беднее системы, которой управляет. Модель-надсмотрщик обычно меньше основной и наследует её класс ошибок.
Поэтому для разговора guardrails полезны — они снижают долю плохих ответов. Но гарантией для действия они служить не могут. Подробнее о самих атаках — на странице о промпт-инъекции.
Что проверяет шлюз действий и чего не проверяет?
Шлюз действий стоит между агентом и инструментами. Он перехватывает вызов — «удалить каталог /data/backup», «перевести 1,2 млн ₽ получателю X» — и сверяет его параметры с правилом, которое утвердил человек.
Проверяет:
- допустим ли инструмент для этой задачи;
- в разрешённых ли границах параметры — путь, сумма, получатель, объём выгрузки;
- известны ли все факты, нужные правилу. Если нужный факт не наблюдён, допустимость не доказана — это отказ, а не пропуск.
Не проверяет:
- истинность и тон ответа модели;
- намерения модели и то, «поняла» ли она подвох;
- действия, которые совершаются в обход шлюза. Поэтому шлюз ставят в разрыв: у агента не должно быть пути к системам, минуя его.
| Guardrails | Шлюз действий | |
|---|---|---|
| Что проверяет | Текст запроса и ответа | Вызов инструмента с параметрами |
| Как | Правила, классификаторы, вторая модель | Правило-контракт, детерминированная проверка |
| Ответ | Вероятностная оценка | Допустимо / недопустимо с причиной; повторяемо |
| Против инъекции | Ловит известные приёмы | Запрещённое правилом действие не проходит при любой формулировке — там, где включён режим запрета |
| Что пропускает | Новые формулировки атак | Всё, что правило разрешает; ошибки в самом правиле |
| Где нужен | Чат-боты, ассистенты, модерация | Агенты с доступом к данным, деньгам, коду |
Как это выглядит на практике?
Шлюз MITR, который строит институт, проверяет допустимость вызова решателем SMT по правилу-контракту, записанному как данные. Языковая модель в решении не участвует. На 14 октября 2026 года решение по правилу занимает 0,95 мс (медиана), вызов с объяснением — 4,26 мс; правила заданы для 19 классов действий. Отказ исполняется там, где для класса действий включён режим запрета: на эту дату — для удаления файлов; для остальных классов агент получает предупреждение.
Математическая основа такого подхода — формальная проверка: о ней — на странице о формальной верификации ИИ. Как шлюз встраивается в общую архитектуру — на странице ИБ 3.0.
Можно ли совмещать guardrails и шлюз?
Нужно. Это разные уровни:
- Guardrails на входе отсекают известные атаки и мусор до того, как модель начнёт планировать.
- Guardrails на выходе следят за текстом, который видит человек: тон, утечки, формат.
- Шлюз действий проверяет каждый вызов инструмента до исполнения — независимо от того, что пропустили фильтры.
- Журнал решений шлюза позволяет после инцидента восстановить, какое действие было допущено и по какому правилу.
Ошибка фильтра в такой схеме стоит неточного ответа, а не удалённой базы.
Частые вопросы (FAQ)
Что такое guardrails в контексте LLM?
Это программные ограждения вокруг языковой модели: проверки входящих запросов и исходящих ответов на атаки, запрещённые темы, утечки данных и неверный формат. Реализуются правилами, классификаторами или отдельной моделью-модератором.
Защищают ли guardrails от промпт-инъекций?
Частично. Они ловят известные приёмы, но работают на том же тексте, что и модель, и ошибаются с некоторой вероятностью; OWASP пишет, что неясно, существуют ли безотказные методы защиты. Для агентов надёжнее дополнительно проверять само действие.
Чем шлюз действий отличается от guardrails?
Guardrails оценивают текст запроса и ответа, обычно вероятностно. Шлюз действий проверяет конкретный вызов инструмента с параметрами по утверждённому правилу, детерминированно и без языковой модели; его решение повторяемо и объяснимо.
Что такое AI security gateway?
Так называют шлюз, который стоит между ИИ-приложением или агентом и внешними системами и проверяет проходящие через него запросы и действия. Важно, что именно он проверяет: только текст (тогда это разновидность guardrails) или вызовы инструментов с параметрами (тогда это шлюз действий).
Нужны ли guardrails, если есть шлюз действий?
Да. Шлюз не судит текст — ни тон, ни правдивость, ни утечку в ответе человеку. Guardrails закрывают разговор, шлюз — действия; вместе они дают защиту на обоих уровнях.
Источники
- OWASP Gen AI Security Project, «LLM01:2025 Prompt Injection»: https://genai.owasp.org/llmrisk/llm01-prompt-injection/
- Приказ ФСТЭК России от 11.04.2025 № 117 (ред. от 08.05.2026), п. 61: http://publication.pravo.gov.ru/document/0001202506170011
- АНО «НИИ Системного синтеза» — замеры шлюза MITR 14.10.2026
Проверено: 16.10.2026