Формальная верификация — математическое доказательство того, что программа или система обладает заданным свойством, например никогда не выходит за границы массива или никогда не удаляет файлы вне рабочей папки. В отличие от тестирования, которое проверяет конечное число случаев, доказательство охватывает все случаи, описанные моделью. Для автономных агентов формальная проверка выносится за пределы нейросети и применяется к её действиям: каждый вызов инструмента проверяется по правилу решателем выполнимости формул, например программой Z3 (разработка Microsoft Research).
Формальная верификация математически доказывает свойство вместо поиска ошибок на отдельных примерах. Решатель выполнимости формул в теориях проверяет, выполнима ли логическая формула с учётом арифметики, массивов и функций, и одна из таких программ, Z3, — открытый решатель Microsoft Research. Доказать, что модель «не подумает плохого», нельзя, это упирается в теорему Райса; при этом доказать, что конкретное действие соблюдает правило, можно, потому что у действия конечный набор параметров. Решатель либо доказывает, что нарушение невозможно, и тогда действие допускается, либо находит значения, при которых правило нарушено, и тогда агент получает отказ с контрпримером; в MITR такое решение при 20 контрактах занимает в медиане 1,08 миллисекунды (замер 24 октября 2026 года).
Что такое формальная верификация
Это методы, которые доказывают корректность программ средствами математической логики. Свойство записывается формулой, программа или её модель — тоже формулой, и затем доказывается, что из второй следует первое.
Классический пример — микроядро seL4: в 2009 году группа Гервина Кляйна (NICTA, Австралия) доказала функциональную корректность его реализации, около 8 700 строк на языке C, в системе доказательств Isabelle/HOL (Higher-Order Logic), и доказательство заняло около 200 000 строк. Такой уровень стоит дорого, поэтому полную верификацию долго применяли только в критичных системах: ядрах операционных систем, авионике, криптографии.
Есть и более лёгкие формы: проверка моделей (model checking), статический анализ с доказательством отдельных свойств и проверка выполнимости формул решателями. Последняя и подходит для проверки действий агентов.
Что такое решатель выполнимости формул и Z3
SMT (Satisfiability Modulo Theories) — задача выполнимости формул с учётом теорий: целых и вещественных чисел, массивов, битовых векторов, неинтерпретируемых функций. Решатель получает набор утверждений и даёт один из трёх ответов.
- sat: утверждения совместны, и решатель предъявляет пример значений, то есть модель.
- unsat: утверждения несовместны ни при каких значениях.
- unknown: решить не удалось за отведённые ресурсы.
Z3 — решатель Microsoft Research, описанный Леонардо де Моурой и Николаем Бьёрнером на конференции Tools and Algorithms for the Construction and Analysis of Systems (TACAS) в 2008 году; его код открыт на GitHub под лицензией Массачусетского технологического института (MIT), а последний выпуск на 16 октября 2026 года — z3-5.3.1 от 15 октября 2026 года. У Z3 есть привязки к Python, C, C++, Java и другим языкам, а в Python он подключается пакетом z3-solver.
Почему проверить действие проще, чем «мысль» модели
Теорема Райса (1953) утверждает, что любое нетривиальное свойство поведения программ алгоритмически неразрешимо, поэтому нельзя написать проверщик, который для любой программы скажет, сделает ли она когда-нибудь что-то плохое. Языковая модель с её планированием по сути такая программа, и доказать, что агент никогда не захочет удалить базу, в общем случае невозможно.
Однако отдельный вызов инструмента задаётся конечным набором полей: имя инструмента, путь, сумма, получатель. Проверить, удовлетворяет ли он правилу, — задача другого класса. Если правило записано в разрешимом фрагменте логики, например без кванторов, с линейной целочисленной арифметикой и неинтерпретируемыми функциями (QF_UFLIA), решатель гарантированно даёт ответ.
Отсюда инженерный принцип: оставить верификацию самой модели и проверять каждое её действие на границе с внешним миром.
Допуск — доказательство, отказ — контрпример
Правило записывается как условие безопасности, а факты — как параметры вызова, и решателю передаётся отрицание условия вместе с фактами.
- unsat: нарушить условие при этих фактах невозможно, и это доказательство допустимости, поэтому действие допускается.
- sat: нашлись значения, при которых условие нарушено, и это контрпример, который показывает, что именно не так, и подсказывает, как исправить действие.
Условный пример на языке Python: агенту разрешены платежи не больше лимита.
from z3 import Int, Solver, Not
amount, limit = Int('amount'), Int('limit')
s = Solver()
s.add(limit == 100000) # правило: лимит платежа
s.add(amount == 120000) # факт: сумма в вызове агента
s.add(Not(amount <= limit)) # отрицание условия безопасности
print(s.check()) # sat — нарушение есть, вызов отклоняется
Для суммы 90 000 тот же код выдаст unsat, нарушение невозможно, и вызов допускается. Если нужного правилу факта в вызове нет, допустимость не доказана, и это тоже отказ.
Как это работает в MITR
В MITR института правила допуска записаны как файлы данных, контракты; на 24 октября 2026 года их 20 (на 14 октября 2026 года было 19), а логика решателя — QF_UFLIA. Допуск означает доказательство (unsat), отказ — контрпример с условиями исправления, а если для класса действий правила нет, решатель выносит отказ, и языковая модель в решении не участвует. Отказ исполняется в режиме запрета, и с 24 октября 2026 года в этом режиме работают все 20 контрактов, тогда как на 14 октября 2026 года в нём работал один класс, удаление файлов. Доказательство верно относительно контракта: правильность самого контракта остаётся на человеке, который его утвердил.
Чем такая проверка отличается от фильтров текста, разобрано на странице об ограничителях модели, а об архитектуре MITR рассказано на странице «MITR: архитектура и обоснование».
Сколько времени занимает проверка
На 24 октября 2026 года решение MITR по правилу при 20 контрактах занимает в медиане 1,08 миллисекунды (95-й процентиль — 1,96 миллисекунды), а вызов вместе с объяснением — 5,22 миллисекунды; на 14 октября 2026 года при 19 контрактах было 0,95 и 4,26 миллисекунды. Сетевой вызов внешнего сервиса обычно занимает десятки миллисекунд, так что проверка не становится узким местом.
Время зависит от сложности правила и логики: в разрешимых фрагментах без кванторов решатель отвечает быстро, а правила с кванторами или нелинейной арифметикой могут потребовать гораздо больше времени или дать ответ unknown. Поэтому правила для действий пишут в простом фрагменте логики.
Вопросы и ответы
Что такое формальная верификация простыми словами?
Это математическое доказательство того, что программа обладает нужным свойством при всех возможных входах сверх отдельных проверенных примеров, например доказательство того, что функция никогда не запишет данные за пределы буфера.
Чем формальная верификация отличается от тестирования?
Тест проверяет конечное число случаев и может пропустить ошибку в непроверенном. Формальная верификация доказывает свойство для всех случаев, описанных моделью, но требует точной формулировки свойства и модели.
Что такое Z3?
Это открытый решатель выполнимости формул от Microsoft Research, распространяемый под лицензией MIT. Он проверяет выполнимость логических формул с учётом арифметики, массивов, функций и других теорий и доступен из Python (пакет z3-solver), C, C++ и Java.
Можно ли формально доказать безопасность нейросети?
Полностью нельзя: по теореме Райса нетривиальные свойства поведения программ неразрешимы, а нейросети к тому же вероятностны. Отдельные свойства небольших сетей доказывают специальными методами, поэтому на практике для агентов проверяют каждое действие на границе системы по формальному правилу.
Что значит «допуск — доказательство, отказ — контрпример»?
Решатель получает отрицание правила вместе с параметрами действия. Если формула невыполнима (unsat), нарушение невозможно, и действие допускается, а если выполнима (sat), решатель предъявляет контрпример, то есть значения, при которых правило нарушено, и действие отклоняется.
Источники
Проверено по первоисточникам: 16.10.2026; замеры MITR — 24 октября 2026 года.