6 ноября 2026 г.

PDD Kit: можно ли доказать, что код ИИ-агента работает правильно

Андрей Присекин
Автор

Андрей Присекин

Создаю AI-агентов, автоматизирую бизнес-процессы

PDD Kit от Microsoft Research помогает проверять код ИИ-агента: человек согласует требование, агент превращает его в формальный контракт, а Verus проверяет, соответствует ли ему исполняемый Rust-код. В демонстрации проверили вход в приложение, а не весь сайт. Это исследовательский прототип, поэтому поставить готовый PDD Kit по команде из статьи пока нельзя. Начни с проверки требований и границ доверия в собственном проекте.

Мне нравится здесь конкретный вопрос: если агент написал тысячи строк и сам же придумал тесты, кто проверит, что он вообще решал нужную задачу? Microsoft показала ответ на примере авторизации. Но слово «доказал» легко понять шире, чем позволяют результаты. Давай разберём, какую именно часть системы проверяет машина и где всё ещё нужен человек.

Что показала Microsoft

Исследователи взяли Pet Store - демонстрационное веб-приложение примерно на пять тысяч строк Rust. Сервер написан на Axum и работает с SQLite, интерфейс собран на Leptos для WebAssembly. Задача была конкретной: проверить логику входа, чтобы токен выдавался правильному пользователю только после проверки пароля, а административный токен получал только администратор. Это не доказательство корректности всех страниц магазина, оплаты или всей базы данных.

Название подхода - Proof-Driven Development, или разработка с опорой на доказательство. PDD Kit в этом опыте работает рядом с Chopin, средой совместного планирования GitHub Next. В ней человек утверждает смысл требований, после чего агент готовит формальное описание, код и доказательство. Последнее проверяет не другой чат-бот, а Verus - инструмент формальной верификации Rust с решателем ограничений. Обычные тесты при этом не исчезают.

Обрати внимание на статус: Microsoft называет PDD Kit исследовательским прототипом. Я не нашёл в анонсе открытого дистрибутива или команды его установки. Verus существует отдельно и доступен публично; подменять им весь PDD Kit было бы нечестно.

Почему зелёные тесты не отвечают на главный вопрос

В исходном запросе разработчик написал по-английски правило, которое я переведу так: «токен только при верном пароле». Кажется однозначным. Но вход, который никогда никого не пускает, тоже выполняет это условие: с неверным паролем токен никто не получает. Microsoft показывает эту ловушку на карточке решения. Человек дополнил правило: при верном пароле и существующем аккаунте вход должен сработать, если поиск и подпись токена не завершились ошибкой. Одной фразы оказалось мало, и машина не имеет права молча выбрать удобное прочтение.

Представь обычный набор автотестов. Агент написал обработчик, затем тесты на два привычных случая - верный пароль и неверный. Они прошли. Но если вход сравнивает пароль одной учётной записи, а подписывает токен для другой, оба простых теста могут остаться зелёными. Требование должно связывать пароль, найденную запись и владельца выданного токена. Именно эту связь Microsoft внесла в контракт login_flow.

Тест пробует конкретные примеры. Формальная проверка отвечает на более узкий, зато сильный вопрос: выполняется ли явно записанное свойство для всех входов, описанных моделью, при принятых допущениях. Если свойство забыли записать, зелёное доказательство ничего о нём не скажет. Мне кажется, эта оговорка важнее всех красивых скриншотов с галочками.

Как устроен путь от слов к проверке

Сначала pdd-plan читает существующий код и спрашивает человека о спорных местах. Если ответ меняет объём доказательства или число доверенных компонентов, план идёт на повторное согласование. Например, в опыте с логином разработчик попросил проверить и последовательность поиска записи и подписи токена: её вынесли в проверяемую функцию login_flow. Оболочка HTTP-обработчика, которая распаковывает запрос, осталась доверенной и тестируемой. В статье Microsoft это отдельный выбор человека, а не незаметное расширение обещаний инструмента.

Утверждённый смысл переводят в контракт на Rust: что функция принимает, при каких условиях возвращает токен и кому он принадлежит. Потом pdd-prove поручает агенту написать или изменить реализацию и доказательство. Verus проверяет, что исполняемая функция выполняет указанное ensures, если выполнены её предусловия. Текст доказательства тоже может создать агент, но итоговую формальную проверку проводит отдельный детерминированный инструмент.

Запрос проходит через контракт и проверку Verus, а доверенные компоненты проверяют тестами

Есть хитрый контроль качества самого контракта: PDD Kit подставляет в копию кода намеренные ошибки, по одной на утверждение. Если ошибочная версия всё ещё проходит проверку, требование оказалось слишком слабым. Например, формально доказанная фраза «не пускать с неправильным паролем» пропустила бы версию «не пускать вообще никого».

Наконец, pdd-ship добавляет проверку Verus в CI. При следующей правке логина меняется код - доказательство проверяется заново. Это не магический сертификат на вечность: значение имеют и версия проверяемого кода, и утверждённый контракт, и то, какие части системы оставили за его границей.

Где заканчивается математическое доказательство

Реальный логин обращается к базе, сравнивает хеш пароля, читает часы и подписывает JWT. Microsoft прямо перечисляет эти компоненты как доверенные и тестируемые, но не доказанные внутри Verus: запросы SQLite выполняются через библиотеку, bcrypt проверяет пароль, сторонняя библиотека формирует подпись. Для них агент описывает предполагаемое поведение в контракте и предлагает проверки с настоящими зависимостями.

Представь, что контракт утверждает: поиск по email всегда возвращает именно запись указанного пользователя. Если сама реализация поиска возвращает чужую запись, доказательство основной функции может оставаться правильным относительно ложной предпосылки. Поэтому человек отдельно подтверждает доверенные границы, а интеграционные тесты должны бить по настоящей базе и библиотекам. Сильный результат без списка предпосылок легко принять за обещание, которого никто не давал.

После одних лишь тестов отдельно доказали ядро логина; доверенные компоненты всё равно требуют проверки

Есть и свойства, которые команда просто не включила в модель: сколько длится вход, ограничены ли попытки перебора, дойдёт ли ответ при сбое сети, удобно ли написано сообщение об ошибке. Авторы оговаривают их отдельно. Формальное доказательство может быть безупречным, пока сервис не отвечает из-за зависшего запроса. Нужны обычные тесты, наблюдение в проде и ревью угроз.

Чем это отличается от Spec Kit и обычного TDD

Spec Kit помогает пройти путь от требований через план к реализации и хранить решение в явном виде. Это полезная дисциплина, и я уже разбирал разработку по спецификации. Но сам по себе текстовый план не заставляет исполняемую программу выполнять каждое условие. Здесь и появляется проверяемый контракт PDD: если код нарушает формально записанное правило, Verus должен отказать в проверке.

TDD отвечает на другой вопрос. Сначала фиксируешь ожидаемое поведение тестами, затем пишешь код, который их проходит. Это лучший базовый навык, чем слепое доверие агенту, но конечный набор тестовых случаев не переберёт все сочетания учётных записей, ролей и ошибок. PDD не отменяет TDD: тестами там закрывают реальные зависимости и пользовательский интерфейс, для которых математического доказательства в эксперименте нет.

Здесь есть и минус: контракт нужно сформулировать достаточно точно, а доказательство и поддержка доверенной границы стоят времени. Verus поддерживает подмножество Rust, и авторы PDD Kit пока показывают проверку именно Rust. Для обычного сайта на другом языке обещание «подключи PDD и всё доказано» сегодня не имеет подтверждённой инструкции. Показательный пример и готовая массовая услуга - разные вещи.

Как применить идею без доступа к PDD Kit

Я бы начал с одного рабочего действия, у которого цена ошибки видна без увеличительного стекла: выдача прав, подтверждение платежа или вход администратора. Выпиши инвариант обычными словами и попроси другого человека попробовать придумать систему, которая формально ему соответствует, но на деле ломает задачу. Фраза «платёж проходит только после подтверждения» допускает систему, которая отказывает всем. Уточни и успешный исход, и случаи отказа. После этого зафиксируй владельца объекта: какому пользователю принадлежит оплаченный заказ.

Дальше нарисуй границу доверия. Какие данные вернула БД? Кто проверил подпись? Что произойдёт, если внешний сервис повторит ответ? Для каждого предположения нужен тест на реальном интерфейсе компонента, а не только мок, который повторяет ожидания автора. Когда агент предлагает правку, проси его показать соответствие каждого правила тесту или проверяемому утверждению. Это доступно и без специальной платформы; доказательством в математическом смысле такой список, конечно, не становится.

Хочешь попробовать именно формальные контракты на отдельной функции Rust? У Verus есть документация и браузерная песочница, а в руководстве показаны requires и ensures. Начни с маленькой чистой функции, без базы и сети. Открытая песочница Verus - самостоятельный учебный шаг, не установка PDD Kit и не воспроизведение опыта Microsoft. Я не запускал их прототип и не выдаю свой совет за проверенный релизный рецепт.

Стоит ли менять рабочий процесс прямо сейчас

Для большой агентной правки я бы пока не выбрасывал просмотр кода. В демо Microsoft человек вместо построчного чтения проверял карту требований и доверенные допущения; это рассказ авторов об одном приложении, а не независимое исследование снижения числа ошибок в продакшене. Доказанный фрагмент логина и вся безопасность магазина - совсем разные масштабы.

Практический вывод скромнее и полезнее: каждый запрос агенту должен иметь условия успеха и отказа, связку ответа с правильным пользователем и список зависимостей, которым мы пока просто верим. Где ошибка дорога, поверх тестов имеет смысл исследовать формальную проверку узкого ядра. Где агент рисует страницу каталога, пока достаточно обычного ревью и тестов. Начни с одной функции, в которой зелёная галочка сейчас скрывает опасное допущение.

Источники

← Все статьи