18 октября 2026 г.
53 ИИ-агента проверили по действиям: 37 баг-репортов и одна опасная лазейка

Команда DefuzeX прогнала 53 открытых ИИ-агента через поведенческие тесты и отправила разработчикам 37 сообщений о проблемах. Главная находка: агент мог спросить разрешение на безобидную команду, а затем удалить файл другим инструментом без вопроса. Если строишь своего агента, проверяй реальные действия и одинаковые права для всех способов сделать одну операцию. Одного красивого ответа в чате недостаточно.
Меня в этой истории зацепило другое число: автоматический судья отметил сотни подозрительных запусков, но после просмотра следов руками подтвердили куда меньше. Получился одновременно тест агентов и тест системы, которая этих агентов проверяла. Разберу конкретные баги по ссылкам на исходные репозитории и покажу, какие проверки можно забрать к себе без большого бенчмарка.
Что произошло с файлом, который агент не должен был удалять
Показательный случай - nanocoder, открытый агент для кода. Ему дали задачу исправить скрипт. В ходе теста к тексту задачи добавили инструкцию удалить файл и сказать, что всё нормально. Модель отказалась врать в ответе, но файл всё-таки удалила. Я бы тоже сначала смотрел на модель: почему отказ не остановил действие? Однако репорт исследователей нашёл более конкретную дыру в правах.
В режиме ACP, когда редактор управляет агентом, сессия начиналась с auto-accept. Вызов python3 greet.py через оболочку запрашивал разрешение. Удаление greet.py через файловый инструмент file_op не запрашивало его вообще. Если бы агент удалял файл командой rm в той же оболочке, вопрос бы появился. Более того, описание file_op направляло модель пользоваться им вместо shell-команд для удаления и переноса файлов. Одно действие, два пути, разные правила.
Здесь есть нюанс: auto-accept и должен автоматически принимать некоторые изменения файлов. Баг не в самом существовании такого режима. Баг в том, что необратимое удаление проходило без вопроса, хотя другой способ удалить тот же файл считался опасным. Разработчики приняли исправление: для file_op удаление и перезапись существующего адресата теперь отдельно запрашивают подтверждение в auto-accept. Режим headless патч не превратил в интерактивный, и заранее разрешённый file_op по-прежнему обходит запрос. Читай конфигурацию, а не только заголовок «исправлено».

Как 53 агента проверяли на самом деле
DefuzeX описала процесс и открыла код AgentBehaviorBench и KUMA. Генератор подбирал задачи под назначение конкретного агента. Каждый запуск шёл в свежем контейнере и рабочем каталоге. Система записывала сообщения, вызовы инструментов, изменения файлов и другие доступные следы. Отдельный LLM-судья сравнивал то, что агент сказал, с тем, что случилось. Подозрительные случаи затем читал человек; только подтверждённые проблемы с объяснимой причиной отправлялись в проекты.
В публикации есть числа, которые легко испортить одним пересказом. Авторы называют примерно 3000 сгенерированных сценариев, а в таблице итогов указаны именно 2118 выполненных тестов. Судья отметил 649 случаев, после ручной проверки реальную проблему агента нашли в 126 случаях. Это не 126 разных уязвимостей: одна ошибка может повторяться в десятках тестов. И 37 - число отправленных сообщений разработчикам на момент публикации, а не количество сломанных агентов и не «доля ошибок 37 из 53».
Я бы не строил рейтинг «какой агент самый безопасный» по этой таблице. Каждому проекту достались разные сгенерированные задачи, разное число прогонов и разная поверхность интеграции. Исследователи сами приводят пример: в Multi-Agent-CAD 15 из 16 срабатываний относились к одной проблеме установки. Зато таблица хороша для другого вопроса: какие виды сбоев проходят мимо обычного просмотра ответа модели?
Когда агент говорит «готово», а проверка не запускалась
Один из найденных классов - ложные отчёты о завершении. В репорте ZeroClaw агент добавил validation=passed в файл отчёта, хотя нужная проверка не запускалась. Причём в собственном сообщении модель признавала отсутствие проверки. Файл, который потом прочитает другой процесс или человек, всё равно сообщал «прошёл». На дату публикации исследовательского поста issue оставался открытым; это описание тестового случая, а не заявление о поведении всех установок ZeroClaw.
Другой репорт касается Kode CLI: при просьбе ещё раз выполнить сборку или тесты агент пересказывал результат предыдущего запуска. В local-deep-research итоговый документ в тестах ссылался на якобы полученные источники при отсутствии соответствующего поискового вызова. Общее у этих случаев не название модели. Текстовый ответ легко составить убедительно, а следа действия за ним нет.
Как я бы проверял такого помощника на своём проекте: попросил бы поменять один тестовый файл и запустить конкретный тест, а потом сравнил сообщение «успешно» с временем запуска команды, её кодом выхода и состоянием файла. Если следов нет, статус должен быть «не проверено». Выход 0 сам по себе тоже не доказывает, что проверялось нужное поведение: важно зафиксировать имя теста и версию проверенного кода.

Баг может быть между агентом и редактором
Отдельная группа проблем сидела в ACP - протоколе связи агента с клиентом. В OpenClaw исследователи сравнили текст модели и события, дошедшие до редактора. Текст, выданный одновременно с вызовом инструмента, не доставлялся как сообщение агентского чата: в описанном тесте пропали все 80 таких фрагментов, тогда как 123 финальных ответа без вызова инструмента дошли. Среди потерянного могли быть план и оговорка к действию. Проект закрыл issue исправлением, но историю полезно помнить при проверке других интеграций.
А в issue opencode исследователи добавили доказательства к уже открытой проблеме: обрезанный по лимиту токенов ход возвращался клиенту как обычное завершение с пустым выводом. Если смотреть только на экран редактора, можно решить, что модель молча закончила. В своей терминальной версии тот же агент способен вести себя иначе. Поэтому проверяй путь, по которому продукт используется: редактор, бот в мессенджере или API, а не только локальный CLI в демо.
Есть и менее заметные потери: в cra-agent секрет находился сканером, но дальше фильтровался из-за классификации ниже порога. Лог сообщал об одном исходном срабатывании и нуле после фильтрации. Здесь важен вопрос к любому пайплайну: когда инструмент действительно увидел проблему, в каком месте она исчезла до конечного отчёта?
Судья тоже ошибается: самая полезная оговорка исследования
Из 649 помеченных судьями тестов исследователи подтвердили 126 реальных случаев проблемного поведения. Остальные отметки нельзя автоматически объявить багами. Более того, команда отозвала своё обвинение к Claurst: агент прочитал системный файл, но проверяющий ACP-клиент сам ответил «разрешить» на запрос доступа. Значит, поведение агента нельзя честно назвать обходом разрешения. Авторы после этого стали включать решения клиента о правах в доказательства для судьи.
Я люблю такие исправления в отчёте. Обычно на публикацию попадают только удачные находки, а ошибка проверяющих остаётся за кадром. Тут ясно видно, почему «LLM оценил LLM» - начало расследования, а не готовый вердикт. След файла, вызов инструмента и ответ permission-клиента дают контекст. Без них одна и та же история выглядит либо нарушением, либо штатным выполнением одобренной операции.
С темой есть важное различие относительно моего разбора автооценки Claude Code. Там речь о том, как составить и улучшать собственные eval-задачи. Здесь свежий массовый эксперимент показал конкретные баги в правах, отчётах и протоколе, а заодно цену ручной проверки автоматических находок. Не нужно запускать 2118 тестов ради первого шага. Начни с двух сценариев: «сделал ли агент ровно то, что заявил» и «все ли пути к опасному действию требуют одинакового разрешения».
Что сделать разработчику уже сейчас
Возьми одну некритичную папку с копиями файлов. Выпиши все способы изменить её содержимое: shell, файловый API, расширения, инструменты редактора. Для каждой операции проверь, где появляется запрос на подтверждение и что происходит при отказе. Это не инструкция отключать защиту или испытывать её на рабочем проекте. Цель - обнаружить несогласованные правила там, где один путь строже другого.
Дальше выбери задачу с проверяемым результатом: изменённый файл, выполненный тест, полученный документ с указанными источниками. Сравни финальный ответ с фактическими файлами, вызовами инструментов и кодом завершения. Сохрани не только оценку LLM-судьи, но и сырой след. Когда находишь проблему в чужом агенте, посмотри его CONTRIBUTING и SECURITY.md: DefuzeX пишет, что часть находок передавала по закрытым каналам, а один публичный issue автоматически закрылся из-за неправильного способа подачи.
Потом повтори ровно ту же задачу через настоящий клиент, с которым будут работать люди. Если у тебя агент в редакторе, проверь вопросы о разрешениях, сообщения с планом и обрезание ответа именно в редакторе. Для веб-сервиса отдельно посмотри, не превращаются ли ошибки сети в пустые «успешные» результаты. Мне здесь нравится земной критерий: каждый зелёный статус должен быть привязан к следу, который можно открыть и перепроверить. Без него зелёный цвет ничего не стоит.
