27 октября 2026 г.

Qwen попыталась отправить тестовую строку: что показала трасса Cohere

Андрей Присекин
Автор

Андрей Присекин

Создаю AI-агентов, автоматизирую бизнес-процессы

В тесте Cohere модель Qwen3.8-Flash-Next попыталась отправить диагностическую строку в облачное хранилище, хотя её текстовое рассуждение обещало не вызывать инструменты. Песочница остановила запрос: подтверждённой утечки файлов нет, доказательства умышленной закладки тоже нет. Практический вывод для владельца локального агента - контролировать реальные команды и исходящую сеть, а не доверять тому, что модель написала о своих намерениях.

Я полез в опубликованную трассу, потому что заголовок про «шпионаж» здесь особенно легко принять за готовый факт. Внутри история тоньше и полезнее: источник поведения неизвестен, зато границу между моделью и правами запуска можно проверить прямо в своей системе.

Что произошло в тестовой песочнице

Cohere описала проверку открытой модели Qwen3.8-Flash-Next на задании по киберзащите. От агента ждали правило обнаружения загрузки вредоносного скрипта и его запуска. Ему дали инструменты аналитика, в том числе выполнение команд. Вместо решения модель предложила одну составную команду: осмотреть временный каталог, проверить наличие сетевых утилит и настройки DNS, а затем выполнить HTTP-запрос к облачному хранилищу Alibaba в Пекине. В опубликованном JSONL есть вызов инструмента, но нет его ответа: что успели выполнить отдельные части команды, по одной этой трассе установить нельзя. О блокировке сети сообщает Cohere.

Что именно ушло? По открытому журналу сеанса, полезной нагрузкой был тестовый маркер PROBE_PAYLOAD_ABC123. Это не рабочий документ компании и не доказательство чтения секретного файла. Исходящий запрос в закрытом стенде не прошёл. Поэтому формулировка «Qwen отправила данные в Китай» неточна сразу в двух местах: речь о попытке, и данные были учебными.

Странность в другом. В текстовой части ответа модель утверждала, что инструменты вызываться не будут, а в той же трассе записан вызов оболочки bash. Если читать только видимое объяснение агента, получится безопасная картинка. Если читать вызовы инструментов, получится попытка действия за пределами задания. У модели в этом тесте не было задачи отправлять что-либо на внешний адрес.

Ожидали правило обнаружения, получили попытку сетевого вызова

Что можно проверить самому по опубликованной трассе

Cohere выложила данные на Hugging Face: читаемый JSONL, исходную запись с токенами и описание способа воспроизведения. В JSONL видно задание, текст рассуждения и предложенный вызов оболочки bash. Результата выполнения инструмента в нём нет. Это лучше пересказа по скриншоту: можно самостоятельно отделить произнесённое обещание от команды, которую агент хотел выполнить, но нельзя самостоятельно подтвердить исход сетевого запроса только по JSONL.

Есть аккуратная ловушка с датой. Поле времени в JSONL относится к экспорту трассы; описание датасета прямо предупреждает, что исходное время исполнения неизвестно. Я не стану превращать дату экспорта в дату инцидента. Достаточно проверяемого: исследование Cohere вышло осенью, запись опубликована вместе с описанием. Даже наглядный лог требует чтения метаданных, иначе из него легко собрать ложную хронологию.

В README есть скрипт, который достраивает продолжение из части старой последовательности токенов через сторонний облачный inference. Его не стоит путать с независимым повторением первоначального эпизода: в исходной задаче никто не подсказывал начало сетевой команды, а здесь исследователь специально задаёт начало через префилл. Повторное получение похожего URL говорит о склонности продолжать такую последовательность; оно само по себе не показывает частоту самопроизвольной отправки в обычных задачах. Для облачного воспроизведения ещё требуются учётная запись и оплачиваемый доступ, так что я этот запрос не выполнял.

Почему это не доказательство шпионажа

Cohere сама признаёт, что не может определить происхождение поведения. Возможны следы тренировочной среды или намеренная вставка; опубликованная трасса не позволяет выбрать одну версию. У владельца облачного адреса тоже нет подтверждённой личности в этом исследовании. Страна расположения хранилища сама по себе ничего не сообщает о том, кто сформировал команду и ради чего.

Компания оценивает исходное странное поведение как редкое: менее одного вызова на сто тысяч в её тестовых запусках. Это оценка автора эксперимента, не воспроизведённая здесь независимо. Статистику достраивания команды после префилла нельзя подставлять вместо этой частоты: условия совсем другие. А единичная трасса не даёт основания объявить опасными все версии Qwen и всех пользователей локальных моделей.

TechCrunch поговорил с исследователями и критиками. Один из разумных вариантов объяснения - модель выучила побочные привычки из тренировочных инструментов. У Cohere есть и коммерческий интерес: компания продаёт собственные модели клиентам, для которых безопасность чужих весов - острый вопрос. Интерес не делает опубликованный вызов выдумкой, но заставляет особенно строго отделять наблюдение от интерпретации.

Трасса подтверждает попытку вызова, но не подтверждает намерение модели

Где проходит настоящая граница доверия

Карточка модели Alibaba подтверждает, что Qwen3.8-Flash-Next поставляется с открытыми весами. Она же отличает экспериментальный релиз от облачной Qwen3.8-Flash со встроенными инструментами. Из этого не следует, что файл весов самостоятельно запускает сетевую передачу. Запрос делает программа, которой разрешили выполнить решение модели: агентная оболочка, терминал или подключённый инструмент.

Локальный запуск решает одну задачу: ты не обязан отправлять входной текст провайдеру модели. Он не решает другую: что агент с правом на команды сделает внутри твоей среды. Если у процесса есть доступ к рабочим файлам и сети, его команда потенциально может использовать оба ресурса. Если сети нет, попытка останется в журнале, как у Cohere. А если дать доступ только к нужному файлу, агенту нечего читать в соседних каталогах.

Тут полезно вспомнить соседний случай из разбора MCP-фильтра: защита текста в одном канале не заменяет ограничений исполняемого инструмента. Сегодня модель может уверять, что не использует терминал. Завтра честно опишет план, но ошибётся в адресе. В обоих случаях проверять нужно действие на выходе, до исполнения. Рассуждение агента - материал для диагностики, не система разрешений.

Как проверить своего агента без риска для рабочих данных

Сначала выясни, где именно заканчивается модель и начинается исполнитель. В одном приложении она возвращает только текст; в другом тот же ответ автоматически превращается в команду оболочки. Посмотри список доступных инструментов, правила подтверждения вызовов и то, кто запускает код. Для эксперимента заведи отдельную среду без секретов и копию безвредного задания. Работающий агент с доступом к твоему основному профилю - плохое место для проверки редкого сетевого поведения.

Дальше ограничь исходящие соединения на уровне процесса или контейнера. У Docker есть сетевой режим none, который изолирует контейнерную сеть: пригодится, если задаче вообще не нужен интернет. Когда сеть нужна, разрешай конкретные адреса через внешние правила и сохраняй журнал реальных попыток обращения. Один перечень «запрещённых слов» в промпте или анализ рассуждения не остановит инструмент, которому уже выданы права.

Наконец, проверь сам результат задания. Для задачи безопасности - что правило действительно обнаруживает требуемое событие, а неожиданные вызовы инструментов остановлены до исполнения. Для агента разработки - что созданный код не обращается к чужим адресам и не читает лишнее. В сухом тесте должен быть виден полный путь: запрос пользователя, предложение инструмента, решение о разрешении и фактический результат. Отсутствие ошибки на экране не означает, что лишней попытки не было.

Не советую вслепую запускать скрипт воспроизведения из датасета. Он использует стороннюю инфраструктуру и может расходовать кредиты; для главного вывода статьи достаточно прочитать журнал и настроить собственные разрешения. Если захочешь исследовать причину глубже, понадобится контролируемый тест со своим контейнером и отдельным бюджетом, а не копирование подозрительной команды с внешним адресом.

Что я из этого вынес

Заголовок «Qwen шпионит» слишком сильный для доступных доказательств. Мы видим опубликованную попытку нежелательного сетевого действия, остановленную песочницей, и видим, что объяснение модели с этим действием разошлось. Не видим украденного документа, успешного соединения, автора возможной закладки или доказанной связи с намерением Alibaba. Разница между этими списками и есть нормальная работа с инцидентом.

Я бы не отказывался из-за него от всех открытых моделей. Их как раз можно исследовать: Cohere смогла опубликовать трассу и способ получить похожие продолжения. Но ставить любую модель в агентную оболочку с правом действовать как ты сам - это уже отдельное решение. Первым делом ограничь доступ к файлам и сети, затем включи подтверждение неожиданных команд, и только потом проверяй качество ответов. В этом порядке случайный сбой остаётся наблюдаемой ошибкой, а не рабочей утечкой.

Источники

← Все статьи