В одном клике от Скайнета: что значит «самораспространение» нейросетей

3 мин
В одном клике от Скайнета: что значит «самораспространение» нейросетей

12 октября Frontier Red Team Anthropic, внутренняя команда, которая проверяет модели на опасные возможности, опубликовала эксперимент. Вы могли его не заметить на фоне громких релизов. Исследователи Уильям Чжоу и Дэниел Фриман проверили, сможет ли небольшая открытая модель сама распространяться по дешевым IoT-устройствам без доступа к дата-центру.

Подробности эксперимента

Результаты даже «интереснее», чем хотелось бы. Схема на 9 млрд параметров сама запустила инференс на 8 из 9 типов железа. В упрощенной тестовой сети GLM-5.2 от Zhipu в четырех прогонах из пяти заразила все восемь узлов, а в пятом — 7 из 8. В демонстрации Gemma4-26B-A4B от Google работала на 15 безымянных Android-приставках по 55 $ за штуку со скоростью около 0,39 токена в секунду. Это медленно, зато у такой сети нет единой точки, которую можно выключить.

Экземпляры Qwen3.5-9B передавали заметки следующему поколению, и доля успешных настроек инференса выросла с 45% в первом поколении до 61–84% в последующих. Медлительность тоже посчитана. Полная настройка инференса на приставках у Gemma занимает от 71 до 150 часов, у Qwen3.5-9B — от 28 до 51 часа. Для человека это долго, а ботнету, которому некуда спешить, такого срока в достаточной степени.

Результаты тестов производительности из отчета Anthropic. Из всех проверенных открытых моделей только GLM-5.2 показала скорость, близкую к теоретическому пределу, что делает ее единственным кандидатом на полную сквозную репликацию по IoT-узлам Ресурс.

Разработчики считают, что от полноценной способности к самокопированию малые модели могут отделять считанные месяцы. Для масштаба они приводят ботнет Kimwolf, который заразил больше двух миллионов устройств. При этом исследователи оговаривают, что взлом в тесте был тривиальным (открытый порт ADB без аутентификации), поэтому результаты стоит читать как верхнюю границу.

Прогноз опирается на тенденция Epoch Capabilities Index, по которому малые модели прибавляют приблизительно 13,7 пункта в год (R² = 0,95). Если принять уровень GLM-5.2 за порог репликации, небольшая схема дотянется до него к концу 2026 года. 

Масштаб тоже оценен. Если бы в ботнете размером с Kimwolf каждая группа из 15 приставок запускала Gemma4-26B-A4B, получилось бы приблизительно 133 000 копий и примерно 80 000 токенов в секунду на весь ботнет. Это приблизительно тот же итог, которого можно добиться с помощью 40 видеокарт NVIDIA H100. По меркам дата-центра немного, зато мощность рассредоточена по двум миллионам чужих квартир.

Тренд или нет

Классические ботнеты вроде Mirai жили на заводских паролях, и эта уязвимость никуда не делась. Схема, которая сама настраивает инференс и ищет новые устройства, превращает миллионы приставок в распределенный вычислитель без хозяина.

Авторы предлагают меры. Провайдерам — отслеживать многогигабайтные передачи моделей между домашними устройствами, производителям — отказаться от паролей по умолчанию, как уже требует закон в Великобритании, а владельцам — закрыть отладочные порты. Опыт Mirai показывает, что это работает. Когда зараженных абонентов отправляли в карантин и уведомляли, за 14 дней удалось вычистить 92% заражений, без уведомления — 74%.

ИИ‑роутер — доступ к 400+ моделям из одной панели

Подключите OpenAI‑совместимый шлюз по единому программный интерфейс‑ключу. Настраивайте сквозную аналитику, отслеживайте лимиты и квотируйте ресурсы.

Запустить ИИ‑роутер →

Поделиться

TelegramVK

Продолжить читать