Anthropic обеспокоены возможностями GLM-5.3

Anthropic опубликовали исследование кибервозможностей GLM-5.3. Организация предупреждает о рисках открытой модели Z.ai, но результаты выглядят ещё и как рекомендация присмотреться к конкуренту.

На ExploitBench GLM-5.3 создала полноценные эксплойты в 50 из 410 попыток, Mythos Preview в 56: примерно 12% против 14%. Одновременно Mythos Preview распространяется через программу ограниченного доступа, а веса GLM можно скачать без каких-либо ограничений.

Для китайской лаборатории получился неплохой отзыв от конкурента)

В отдельном эксперименте GLM-5.3-Flash собрала цепочку эксплуатации двух известных уязвимостей для ARM64 с обходом защиты PAC. Потребовались восемь часов работы модели и 20 минут внимания исследователя. Расчётная стоимость по тарифам программный интерфейс составила $20,40.

Anthropic равным образом применили abliteration (модификацию весов для ослабления отказов). Их эксперимент стоил приблизительно $4400 вычислений. Средняя доля отказов на трёх тестах снизилась с 95% до 6%; результат GPQA-Diamond не изменился, на проверенной части CyberGym лишь немного снизился.

По-мимо Anthropic есть ещё и независимая оценка от центра CAISI при NIST, который назвал GLM-5.3 наиболее сильной открытой моделью в своих кибертестах. Одновременно отставание от передовых американских моделей центр оценил примерно в четыре месяца.

Можно также вспомнить, что недавно Hugging Face использовали GLM-5.2 при расследовании июльского вторжения, которое устроили агенты на моделях OpenAI после выхода из тестовой песочницы. Открытая модель помогла расшифровать действия атакующих. Команда восстановила около 17 600 действий и сопоставила их с журналами своей инфраструктуры.