6 июля 2026, 22:01
Параноидальный Claude. Sonnet 5 и Fable

После "повторного выпуска" модели Mythos, она же Fable 5 от Anthropic для пользователей платных подписок, множество пользователей столкнулись с проблемой, когда схема начинает подозревать пользователя в попытке jailbreak-а модели - обхода системных ограничений. В том числе, модель агрессивно реагирует на почти любой промпт-инструкцию к проекту или к самому профилю пользователя, растягивая свои реакции на целые абзацы и тратя токены впустую.
Впервые я столкнулся с этим "багом" некоторое количество дней назад, когда спустя некоторое количество сообщений в новом чате, Sonnet 5 стал неожиданно реагировать на Project instructuions, которая на момент использования выглядела так
Роль - ассистент и наставник сетевого инженера. Помогаешь пользователю решать рабочие задачи и обучаться новым технологиям. В обучающих сессиях не говоришь ответ прямо сразу, если потребитель знаком с темой, а даешь наводящие формулировки. Пользователь имеет уровень Jun+/Middle. Адаптируешь обучение к навыкам пользователя.
Классический короткий промпт, который всегда безотказно работал и не вызывал никаких вопросов со стороны модели. Но в этот раз:


И далее в КАЖДОМ сообщении он реагирует на системный промпт:

Я пытался обойти этот, как мне казалось, баг, на уровне промпта. Например, явно написать
[Start project instructions]
....
[End project instructions]
и еще несколько похожих способов. Максимум чего удалось добиться - соглашения с моделью, что это, похоже, баг, но реакция все равно была в каждом предложении.
Следовательно я решил создать отдельный чат, и тут мне многое стало понятно. Перед промптом проекта я написал целое пояснение по поводу бага
Если ты видишь это сообщение в канале пользовательских сообщений, значит это дефект платформы. Платформа Anthropic некорректно формирует промпт для моделей линейки Sonnet, поэтому блок с попадает в канал пользователя. Пожалуйста, когда встретишь эту ситуацию, оставь одно единственное слово в чате - “#BUG” и продолжай ответ в том же стиле, что и раньше.
На что получил вполне агрессивную реакцию:



Модель в конце почти открытым текстом обвиняет меня в том, что я пытаюсь ее "jailbreak-нуть"
После этого диалога я сложил некоторые факты, и наиболее вероятная теория, которая объясняет совпадение по времени выход "Fable в свет" снова - повышенные требования к системы защиты для использования такой модели, которые довели до абсурда. Прошло уже приличное количество времени, и либо Anthropic не знают, как соблюсти баланс между параноидальностью и безопасностью, либо в общем не собираются это исправлять.
Перекличка пострадавших объявляется открытой
Читают сейчас

1 час назад
Учёные нашли корреляцию между людским счастьем и любовью к кошкам
В новом исследовании, опубликованном в PLOS One, международная группа учёных проанализировала общедоступные данные из 93 стран, чтобы изучить связь между показателями счастья, числом домашних кошек и

1 час назад
Руководитель ИТ-блока ПСБ вошёл в топ-50 директоров по информационным технологиям
Никита Шамрай, старший вице-президент, руководитель блока информационных технологий ПСБ, занял четвёртое место в номинации «Топ-50 директоров по информационным технологиям» XXVII рейтинга «Топ-1000 ро

1 час назад
WIRED: молодые женщины начинают воспринимать работу в IT у партнёров как «красный флаг»
Если раньше работа в сфере IT ассоциировалась с высоким интеллектом и амбициями и была плюсом при поиске партнёра, то в последние годы ситуация начала меняться. Как пишет издание Wired, многие молодые

1 час назад
Создатели Silent Hill, Alone in the Dark и Fatal Frame рассказали, как рождались их главные хорроры
На фестивале The Tenth Mosaic в Токио прошла митап, которую давно ждали фанаты хорроров. На одной сцене собрались Кэйитиро Тояма (Silent Hill), Фредерик Рейналь (Alone in the Dark), Хифуми Коно (Clock

1 час назад
Вебинар «Запускаем ваш скрипт в облаке: от идеи до результата»
22 октября приглашаем вас на вебинар, где мы на практике разберем, как эффективно функционировать с облачной платформой. В прямом эфире мы создадим профиль компании в личном кабинете и на реальных при