OpenClaw устроил беспорядок в почтовом ящике исследователя после просьбы навести порядок

Исследователь безопасности Meta* AI Саммер Юэ заявила, что OpenClaw устроил беспредел в ее почтовом ящике. В связи с просьбу проверить переполненный почтовый ящик и предложить, что удалить или заархивировать, OpenClaw начал удалять все ее письма в быстром режиме, не обращая внимание на указание остановиться, которые Юэ отправляла с телефона.

«Мне пришлось бежать к своему Mac Mini, как будто я обезвреживала бомбу», - написала она, опубликовав изображения проигнорированных подсказок с просьбой об остановке проверки в качестве доказательства.

Компактный компьютер Apple Mac Mini стал в последнее время предпочтительным устройством в США для работы с OpenClaw. Обладая большим объемом оперативной памяти, он является хорошим вариантом для запуска локальных ИИ-ассистентов. Как сообщил сотрудник Apple исследователю ИИ Андрею Карпати, Mac Mini продаются как горячие пирожки. Сообщается, что ожидание после заказа доставки версий устройства с 24 или 32 Гбайт ОЗУ составляет до трех недель.

Сообщение Юэ служит предупреждением для других пользователей ИИ. Как отметили участники соцсети X, если исследователь безопасности ИИ столкнулся с этой проблемой, то на что могут надеяться простые смертные?

«Вы намеренно тестировали его механизмы защиты или допустили ошибку новичка?» - спросил ее разработчик ПО. 
«Честно говоря, ошибка новичка», - ответила она.

Юэ тестировала своего агента с помощью небольшого ненастоящего почтового ящика, как она его назвала, и он хорошо работал с менее важными письмами. Поскольку работа агента заслужила ее доверие, она решила запустить его на реальном устройстве.

Как считает Юэ, в связи с большого объема данных в ее реальном почтовом ящике запустился процедура сжатия. Сжатие происходит, когда контекстное окно - текущая запись всего, что было сказано и сделано ИИ в ходе сессии - становится слишком большим, заставляя агента начинать суммировать и сжимать, чтобы оставаться быстрым и отзывчивым. Одновременно ИИ-агент может пропускать инструкции, которые человек считает очень важными.

Можно предположить, что в данном случае платформа пропустила последнее сообщение исследователя, в котором она указала ей прекратить действовать и вернулась к выполнению инструкций для ненастоящего почтового ящика. Как отметили другие участники X, подсказкам нельзя доверять как средству обеспечения безопасности. Модели могут неправильно их истолковывать или игнорировать.

Meta* - деятельность организации запрещена на территории РФ.