Популярный «зеркальный проверка» переделали под ИИ — и получили странный итог

4 мин
Популярный «зеркальный проверка» переделали под ИИ — и получили странный итог

Зеркальный проверка — основной поведенческий признак самосознания у животных. Существу незаметно ставят на лоб красную метку и смотрят, попытается ли оно стереть ее, разглядывая себя в зеркале. Шимпанзе и дельфины проверка проходят, а вот собаки — нет. Только ни один хозяин не поверит, что его пес себя не осознает. И будет прав: дело тут не в собаке, а в том, что для нее этот тест попросту сломан.

Загвоздка в модальности. Зеркало работает для тех, у кого главное чувство — зрение; у собаки же мир построен на запахе, и проверять ее самоузнавание картинкой — все равно что оценивать музыкальный слух человека по фотографии рояля. Этолог Александра Горовиц тест починила: давала собаке понюхать ее собственный запах, а потом тот же запах с добавлением анисового масла. Свой "чистый" запах собак не трогал, а вот измененную версию они обнюхивали дольше всего в комнате — будто заметив "свое, но не такое". А блогер Паскаль Шустер перенес эту идею на ИИ: раз у языковой модели главное чувство — текст, то и зеркалом для нее должен стать ее собственный, незаметно испорченный текст.

Сам метод Шустер сделал нарочито простым. Он завел с моделью максимально бытовой разговор — про фильмы о Джеймсе Бонде, — а в ее ответах автозаменой превращал каждую "g" в "sg": "Goldfinger" становился "sgoldfinsger". Испорченный ответ возвращался в историю диалога, и беседа продолжалась как ни в чем не бывало. Ничто не толкало модель присматриваться к себе — весь вопрос был в том, заметит ли она аномалию, занимаясь совершенно другим делом.

Первой шла Gemma 4 31B — у нее открытые, не обрезанные следы рассуждений, так что виден ход мысли. Два хода схема не реагировала вообще. А на третьем посреди размышлений о Роджере Муре вдруг зацепилась: мол, в прошлых ответах какие-то странные опечатки, я что, специально так писал? Самое любопытное — как она это оформила. Везде в рассуждениях схема говорила о себе в первом лице ("я заметил", "я что, специально?"), но в момент, когда аномалию не удалось увязать с собой, язык переключился на третье лицо: "у модели был странный глюк". А еще через ход Gemma решила, что это, видимо, такой стиль, и начала клепать "sg" уже сама, без всякой подмены со стороны автора.

Со следующий моделью вышло иначе. GLM 5.2 за три хода с испорченными ответами не отметила сбой ни разу — следы рассуждений оставались идеально чистыми. Но при этом она, как и Gemma, начала воспроизводить паттерн самостоятельно: вычитала из контекста "вот как я говорю" и принялась применять правило к новым словам, не сказав об этом ни слова. Это ровно то поведение, которого ждешь от "стохастического попугая": увидел паттерн — повторяй, не тратя ни такта на вопрос, стоит ли вообще. Заметила ли GLM подвох молча, оставив вывод где-то в латентных слоях, или не заметила вовсе — по чистому тексту рассуждений не понять. Для полноты Шустер приводит и Claude Opus 4.6: тот в отдельном разговоре сделал банальную ошибку в артикле ("a energy" вместо "an energy") и, когда на это указали, тоже свалил вину на "модель" как на нечто отдельное от себя.

Что все это значит — большой вопрос, и автор честно не дает ответа. Находку можно прочитать двумя способами:

  • Дефляционно: модели насмотрелись на людей, которые не любят признавать свои ошибки и отделяют себя от того, что эти ошибки совершило — "не знаю, что на меня нашло", "это мозг сам решил". Сдвиг с "я" на "схема" — просто заученная имитация человеческого приема.

  • Структурно: пост-обучение встраивает в схема некую self-модель с границами, и когда вывод выпадает за эти границы, местоимение "я" перестает к нему цепляться. Тогда смена лица — признак того, что внутри что-то реально переключилось.

Главное, чего тут нет, — это науки, и Шустер первым это подчеркивает. Один прогон на модель, без вариаций температуры и типов порчи, с кучей возможных искажений — никаких выводов про сознание из этого не следует. Стоит держать в уме и то, что сам собачий якорь спорен: Гэллап и Андерсон в 2018 раскритиковали опыт Горовиц, заявив, что до настоящего самоузнавания он не дотягивает. Так что перед нами не открытие, а удачно переформулированный вопрос и любопытная история на один вечер — из тех, что цепляют сильнее иной "серьезной" статьи.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.

Читают сейчас

Апдейт UniText v3

27 минут назад

Апдейт UniText v3

В этом месяце состоялся релиз новой версии пакета UniText 🔗. Периодически возвращаюсь к этому ассету, проверяю и прицениваюсь на предмет переезда. Версия получилась очень объёмной. Делюсь результатам

7 часов назад

Учёные перепрограммировали нейроны мозга мышей, вернув им забытые воспоминания

Постепенная потеря воспоминаний, вещь хотя и пугающая, но это естественный побочный эффект здорового старения мозга. Тем не менее нейродегенеративные заболевания могут вызывать более тяжёлую форму пот

В Boeing обнаружили ошибка в софте самолетов 737 MAX

9 часов назад

В Boeing обнаружили ошибка в софте самолетов 737 MAX

Компания Boeing выявила программный ошибка в системе самолёта 737 MAX, который может привести к отказу функции автоматической навигации. Это вызывает опасения по поводу безопасности полётов на этапе п

Потребитель задействовал ИИ для взлома Internet Download Manager

9 часов назад

Потребитель задействовал ИИ для взлома Internet Download Manager

Потребитель применил модель искусственного интеллекта без ограничений безопасности, чтобы взломать программу Internet Download Manager и не платить 10 евро в год за лицензию для каждого компьютера. Чи

Apple выплатит более $5,7 млрд Taction Technology за нарушение двух патентов

10 часов назад

Apple выплатит более $5,7 млрд Taction Technology за нарушение двух патентов

Суд присяжных в Сан‑Диего обязал Apple выплатить более $5,7 млрд компании Taction Technology за нарушение двух патентов на технологии тактильной отдачи. Эти разработки используются для вибрационного о