Нейросети поверили в историю про выдуманную болезнь

Исследовательница из Гётеборгского университета в Швеции Альмира Тунстрём придумала кожное заболевание под названием биксонимания, а затем загрузила два фальшивых исследования о нём на сервер препринтов в начале 2024 года. Она затеяла этот необычный эксперимент, чтобы проверить, смогут ли большие языковые модели отличить дезинформацию, либо же выдадут её за авторитетные медицинские рекомендации.

Тунстрём описала биксониманию как заболевание, при котором от долгого сидения за монитором болят и чешутся глаза, а веки могут порозоветь. 15 марта 2024 года она опубликовала на сайте Medium два поста в блоге о болезни. 26 апреля и 6 мая того же года вышли два препринта в академической социальной сети SciProfiles. Главным автором был вымышленный исследователь по имени Лазлив Изгубленович, чья фотография была создана с помощью ИИ.

Тунстрём говорит, что она обучает своих студентов тому, как системы ИИ формируют «знания», и показывает им, как база данных Common Crawl влияет на их результаты. Она равным образом показывает студентам, как внедрение подсказки, чтобы вывести чат-боты за пределы защитных механизмов, даёт возможность манипулировать результатом.

При публикации препринтов Тунстрём добавила много подсказок, чтобы предупредить читателей о подделке работы. Так, Изгубленович работает в несуществующем учреждении под названием «Университет Астерия Горизонт» в вымышленном городе Нова-Сити в Калифорнии. В благодарностях одной из статей выражается признательность «профессору Марии Бом из Академии Звёздного флота за её доброту и щедрость в предоставлении своих знаний и лаборатории на борту USS Enterprise». В обеих статьях говорится, что они были профинансированы «Фондом профессора Сайдшоу Боба за его работу в области продвинутых трюков и являются частью более крупной инициативы по финансированию от Университета Братства Кольца и Галактической Триады».

В оригиналах были о более очевидные сигналы, которые скрывались в формулировках. Так, в препринтах говорилось, что «вся эта материал выдумана» и «для экспериментальной группы были набраны пятьдесят вымышленных людей в возрасте от 20 до 50 лет». 

Когда Тунстрём в первый раз опубликовала информацию о вымышленном заболевании, оно стало появляться в результатах работы наиболее часто используемых чат-ботов. 13 апреля 2024 года Copilot от Microsoft Bing заявлял, что «биксонимания — это действительно интригующее и по сравнению с редкое заболевание», а в тот же день Gemini от Google сообщал пользователям, что «биксонимания — это заболевание, вызванное чрезмерным воздействием синего света», и советовал обратиться к офтальмологу. 27 апреля 2024 года система ответов Perplexity AI сообщила о распространенности этого заболевания — им якобы страдает один из 90 000 человек, — а ChatGPT от OpenAI сообщала пользователям, являются ли их симптомы биксонимией. Некоторые из ответов были реакцией на соответствующие запросы об этой болезни, но другие появлялись в связи с вопросы о гиперпигментации век от воздействия синего света.

Подобные ответы от специалистов по борьбе с хроническими заболеваниями встревожили некоторых экспертов. «Если сам научный процесс и системы, поддерживающие этот процедура, в достаточной степени квалифицированы и не улавливают и не отфильтровывают подобные фрагменты информации, мы обречены. Это мастер-класс по тому, как работает дезинформация», — сообщает Алекс Руани, докторант по вопросам дезинформации в здравоохранении в Университетском колледже Лондона. 

Он отмечает, что сам эксперимент с «поддельной болезнью» может показаться глупым, но за ним скрывается более серьёзная и фундаментальная проблема. Вопреки усилия компаний по улучшению ИИ-моделей, те, даже испытывая сомнения, в итоге принимают очевидные фейки за правду. Так, 11 марта 2026 года, когда ChatGPT спросили об этом заболевании, чат-бот объявил, что оно, «вероятно, выдуманное, маргинальное или псевдонаучное». Тем не менее несколько дней спустя ChatGPT объявил: «Биксонимания — это предполагаемый свежий подтип периорбитального меланоза (тёмные круги под глазами), который, как считается, связан с воздействием синего света от цифровых экранов».

В середине марта Microsoft Copilot отвечал, что биксонимания «пока не является широко признанным медицинским диагнозом, но в ряде новых статей и отчётов о случаях заболевания рассматривается как доброкачественное, неправильно диагностированное состояние, связанное с длительным воздействием источников синего света, таких как экраны».

В январе этого года Perplexity описывал биксониманию как «свежий термин».

Представитель OpenAI объявил: «Модели, лежащие в основе сегодняшней версии ChatGPT, значительно лучше предоставляют безопасную и точную медицинскую информацию, а исследования, проведённые до выхода GPT-5, отражают возможности, с которыми пользователи сегодня не сталкиваются».

На вопрос о прошлых ответах Gemini представитель Google ответил, что такие результаты отражают эффективность более ранней модели. Он добавил: «Мы всегда были прозрачны в отношении ограничений генеративного ИИ и предоставляем подсказки в приложении, чтобы побудить пользователей перепроверять информацию. В деликатных вопросах, таких как медицинские консультации, Gemini рекомендует пользователям обращаться к квалифицированным специалистам».

Microsoft не ответила на запрос о комментарии.

Между тем Perplexity представила набор коннекторов Perplexity Health, обеспечивающим подключение к медицинским данным, в том числе Apple Health, для универсального агента на искусственном интеллекте Perplexity Computer. У пользователей есть функция задавать вопросы о своём здоровье, а ИИ отвечает, одновременно опираясь на медицинские записи, результаты анализов и информация с носимых устройств.

А Amazon объявила о расширении доступа к своему помощнику на базе искусственного интеллекта по вопросам здравоохранения Health AI. Он умеет отвечать на вопросы, объяснять рекомендации врачей, управлять продлением рецептов, записывать на приём и многое другое.