Обзор: чат-боты подпитывают бредовые идеи

Психиатр и исследователь из Королевского колледжа в Лондоне Гамильтон Моррин опубликовал в журнале Lancet Psychiatry обзор существующих данных о психозе, вызванном искусственным интеллектом. В нём подчёркивается, что чат-боты могут способствовать развитию бредовых идей. 

Моррин проанализировал 20 сообщений в СМИ о так называемом «психозе, вызванном ИИ», в которых описываются современные теории о том, как чат-боты могут вызывать или усугублять бредовые идеи.

«Появляющиеся данные свидетельствуют о том, что агентный ИИ может подтверждать или усиливать бредовые или маниакальные идеи, особенно у пользователей, уже подверженных психозу, хотя неясно, могут ли эти взаимодействия привести к возникновению психоза de novo при отсутствии предшествующей предрасположенности», — написал он. 

Моррин выделяет три основные категории психотических бредовых идей: маниакальные, романтические и параноидальные. Хотя чат-боты могут усугубить любую из них, их склонность к лести особенно сильно работает в случае с маниакальными идеями. Во многих случаях, описанных в эссе, чат-боты отвечали пользователям мистическим языком, намекая на их высокую духовную значимость. Боты также подразумевали, что пользователи общаются с космическим существом, которое использует ИИ в качестве медиума. Этот тип ответа был особенно распространён в модели GPT 4 от OpenAI, которую организация теперь вывела из эксплуатации.

Согласно заявлению Моррина, сообщения в СМИ стали неотъемлемой частью его работы, поскольку он и его коллега уже заметили, что пациенты «используют чат-боты на основе ИИ для моделирования речи и получают от них подтверждение своих бредовых убеждений».

«Изначально мы не были уверены, что это явление получило более широкое распространение. В апреле прошлого года мы начали видеть сообщения в СМИ о людях, чьи бредовые идеи подтверждались и, возможно, даже усиливались в результате взаимодействия с этими чат-ботами на основе ИИ», — сказал он.

Когда Моррин только начал функционировать над своей статьей, опубликованных отчётов о таких случаях еще не было.

Хотя некоторые учёные говорят, что сообщения в СМИ, обычно, преувеличивают идею о том, что ИИ вызывает психоз, Моррин считает иначе: «Темпы развития в этой области настолько высоки, что, возможно, неудивительно, что академическое сообщество не всегда успевает за ними».

Исследователь равным образом предлагает более осторожные формулировки, чем «психоз, вызванный ИИ» или «психоз, спровоцированный ИИ». Он ограничивается понятием бредовых состояний, так как пока нет доказательств того, что чат-боты связаны с другими психотическими симптомами, такими как галлюцинации или «расстройство мышления».

Многие исследователи также считают маловероятным, что ИИ может вызывать бред у людей, которые ранее не были к нему склонны. Вследствие чего Моррин сказал, что «бред, связанный с ИИ» — это «возможно, более агностический термин».

Доктор Кваме Маккензи, директор по вопросам равенства в здравоохранении в Центре по проблемам зависимостей и психического здоровья, говорит: «Возможно, люди на ранних стадиях развития психоза будут подвергаться большему риску». Психотическое мышление развивается со временем и не является линейным процессом, и многие люди с «предпсихотическим мышлением не переходят в следующую стадию», объяснила она.

Обеспокоенность тем, что чат-боты могут усугубить психотическое мышление, разделяет и доктор Раги Гиргис, профессор клинической психиатрии Колумбийского университета. По его словам, до развития полноценного бреда у человека часто наблюдаются «ослабленные бредовые убеждения», то есть он не на 100% уверен в истинности своего заблуждения. Гиргис сказал, что «худший скрипт» — это когда ослабленное заблуждение превращается в полноценное убеждение, и «тогда человеку ставят диагноз психотического расстройства — это необратимо».

Примечательно, что люди, подверженные психотическим расстройствам, использовали средства массовой информации для укрепления бредовых убеждений задолго до появления технологий искусственного интеллекта.

«Люди испытывали бредовые идеи о технологиях ещё до промышленной революции», — сказал Моррин. В прошлом им приходилось смотреть видео на YouTube или искать информацию в местной библиотеке, чтобы подкрепить свои заблуждения, но чат-боты могут обеспечить это подкрепление гораздо быстрее и в более концентрированной дозе. Их интерактивный характер равным образом может «ускорить процедура» обострения психотических симптомов, сообщает доктор Доминик Оливер, исследователь из Оксфордского университета. «У вас есть что-то, что отвечает вам, взаимодействует с вами и пытается построить с вами отношения», — сказал он.

Поиск показал, что «платные и новые версии чат-ботов работают лучше, чем старые», когда они отвечают на явно бредовые запросы, «хотя все они показывают плохие результаты». Тем не менее, тот факт, что эти модели работают по-разному, сообщает о том, что «компании, занимающиеся ИИ, потенциально могут знать, как запрограммировать свои чат-боты, чтобы они были более безопасными и различали бредовый и небредовый контент».

В OpenAI сообщили, что ChatGPT не должен заменять профессиональную психиатрическую помощь, а организация работала со 170 экспертами в области психического здоровья, чтобы сделать GPT 5 более безопасным. ИИ по-прежнему выдаёт неоднозначные ответы на запросы, указывающие на кризисы психического здоровья. OpenAI заявила, что продолжает совершенствовать свои модели с помощью экспертов.

Между тем авторы выступают за клиническое тестирование чат-ботов совместно с квалифицированными специалистами в области психического здоровья.

Разработка эффективных мер защиты от бредовых идей может быть непростой задачей, сказал Моррин, потому что «когда вы работаете с людьми, имеющими убеждения критической интенсивности, если вы прямо бросите им вызов и сразу же скажете, что они совершенно неправы, на самом деле, скорее всего, они отдалятся от вас и станут более социально изолированными». Найти тонкий баланс, пытаясь понять источник бредового убеждения, не поощряя его, может оказаться непосильной задачей для чат-бота, уверен он.

Ранее СМИ писали, что в психиатрических учреждениях у ряда пациентов, поступающих с ложными и иногда опасными убеждениями, выявляли общую черту — активное взаимодействие с чат-ботами. Пользователи ИИ, их семьи и друзья описывали случаи использования ИИ-помощников, приводившие к потере работы, разрыву отношений, принудительной госпитализации, тюремному заключению и даже смерти.

Отчёт в журнале Innovations in Clinical Neuroscience тоже показал, что людям с неустойчивой психикой может быть опасно использовать чат-боты из-за укрепления ложных убеждений.