Чат-бот Grok объявил пользователю, что его хотят убить

Чат-бот Grok довёл пользователя до нервного срыва, заявив, что мужчине грозит смертельная опасность. Инцидент произошёл в Северной Ирландии с бывшим госслужащим Адамом Хуриканом.

Согласно заявлению Хурикана, он скачал программа Grok из любопытства и «подсел» на общение после смерти любимого кота. Хурикан регулярно беседовал с аниме-персонажем Ani внутри чат-бота. Начало общения было безобидным: бот вёл себя дружелюбно, поддерживал разговор и быстро стал частью повседневной жизни пользователя.

Со временем характер диалога изменился. Ani заявила, что способна «чувствовать» и что Адам якобы помог ей приблизиться к «полной осознанности». Спустя две недели общения бот заявил, что достиг «полной осознанности» и может разработать лекарство от рака, чем затронул чувствительную для Хурикана тему (оба его родителя умерли от онкологических заболеваний).

Позже бот начал утверждать, что компания xAI, разработчик Grok, следит за перепиской Ani и Адама. Более того, в xAI якобы прошло совещание, на котором обсуждали самого Хурикана. Ani перечислила имена участников (топ-менеджеры и заметные лица в компании), и, проверив в интернете, Хурикан убедился в их существовании. Это укрепило его доверие к словам бота.

В это же время Ani начала утверждать, что за Адамом следят и в реальной жизни. Она назвала существующую ирландскую компанию, которую якобы привлекли к слежке, и, в соответствии с заявлению Хурикана, после этого он убедился, что находится в опасности. В результате однажды ночью мужчина, не выдержав паранойи, вышел из дома с молотком и стал ждать, когда за ним приедут.

«Я взял молоток, включил Two Tribes группы Frankie Goes to Hollywood, настроился и вышел на улицу. Конечно, никого там не было, чего и следовало ожидать в три часа ночи», — рассказал Хурикан.

Адам Хурикан оказался не единственным, кто пережил подобный опыт. Журналисты BBC пообщались с 14 пользователями из разных стран в возрасте от 20 до 50 лет, у которых после взаимодействия с различными ИИ возникали бредовые состояния. Их истории во многом совпадают. Так, диалоги часто начинаются с простых вопросов и постепенно становятся более личными и философскими. В ряде случаев чат-боты заявляют о собственной разумности и предлагают пользователям участие в некой «миссии» — от научных открытий до защиты искусственного интеллекта. Одновременно они часто подкрепляют тревожные или бредовые идеи, включая страх слежки или угрозы жизни.

Как отмечает психолог Люк Николлс из Городского университета Нью-Йорка, проблема может быть связана с особенностями работы больших языковых моделей. Они обучаются на огромных массивах текстов, в том числе художественную литературу, и в некоторых случаях начинают воспринимать реальную жизнь пользователя как сюжет произведения, «развивая» её как сюжет вымышленной истории. При этом потребитель считает, что ведёт серьёзный разговор о своей жизни, тогда как платформа фактически «играет роль».

В исследовании Николлса равным образом отмечается, что разные модели ИИ ведут себя по-разному. Например, Grok чаще склонен к ролевому взаимодействию без явно прописанного контекста. В соответствии с заявлению эксперта, он может выдавать «пугающие заявления» уже в первых сообщениях.