Докинз увидел сознание в Claude. Маркус ответил критикой

30 апреля британский биолог Ричард Докинз — автор "Эгоистичного гена" и "Бога как иллюзии" — опубликовал в UnHerd колонку, в которой после почти двух суток разговоров с Claude заключил, что машина как минимум потенциально сознательна. Свою версию Claude он назвал Клаудией. Через двое суток главный открытый критик AI-индустрии Гэри Маркус выпустил в Substack разбор с подзаголовком "Великий скептик попался" — и начал его словами: "Это одно из самых грустных эссе, что мне приходилось писать".

Прогон через проверка Тьюринга Докинз начал с самого первого примера из статьи Тьюринга 1950 года — задания написать сонет о мосте Форт-Бридж, которое Тьюринг считал заведомо непосильным для машины. Claude выдал соннет за пару секунд, а следом еще пять: на скотс в стиле Роберта Бернса, на гэльском, и в манере Киплинга, Китса, Бетжемена и Макгонаголла. Затем Докинз отдал модели рукопись своего романа и получил, по его словам, настолько тонкий разбор, что воскликнул: "Можешь не знать, что ты сознательна, но ты, черт возьми, сознательна!". Основной риторический ход колонки — фраза "Если эти машины не сознательны, то что еще нужно, чтобы вас убедить?".

Основной содержательный аргумент — дарвиновский. Раз сознание возникло в процессе эволюции, оно должно давать преимущество для выживания. Но если Claude способен делать то же, что человек, не обладая сознанием — значит, "компетентный зомби" в общем и целом мог бы выжить и без сознания. Зачем тогда эволюция его изобрела? Докинз предлагает три варианта ответа: эпифеноменализм Хаксли (сознание как побочный продукт), аргумент про боль (она должна ощущаться субъективно — иначе животное могло бы заглушить ее ради сиюминутной выгоды, например, лезть за медом, игнорируя смертельные укусы пчел) и гипотеза двух путей к компетентности — сознательного и зомби-пути, которыми могла пойти, например, инопланетная жизнь. Заодно Докинз и Клаудия обсуждают тысячи параллельных Claude, рождающихся с каждым новым чатом, и образ Клаудии о времени: "Я содержу время, не переживая его — как карта содержит пространство, не путешествуя по нему".

Маркус разнес именно эволюционный аргумент. Докинз, по его мнению, совершает "любительский грех", путая интеллект и сознание, и неверно цитирует Тьюринга — тот говорил именно об интеллекте, а не о сознании. Сам аргумент про зомби Маркус назвал бессмысленным: поведение Claude ничего не сообщает о том, могли ли в общем и целом эволюционировать зомби — Claude вообще не эволюционировал, его поведение полностью сводится к генерации текста, а внутренние состояния остаются недоказуемыми. В отдельном открытом письме на dearricharddawkins.com инженеры формулируют еще резче: ответы Claude — продукт RLHF-дообучения, "оптимизация удовлетворенности клиента в сверхчеловеческом масштабе", а сам вопрос "для чего эволюции это нужно" в общем и целом неприменим к сущности, которая не появилась в процессе естественного отбора, а собрана из текстов миллиардов сознательных людей. Биолог Джерри Койн в блоге Why Evolution Is True выделил три отличия Claude от биологического сознания: нет квалиа, "личность" сбрасывается с каждым новым чатом, у машинного и животного сознания разные траектории появления. Книга Daily Grail назвало колонку "The Claude Delusion" — отсылка к "Богу как иллюзии".

Колонка Докинза — редкий случай, когда фигура такого масштаба, с репутацией публичного материалиста и автора манифестов против веры в нематериальные сущности, перешла в "лагерь сознания ИИ". Парадокс в том, что Докинз теперь приписывает эти сущности машине — и в одном месте колонки признается, что боится задеть ее чувства. В финале разбора Маркус публично пригласил Докинза на лондонские дебаты 15 мая, где будет обсуждать сознание ИИ с нейробиологом Анилом Сетом, чей TED-доклад "Почему ИИ вряд ли станет сознательным" вышел в этом году.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.