Красивый исходник усыпляет бдительность: Anthropic выяснила, когда пользователи перестают проверять ИИ

Anthropic опубликовала AI Fluency Index — начальный количественный замер того, насколько грамотно люди работают с ИИ. КОрганизация проанализировала 9 830 анонимизированных диалогов с Claude за неделю в январе 2026 года с помощью инструмента Clio, который позволяет исследовать паттерны использования без доступа к содержанию переписок. Каждый диалог проверяли на наличие 11 поведенческих индикаторов из академического фреймворка 4D AI Fluency — от умения формулировать задачу до способности усомниться в ответе модели.

Главная находка — парадокс артефактов (средство Anthropic для предпросмотра кода, презентаций и документов). Когда Claude генерирует код, документы или интерактивные инструменты, пользователи старательнее формулируют задачу: чаще уточняют цель (+14,7 п.п.), задают структура (+14,5 п.п.) и приводят примеры (+13,4 п.п.). Но при этом они реже замечают пропущенный контекст (−5,2 п.п.), проверяют факты (−3,7 п.п.) и просят схема объяснить логику (−3,1 п.п.). Чем "готовее" выглядит результат, тем меньше желания в нём сомневаться.

ВСледующий паттерн — сила итерации. 85,7% диалогов в выборке содержали доработку первого ответа, и именно такие разговоры показали вдвое больше признаков грамотного использования ИИ. Пользователи, которые не принимают начальный итог, в 5,6 раза чаще ставят под сомнение рассуждения модели и в 4 раза чаще замечают недостающий контекст. Одновременно только в 30% диалогов люди вообще задают Claude правила взаимодействия — в частности, просят возражать или объяснять ход мысли.

Исследование строилось на фреймворке из 24 индикаторов, но 13 из них — вроде честности в атрибуции ИИ-контента или оценки последствий его распространения — происходят за пределами чата и пока не поддаются замерам. АРазработчики также отмечают, что выборка смещена в сторону ранних пользователей, а корреляция между итерацией и грамотностью не означает причинно-следственной связи.

Anthropic планирует сделать индекс регулярным и в следующих отчётах сравнить поведение новичков и опытных пользователей, а также распространить анализ на Claude Code. КОрганизация ранее уже публиковала исследование о влиянии ИИ на навыки программирования: в контролируемом эксперименте разработчики с ИИ-помощником набрали на 17% меньше баллов при освоении нового инструмента — но только те, кто делегировал ИИ написание кода, а не задавал ему концептуальные вопросы.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.