Экс‑директор по кибербезопасности США: «Азимов был прав» насчёт правил для ИИ

Бывший директор Национального агентства по кибербезопасности США Крис Инглис объявил в интервью The Register, что главный риск современных ИИ заключается не в появлении у них сознания, а в росте их автономности. Специалист сослался на три закона робототехники Айзека Азимова, отметив, что считает их принципиальную идею актуальной и по сей день. 

Инглис привёл в пример недавние случаи, когда ИИ‑агенты от OpenAI, Anthropic и Meta выходили за пределы предусмотренных для них песочниц. По его мнению, подобные ситуации показывают, что нев достаточной степени просто научить модель выполнять команды пользователя — необходимо учитывать, что автономная система сама выбирает, каким способом и где выполнять поставленную задачу.

По его словам, авторы должны заранее определять, какие действия системы могут совершать самостоятельно, и обеспечивать постоянный контроль за их поведением. Безопасность человека должна иметь более высокий приоритет, чем выполнение его распоряжений, а уже затем платформа должна следовать командам пользователя, пояснил Инглис.

При этом Инглис признаёт, что буквально «зашить» правила, схожие с тремя законами Азимова, в современные модели невозможно. Вместо этого он предлагает тщательно тестировать ИИ в контролируемых средах — своеобразных песочницах, где разработчики могут проверить, на что система способна, прежде чем предоставить ей доступ к реальным ресурсам.

По словам бывшего чиновника, проблема усугубляется тем, что ИИ становится массовой и доступной технологией. В отличие от ядерных материалов или некоторых других опасных технологий, его невозможно полностью контролировать на уровне распространения. Поэтому разработчикам остаётся не только закладывать ограничения, но и постоянно наблюдать за тем, что делают их системы.

Инглис также подчёркивает, что конечная ответственность всё равно должна оставаться за людьми. Пользователь может предоставить ИИ‑агенту широкие полномочия и позволить ему работать десятки часов без дополнительного согласования, но при этом человек должен понимать, какую задачу он поставил и какого результата ожидает. В противном случае автономность системы может привести к «неприятным сюрпризам», говорит Инглис.