Discord признала ошибочную блокировку пользователей ИИ из-за безобидных изображений

Discord заявила, что ошибка в системе модерации с использованием ИИ ошибочно заблокировала более 8000 пользователей за последние два месяца, пометив безобидные изображения — в том числе электронные таблицы, шахматные доски, игровые текстуры, а также белые и серые прозрачные фоны — как вредоносный контент.

Организация подтвердила, что задача затрагивала учётные записи с мая, и ещё 200 пользователей были заблокированы в выходные, прежде чем команда выявила и исправила дефект. В настоящее время все затронутые аккаунты находятся в процессе восстановления.

Этот инцидент подчёркивает одну из растущих проблем, связанных с модерацией ИИ, поскольку многие платформы всё чаще полагаются на автоматизированные системы для выявления незаконного или оскорбительного контента.

В подробном обсуждении на X в Discord объяснили, что автоматизированная система безопасности работает путём сопоставления загруженного контента с базами данных известных вредоносных картинок и шаблонов. Компания признала, что иногда она может выдавать ложные срабатывания. Человек-модератор проверяет контент, но сбой приводит к тому, что система немедленно блокирует затронутые учётные записи.

«Мы работаем над улучшением мер безопасности, чтобы это больше не повторилось», — написали в Discord.

На X и Reddit пользователи утверждали, что их навсегда заблокировали просто за загрузку изображений, содержащих квадратные сетчатые узоры. Некоторое количество пользователей предположили, что инструменты модерации Discord на основе ИИ стали более чувствительны к сеткам, поскольку ранее они использовались для сокрытия или маскировки контента NSFW и детской порнографии от автоматизированных систем обнаружения.

Пока проблема не решена, юзерам рекомендуется воздержаться от отправки любых изображений с сеткой даже в личных сообщениях.

Зимой этого года Discord после негативной реакции пользователей отменил свою угрозу с начала марта сделать «детскими» все аккаунты без верификации возраста.

Ранее Discord показал новые правила пользования платформой, которые предполагали, что все аккаунты пользователей в мире автоматически сделают «детскими», пока их владельцы не подтвердят свой возраст. Предполагалось, что без подтверждения нельзя будет заходить на сервера 18+, а если потребитель уже состоит в таких серверах, доступ к ним заблокируют. Личные сообщения для незнакомых пользователей также будут закрыты. Подтвердить свой возраст планировалось разрешить только паспортом и видеосканом лица.