Редакторы «Википедии» зафиксировали проблемы из-за ИИ в ряде переводов

Редакторы «Википедии» ввели новые правила и ограничили доступ к информации для ряда авторов. На этот шаг пошли после того, как разработчики применили искусственный интеллект для перевода статей на другие языки, что добавило в материалы «галлюцинации» или ошибки.

ПЗадача началась с организации под названием Open Knowledge Association (OKA). Это НКО, которая занимается улучшением «Википедии» и других открытых платформ.

«Мы делаем это, предоставляя ежемесячные стипендии штатным авторам и переводчикам. Мы используем ИИ (большие языковые модели) для автоматизации большей части работы», — говорится на сайте OKA. 

Инициатива привела к тому, что в переводные материалы проникли ошибки. Например, в черновом переводе статьи «Википедии» о французской королевской семье Ла Бурдонне при обсуждении её происхождения приводится гиперссылка на книгу и номер конкретной страницы. Редактор Илья Лебле проверил этот источник и обнаружил, что на данной странице «вообще не говорится о семье Ла Бурдонне».

«Я решил во время обсуждения выборочно проверить первые некоторое количество переводов и уже обнаружил там некоторое количество ошибок, так что это не просто выборочные случаи. В некоторых статьях источники были заменены, либо добавлены предложения без объяснений, а в статье о выборах в Сенат Франции 1879 года были добавлены абзацы, взятые из материала, совершенно не связанного с написанным!» — рассказал Лебле. 

По мере того, как редакторы «Википедии» изучали больше статей, переведённых OKA, они обнаруживали всё больше проблем.

«Многие результаты очень неудовлетворительными, с большим количеством [...] редакторов, которые явно весьма плохо владеют английским языком, не читают свою работу (или не способны заметить проблемы) и не добавляют ссылки и так далее», — говорится на странице интернет-энциклопедии, посвящённой переводам OKA. На той же странице отмечается, что в некоторых случаях копирование/вставка в работе переводчиков нарушает форматирование некоторых статей.

Редакторы «Википедии» расследовали работу OKA и обнаружили, что НКО главным образом полагалась на дешёвую рабочую силу от подрядчиков из стран Глобального Юга, а последним поручили копировать и вставлять статьи в популярные программы ИИ для создания переводов.

НВ частности, в общедоступной электронной таблице, используемой OKA для отслеживания переводов, содержится инструкция: «Выберите статью, скопируйте вступительный раздел в Gemini или chatGPT, затем проверьте, улучшают ли некоторые из предложенных вариантов читабельность. Вносите изменения в статьи Wiki только в том случае, если предложения улучшают текст и не меняют смысл вступительного раздела. Не изменяйте содержание, пока не убедитесь в правильности информации, предоставленной Gemini!».

Лебле и другие редакторы отмечали, что ранее эти же инструкции предписывали переводчикам OKA применять ИИ Grok. Одновременно проект xAI под названием Grokepedia уже переполнен ошибками именно потому, что не использует людей для модерации статей.

«Использование Grok вызвало споры, особенно учитывая причины, по которым ИИ недавно фигурировал в новостях, а недавнее внутреннее исследование показало, что ChatGPT и Claude работают точнее. Тем не менее, они по-прежнему рекомендуют Grok как “полезный инструмент для опытных редакторов, работающих со сложными статьями, содержащими множество шаблонов”», — пожаловался Лебле.

В конечном итоге редакторы решили ввести ограничения для переводчиков OKA, но не блокировать все переводы. «Переводчики OKA, получившие в течение шести месяцев четыре (правильно применённых) предупреждения о контенте, не прошедшем проверку, будут заблокированы без дальнейших предупреждений, если будет обнаружен ещё один пример. Контент, добавленный переводчиком OKA, который впоследствии заблокирован за непрохождение проверки, может быть предположительно удалён [...] если только добросовестный редактор не готов взять на себя ответственность за него», — отмечается в новых правилах.

При этом объявление о вакансии «Переводчик “Википедии”» от OKA предлагает кандидату зарплату $397 в месяц при работе до 40 часов в неделю. В объявлении говорится, что от переводчиков ожидается публикация «5-20 статей в неделю (в зависимости от объёма)». «Редакторы используют машинный перевод для ускорения процесса. Мы опубликовали более 1500 статей, и это число растет с каждым днем», — говорится в объявлении.

«Распределение обязанностей вызывает беспокойство, поскольку независимые подрядчики не обязательно имеют те же гарантии, что и штатные работники», — написал Лебле в публичном обсуждении OKA в «Википедии».

Джонатан Циммерман, основатель и президент OKA, сообщил, что переводчики зарабатывают почасовую оплату, а не за статью, и что фиксированной квоты на статьи нет.

«Мы делаем упор на качество, а не на скорость. На самом деле, некоторые проблемные случаи были связаны с необычно высокой производительностью по отношению к затраченному времени — что, оглядываясь назад, было тревожным сигналом. Эти случаи были вызваны личным энтузиазмом и скоростью, а не институциональным давлением», — отметил он. 

Циммерман пояснил, что «ошибки, безусловно, случаются», но процедура OKA включает в себя проверку человеком, требует от переводчиков сверять свой контент с цитируемыми источниками, а «старшие редакторы периодически проверяют статьи, особенно от начинающих переводчиков».

«После недавнего обсуждения мы усилили меры безопасности. Сейчас мы внедряем второй, независимый этап проверки LLM. Переводчики должны проверить готовый черновик с помощью отдельной модели, используя специальную подсказку для сравнения, предназначенную для выявления потенциальных несоответствий, упущений или неточностей относительно исходным текстом. Первые результаты показывают, что это весьма эффективно работает для выявления потенциальных проблем», — поделился Циммерман. 

Он добавил, что OKA также рассматривает возможность внедрения формальных механизмов экспертной оценки.

«Ключевой момент заключается в том, что мы не заменяем ручную проверку автоматической. Вторая модель дополняет ручную проверку, а не заменяет её», — заключил Циммерман. 

По его мнению, ограничения применяются именно к переводчикам OKA, но нужно, чтобы такие стандарты внедрили для всех редакторов.

В июне 2025 года редакторы «Википедии» выступили против планов «Викимедиа» по тестированию аннотаций статей, созданных с помощью ИИ. В итоге фонд решил приостановить проект.

В августе «Википедия» утвердила новую политику против текстов, созданных нейросетями. Она даёт возможность редакторам энциклопедии моментально удалять такие материалы.

Кроме того, когда основатель «Википедии» Джимми Уэйлс предложил использовать языковые модели при написании текстов для энциклопедии, редакторы отвергли его идею. Это произошло после того, как ChatGPT не прошёл проверку базовых правил статей на платформе.

Осенью 2025 года энциклопедия опубликовала подробное руководство, которое поможет пользователям и редакторам определять, был ли текст написан человеком или сгенерирован языковой моделью. Гайд выделяет несколько ключевых сигналов машинной генерации. Среди них повторяющиеся фразы вроде «стоит отметить», «в целом стоит», стандартные заключения вроде «в заключение», а также чрезмерно нейтральный, энциклопедичный тон, который не отражает авторский стиль.