В «Архиве Интернета» из‑за наплыва ботов могут блокировать и обычных пользователей

Некоммерческая организация «Архив Интернета» развернула средства защиты онлайн‑библиотеки Wayback Machine от автоматизированных и вредоносных ботов, что стало приводить к блокировке и обычных пользователей, пытающихся получить доступ к ресурсу.

«Вот что происходит. Сервис Wayback Machine „Архива Интернета“ подвергся атакам большого объёма автоматизированного трафика, и мы приняли меры защиты, чтобы обеспечить бесперебойную работу сервиса», — создал текст директор Wayback Machine Марк Грэм.

Он внедрил, что меры защиты в некоторых случаях могут затрагивать и реальных пользователей. «Архив Интернета» принёс извинения за случаи таких блокировок, пообещав сократить количество подобных ошибок.

Блокировка может произойти при получении ошибки 429 — HTTP‑кода состояния, который означает, что пользователь отправил слишком множество запросов за определённый промежуток времени.

«Мы всё лучше отличаем ботов, использующих вредоносный контент, от тех, кто ежедневно пользуется сервисом Wayback Machine. Если вы считаете, что вас заблокировали по ошибке, отправьте электронное письмо на адрес info@archive.org, указав вашу операционную систему, браузер и IP‑адрес, и мы разберёмся в ситуации», — объяснил Грэм.

«Архив Интернета» пытается бороться с ботами, собирающими информация для обучения моделей искусственного интеллекта. В 2023 году компания вышла из строя после того, как столкнулась с «десятками тысяч запросов в секунду» от компании в сфере ИИ, которая хотела извлечь текстовые данные.

Осенью прошлого года основатель «Архива Интернета» Брюстер Кейл объявил, что библиотека теперь сохраняет контент, сгенерированный ИИ, в том числе ответы ChatGPT и сводки AI Overviews в поисковике Google.

Летом этого года региональные СМИ начали блокировать «Архива Интернета» из‑за опасений, что ИИ‑компании могут применять данные из репозиториев организации для обучения языковых моделей. Число таких изданий достигло 340.