Подрядчик OpenAI и Anthropic разрабатывает средство для работы с признаками онлайн-радикализации

Новозеландский стартап-компания ThroughLine, который уже сотрудничает с OpenAI, Anthropic и Google по кризисным сценариям, хочет расширить свою систему поддержки и добавить в неё работу с признаками насильственного экстремизма. По данным Reuters, речь идёт о новом инструменте, который должен сочетать чатбота и перенаправление пользователя к реальным службам помощи.

Сейчас ThroughLine известна как служба, который подключается в тех случаях, когда AI-платформа видит возможный риск селфхарма, домашнего насилия или расстройств пищевого поведения. У компании есть постоянно обновляемая сеть из 1600 горячих линий в 180 странах, и в таких сценариях пользователя направляют к подходящей локальной службе поддержки.

Теперь организация рассматривает следующий шаг — работу с пользователями, которые проявляют признаки радикализации или интерес к насильственному экстремизму. Для этого ThroughLine ведёт обсуждения с The Christchurch Call — международной инициативой, созданной после теракта в Крайстчерче в 2019 году для противодействия онлайн-экстремизму. Предполагается, что эта формат будет давать экспертные рекомендации, а ThroughLine — создавать сам инструмент вмешательства.

Другие новости и материалы по AI — в Telegram-канале NH | Новости технологий, AI и будущее.

По словам основателя ThroughLine Эллиота Тейлора, речь идёт не о несложный блокировке пользователя или автоматическом отключении диалога, а о более мягкой модели вмешательства. В основе должен быть гибридный подход: специализированный чатбот, обученный работать с чувствительными кейсами, плюс функция вывести человека на живую помощь в офлайне или через профильные службы. Сроки запуска пока не объявлены, продукт всё ещё тестируется.

Идея выглядит как попытка уйти от привычной логики “обнаружили риск — забанили”. В Reuters отмечают, что у платформ уже растёт давление из-за исков и претензий, связанных с тем, что чатботы могут не остановить опасное поведение или даже косвенно его поддержать. На этом фоне ThroughLine предлагает схема, где проблема рассматривается не только как вопрос модерации контента, но и как вопрос кризисной помощи человеку.

В статье отдельно подчёркивается, что у такого подхода остаются сложные вопросы: как строить follow-up, когда и нужно ли уведомлять власти, и не приведёт ли слишком жёсткое вмешательство к обратному эффекту — например, к уходу пользователей на менее регулируемые площадки. Но сам факт появления таких инструментов показывает, что AI-компании всё чаще вынуждены думать не только о генерации текста, но и о том, что создавать с опасными сценариями в живом общении с пользователем.