Контроль вместо экспериментов: собрали платформу для управления LLM в бизнесе

2 мин
Контроль вместо экспериментов: собрали платформу для управления LLM в бизнесе

Мы запустили red_mad_router — платформу для компаний, у которых LLM уже работают в продуктах, внутренних ассистентах и клиентских сервисах. Она помогает подключать разные модели в одном контуре, управлять доступами, контролировать расходы и задавать правила безопасности для локальных и облачных LLM.

Зачем всё это?

Когда модели используются в нескольких сервисах, вокруг них быстро появляется инфраструктурная обвязка: ключи, лимиты, провайдеры, маршруты запросов, требования к данным, отчёты по потреблению. Если настраивать всё это по отдельности для каждого сценария, поддерживать единые правила становится сложнее.

В red_mad_router мы собираем всё это в одном контуре:

  • подключение новых моделей и провайдеров через совместимый со стандартом OpenAI api за 17 строк кода;

  • управление доступами для команд и сотрудников;

  • лимиты и квоты на уровне команд и отдельных ключей;

  • мониторинг потребления токенов и распределения нагрузки по моделям;

  • политики безопасности для локальных и облачных LLM.

Общий контур подключения

Платформа разворачивается в корпоративном контуре и подключается к существующей инфраструктуре, следовательно правила работы с моделями и чувствительными данными не выносятся в разрозненные внешние инструменты.

Единый программный оболочку поддерживает работу с облачными LLM-провайдерами и open source-моделями, развёрнутыми локально. Для команд это выглядит как единая точка доступа: модели можно подключать, менять и комбинировать без отдельной логики под каждого провайдера.

Доступы и правила для команд

Ключи, роли и ограничения настраиваются централизованно. Можно задавать разные правила для команд и отдельных ключей:

  • кому какие модели доступны;

  • какие лимиты действуют;

  • какие требования применяются к данным.

Например, разработке можно открыть широкий набор моделей для тестирования, а продуктовому контуру оставить только согласованный стек и заданные бюджетные лимиты.

Контроль данных и безопасности

За безопасность в продукте отвечает наш собственный модуль Guardrails. Он фильтрует персональные данные до отправки запроса в модель, ограничивает нежелательные ответы и позволяет задавать разные политики для LLM.

Дополнительно предусмотрены логирование запросов и действий пользователей, а равным образом разграничение прав доступа.

Устойчивая работа под нагрузкой

Для рабочих сценариев добавили механизм fallback. Если одна модель не отвечает, запрос автоматически уходит в резервную.

Алгоритм нужен для балансировки нагрузки: можно заранее задать несколько LLM и распределять между ними запросы с учётом доступности и ресурсов.

Прозрачное потребление

В red_mad_router видно, какие команды, ключи и модели создают основную нагрузку. Можно отслеживать потребление токенов, задавать лимиты и квоты, просматривать распределение расходов и настраивать алерты.

Мы собрали red_mad_router для команд, у которых LLM уже встроены в продукты и внутренние сервисы. Когда управление моделями остаётся разрозненным, растут затраты на администрирование, сложнее контролировать расходы и выше риск некорректной работы с корпоративными данными.

Читают сейчас

Google отключил оператор inurl

41 минуту назад

Google отключил оператор inurl

Ранее Google ограничил количество результатов поиска по оператору site, а теперь полностью отключил и inurl — поисковый оператор, который позволял находить документы содержащие нужную последовательнос

Вышло апдейт мультиплатформенного проекта RevPDF 4.5 — альтернатива Adobe Acrobat

1 час назад

Вышло апдейт мультиплатформенного проекта RevPDF 4.5 — альтернатива Adobe Acrobat

13 июня 2026 года состоялся версия мультиплатформенного проекта RevPDF 4.5. Это маленький, бесплатный, работающий в автономном режиме редактор PDF-файлов с возможностью редактирования текста, скрытия

Microsoft выпустила версию PowerToys 0.100.0

3 часа назад

Microsoft выпустила версию PowerToys 0.100.0

Организация Microsoft выпустила PowerToys версии 0.100.0. Выпуск содержит исправления и улучшения для нескольких модулей, а наиболее важные изменения касаются повышения производительности, уменьшения

Апдейт Telegram: форматирование ботов и Markdown-файлы

4 часа назад

Апдейт Telegram: форматирование ботов и Markdown-файлы

Telegram опубликовал крупное обновление с десятками новых функций, в том числе с поддержкой мессенджера на смарт-часах, в том числе с Wear OS, а также опциями для ботов, групп и встроенного браузера.

Shutterstock станет «творческой платформой на основе ИИ»

5 часов назад

Shutterstock станет «творческой платформой на основе ИИ»

В Shutterstock анонсировали следующую ступень развития платформы, объединяющую библиотеку созданных людьми медиа с растущим набором инструментов на основе ИИ. Цель состоит в том, чтобы помочь пользова