Selectel внедрил RAGFlow в свой в AI-маркетплейс

В AI-маркетплейсе Selectel появился RAGFlow Virtual Machine — готовый облачный сервер, заточенный под глубокий аналитика сложных документов (Deep Document Understanding). Решение подойдет компаниям, для которых актуален вопрос внедрения ИИ для работы с внутренними документами без потери качества.

Что внутри

RAGFlow — это мощный комбайн. Он хорош не только тем, что умеет вытаскивать неструктурированные данные из PDF, таблиц и картинок, но и своими интеграциями: в нем есть готовые пайплайны для бесшовного переключения самых разных источников данных, раскладывания их по полочкам и передачи LLM идеального контекста.

Все крутится в контейнерах на связке Docker и Docker Compose. За текстовый поиск отвечают масштабируемые движки Elasticsearch и OpenSearch. Векторные данные для ИИ уходят в специализированные базы Infinity и Seekdb, а обычные данные ложатся в реляционные MySQL и OceanBase. Кэш и объекты хранятся в Redis и S3-совместимом MinIO, а общаются все эти компоненты через брокер сообщений NATS. И, конечно, в образ уже вшиты все нужные драйверы для работы с видеокартами.

По существу, вы получаете готовую RAG-инфраструктуру, которая устанавливается за пару кликов.

Что по железу

Развернуть много баз данных локально на одной машине, конечно, можно. Но тогда вам придется вручную заниматься MLOps-рутиной: поддерживать контейнеры, обновлять зависимости и следить, чтобы ничего не упало. Образ решает именно эту проблему.

Значимый момент: для работы RAGFlow в нашем маркетплейсе не нужна видеокарта.

Логика архитектуры здесь другая. Сам сервер занимается оркестрацией, поиском и сложным парсингом документов. А тяжелые вычисления — сами языковые модели, эмбеддеры и реранкеры — подключаются к нему по программный интерфейс. Например, вы можете легко интегрировать модели из нашего Foundation Models Catalog или ИИ-роутера.

Поэтому минимальный порог входа по остальному железу скромный: 4 vCPU, 16 ГБ оперативки и загрузочный сетевой диск на 80 ГБ (с локальным диском GPU функционировать не будет). Но если вы планируете переваривать архивы документов, конфигурацию лучше брать с запасом — благо, после создания сервера ресурсы можно накинуть в любой момент.

Как потрогать это руками

Мы постарались сделать так, чтобы путь занимал минимум времени. Сначала перейдите в панель управления, в верхнем меню нажмите Продукты, откройте раздел «AI-маркетплейс» и нажмите Создать сервер. 

Дальше собираете машину, как конструктор: выбирите локацию (от нее зависит наличие конкретных карточек), в поле ввода Ресурс укажите RAGFLOW, добавьте нужный GPU, укажите количество ядер, объем памяти и размер диска. Сеть можно настроить любую — хоть целиком приватную, хоть с выходом в интернет через публичный IP, если вам так удобнее. Не забудьте добавить свой SSH-ключ для безопасного доступа.

Нажмите Создать и подождите пару минут, пока поднимется инфраструктура. Как только хост заведется, вернитесь в AI-маркетплейс. В карточке вашего нового RAGFlow Virtual Machine появится клавиша «Перейти в GUI». Кликнете по ней, нажмите Sign up, придумайте логин с паролем — и все. 

Средство уже доступен в AI-маркетплейсе.