Alibaba выпустила VimRAG – не просто RAG, а агент с графом памяти

Исследовательская группа Alibaba-NLP представила два взаимосвязанных фреймворка – VimRAG и VRAG-RL, которые меняют решение к мультимодальному retrieval-augmented generation (RAG). В arXiv-препринтах 2602.12735 и 2505.22019 авторы предлагают отказаться от линейных историй в пользу динамического ориентированного ациклического графа (DAG) и обучения с подкреплением.

Основная идея VimRAG – побороть так называемую “слепоту состояний” (state blindness) в мультимодальных RAG-системах. Вместо того чтобы перебирать запросы и дублировать поиск, каркас строит multimodal memory graph – структуру, где каждый узел отвечает за определённый фрагмент информации (текст, изображение, видео), а рёбра показывают, как агент переходит от одного куска знаний к другому. В ходе рассуждения граф динамически обрезается с помощью graph-guided policy optimization (GGPO) – это даёт возможность точно назначать “кредиты” за полезные действия и ускорять сходимость обучения.

Для работы с тяжёлыми визуальными данными инженеры Alibaba внедрили graph-modulated visual memory encoding – механизм адаптивного выделения токенов, который не тратит ресурсы на второстепенные детали. А чисто визуальный агент VRAG (отдельный режим в том же фреймворке) учится собирать информацию постепенно – от общего плана к мелким элементам, имитируя то, как человек рассматривает сложную сцену.

На практике VimRAG можно запустить двумя способами:

• Через DashScope api (рекомендуется для быстрого старта) – используется схема qwen3.5-plus, не нужна локальная GPU. Просто ставите export DASHSCOPE_API_KEY=... и выполняете ./run_demo.sh vimrag. Откроется Streamlit-демо с визуализацией DAG в реальном времени, потоковой выдачей и режимом расширенного мышления.

• Локально – для этого нужен A100 80 ГБ, запускается Qwen2.5-VL-7B-VRAG через vLLM (порт 8002), плюс поисковый движок на FAISS (порт 8001). Команда ./run_demo.sh vrag поднимет всё автоматически.

Каркас поддерживает эмбеддинги Alibaba-NLP/GVE-3B, GVE-7B, а также Qwen3-VL-Embedding-2B и 8B. Индексация изображений, PDF (конвертируются в картинки) и видео (нарезаются на чанки заданной длительности) делается в пару строк на Python с помощью класса SearchEngine. Готовый индекс сохраняется автоматически с чекпоинтами.

Ссылки:

• GitHub Alibaba-NLP/VRAG

• arXiv:2602.12735 (VimRAG)

• arXiv:2505.22019 (VRAG-RL)

• Hugging-Face-коллекция

• Демо ViDoRAG