Perplexity представила pplx-embed – набор многоязыковых моделей для обработки больших объемов информации. Эти модели разработаны для работы с данными из интернета, обеспечивая альтернативу проприетарным программный оболочку.

Особенность новых моделей – использование двунаправленного внимания, позволяющего учитывать весь контекст текста, а не только предсказывать второй токен. ТРавным образом применяется диффузионное предварительное обучение, которое помогает модели выделять важную информацию из шумных данных.

В рамках инициативы представлены две версии моделей: одна оптимизирована для самостоятельных встраиваний и поисковых запросов, а вторая – для работы с большими документами, используемыми в системах RAG. Модели доступны в двух размерах (0.6B и 4B параметров) и поддерживают квантизацию INT8 для повышения эффективности.

В тестах MTEB и ConTEB флагманская 4B обошла профильные решения от Anthropic и Voyage. Обе модели доступны в размерах 0.6B и 4B на Hugging Face под лицензией MIT и через api Perplexity.