Cisco выпустила публичный средство «для отслеживания происхождения моделей ИИ»

Компания Cisco выпустила инструмент с открытым исходным кодом для отслеживания происхождения моделей ИИ и сравнения их сходств, что обеспечивает высокую прозрачность цепочки поставок ИИ.

Инструмент Model Provenance Kit представляет собой набор инструментов на языке Python и интерфейс командной строки (CLI), который анализирует такие сигналы, как метаданные и веса, для создания «отпечатка» моделей ИИ. Затем его можно сравнить с отпечатками других моделей, чтобы определить потенциальное общее происхождение.

«Представьте Model Provenance Kit как ДНК-тест для моделей ИИ. Подобно тому, как ДНК-тест выявляет биологическое происхождение, Model Provenance Kit анализирует как метаданные, так и фактические параметры модели, прошедшие обучение (подобно уникальному геному, из которого состоит модель), чтобы оценить, имеют ли модели общее происхождение, и выявить признаки модификации», — отметили исследователи Cisco. 

Средство призван устранить пробелы в прозрачности цепочки поставок моделей ИИ. В частности, многие организации используют модели с открытым исходным кодом из таких репозиториев, как HuggingFace, где модели потенциально могут быть загружены с неполной или вводящей в заблуждение документацией.

Инструментарий работает в два этапа и имеет два разных режима: сравнение и сканирование. В режиме сравнения потребитель может выбрать две модели для сравнения и получить разбивку оценок сходства по метрикам, в том числе метаданные, структуру токенизатора и сигналы уровня весов, а также итоговую сводную оценку; если эта итоговая оценка превышает конкретный порог, модели считаются связанными.

В режиме сканирования одна модель может быть сравнена с базой данных известных отпечатков для приблизительно 150 различных базовых моделей из более чем 45 семейств и 20 издателей, включая Meta*, Google, Alibaba, Microsoft, DeepSeek, Nvidia и OpenAI.

На первом этапе анализа инструментарий выполняет «архитектурный скрининг» на основе структурных метаданных и конфигураций моделей, что позволяет быстро определить, имеют ли две модели идентичную архитектуру. Cisco отметила, что только этот этап может решить «значительную часть» задач.

Второй этап включает анализ на уровне весов, рассматривая пять конкретных сигналов: сходство якорных вложений (EAS), распределение норм вложений (END), отпечаток слоя норм (NLF), энергетический профиль слоя (LEP) и косинус значения веса (WVC). Эти сигналы помогают идентифицировать модели, имеющие одинаковый архитектурный шаблон, но обученные отдельно.

Cisco обнаружила, что Model Provenance Kit идентифицировал стандартные производные модели — такие как одна и та же базовая схема с различной тонкой настройкой или выравниванием — в 100% случаев, а равным образом показал 100% полноту для межорганизационных производных, когда модель дорабатывается и выпускается под другим именем иной организацией.

Модели, обученные независимо, но использующие один и тот же токенизатор, были идентифицированы со 100% точностью, и из 111 проанализированных пар моделей только четыре были классифицированы неправильно, что касалось моделей с «экстремальными архитектурными преобразованиями».

В дополнение к защиты организаций от обмана и скрытых рисков, связанных с моделями в экосистеме ИИ с открытым исходным кодом, инструментарий равным образом может помочь избежать проблем с соблюдением нормативных требований, связанных с невозможностью отследить происхождение используемой ими модели.

«Поскольку модели постоянно совершенствуются, перерабатываются, объединяются и переупаковываются, файлы моделей перестали быть статическими активами. Отслеживать происхождение становится сложнее, а скрывать его становится легче, и ответ на вопрос “каково происхождение этой модели?” требует более тонких подходов», — заключили исследователи Cisco.