Apple представила PICO — нейросетевой кодек для оптимизированного сжатия изображений

Исследователи Apple разработали PICO (Perceptual Image Codec) — нейросетевой кодек для сжатия изображений с учётом их содержимого. Система работает в 2-3 раза эффективнее обычных кодеков и быстрее конкурирующих систем на базе ML.

В отличие от стандартных кодеков, в которых алгоритмы сжатия прописан вручную, PICO относится к разряду обучаемых систем. В основе лежит нейросетевая схема для кодирования изображений. Она обучена понимать, какие детали на снимках человеческий глаз не замечает, и удалять их в первую очередь. Благодаря этому изображения удаётся эффективно сжимать с минимальной потерей качества.

По данным разработчиков, PICO выдаёт экономию битрейта в 2-3 раза по сравнению с AV1, AV2, VVC, ECM и JPEG AI при сопоставимом визуальном качестве. Если сравнивать с другими нейросетевым кодеками, то экономия битрейта составляет 20-40%. Одновременно Apple не сравнивает PICO с JPEG XL.

Отдельно компания обращает внимание на скорость работы. На iPhone 17 Pro Max PICO кодирует 12-мегапиксельное изображение приблизительно за 230 мс и декодирует его за 150 мс. Apple отмечает, что обычно ML-кодеки работают на GPU Nvidia V100, что значительно усложняет их перенос на мобильное железо.

Пока проект больше похож на исследовательскую работу, а о планах внедрить PICO в операционные системы Apple или iCloud пока неизвестно. Вероятно, подробностями организация поделится на WWDC в начале июня.