В Apple нашли метод быстро и эффективно строить 3D-сцены с помощью ИИ

Apple разработали технологию, которая позволяет значительно повысить производительность отрисовки трёхмерных пространств. Она не требует существенного роста вычислительных ресурсов при повышении разрешения.

Технология получила название LGTM (Less Gaussians, Texture More) — в дополнение к исследователей Apple, в её разработке участвовали учёные Гонконгского университета. Существующие методы отрисовки трёхмерных сцен по фотографии или любому другому плоскому изображению дают резкий рост вычислительных затрат по мере увеличения разрешения. В конце минувшего года организация представила технологию, основанную на выстраивании виртуального пространства из трёхмерных представлений функции Гаусса, и этой технологии также свойственен этот недостаток

Проблему решает система LGTM — отделение геометрической сложности от разрешения рендеринга. Проще говоря, учёные отделили структуру сцены от её визуальных деталей: геометрия пространства остаётся максимально несложный, а детали высокого разрешения добавляются на этапе наложения текстур.

При обучении схема формирует каркас сцены на изображениях низкого разрешения, после чего результат сверяют с исходными картинками высокого разрешения — в результате она начинает выстраивать геометрию пространства, при которой итог оказывается точным даже при отрисовке в разрешениях 2K и 4K без пробелов и артефактов. Если первая нейросеть отвечает за построение геометрии, то вторая изучает картинку высокого разрешения и на её основе создаёт детализированные текстуры, которые накладываются поверх простого каркаса, созданного первой.

В результате технология LGTM позволяет воссоздавать детализированные трёхмерные сцены в разрешении 4K без квадратичного роста ресурсов, свойственного традиционным системам. На практике это решение поможет, в частности, в работе систем виртуальной и расширенной реальности — суммарное разрешение дисплеев Apple Vision Pro составляет 23 мегапикселя, и это требует колоссальных вычислительных ресурсов.