Компания Sony подала патентную заявку на использование искусственного интеллекта, который анализирует только что отображенный кадр и последние действия игрока (нажатия кнопок), чтобы спрогнозировать следующий кадр — ещё до того, как консоль успеет отрисовать его по‑настоящему. Цель — обеспечить более плавный игровой процедура без задержек, характерных для других методов повышения частоты кадров.

ИИ изучает предыдущие кадры видеоряда и действия игрока, чтобы заранее генерировать и выводить на экран последующие кадры анимации. Данные основана на патентной заявке US 2026/0320740 A1.

В патентной заявке описывается подход, который предполагает, что, пока графическое оборудование занято отрисовкой следующего реального кадра, обученный ИИ анализирует только что показанный кадр и предугадывает, что должно быть дальше. Этот «предсказанный» кадр выводится на экран первым, благодаря чему видеоряд остаётся плавным и стабильным.

В документе отмечается, что некоторые существующие методы предполагают вставку промежуточного («фейкового») кадра между двумя реальными. Это означает, что приходится дожидаться завершения отрисовки обоих реальных кадров, и появляется задержка. В версии Sony прогноз строится без ожидания отрисовки следующего реального кадра.

В патенте используется автокодировщик — пара нейронных сетей (программных систем, обучающихся на примерах), которые работают как единое целое. Энкодер сжимает кадр в «эмбеддинг» — компактный набор чисел, отражающий содержание изображения. Декодер преобразует этот набор обратно в прогнозируемый следующий кадр.

Процедура обучения выглядит так: весовые коэффициенты (настраиваемые параметры внутри сети) изначально задаются случайным образом. Энкодер получает кадр из видеопотока, декодер пытается предсказать следующий кадр, а система сравнивает этот прогноз с реальным кадром. Разница между ними называется «потерей» (loss) — это метрика того, насколько ошибочным оказался прогноз. В патенте указано, что обучение включает проверку этой величины потерь на соответствие заданному пороговому значению. Участие человека (разметка данных) не требуется, поскольку правильные ответы содержатся в самом видеопотоке.

После завершения обучения платформа работает циклически:

• графический конвейер отрисовывает фактический кадр;

• энкодер считывает этот кадр, а также (опционально) векторы движения (указывающие направление перемещения отдельных элементов изображения) и данные о недавних действиях пользователя с контроллером;

• декодер формирует синтетический кадр и сразу направляет его в буфер дисплея; этот кадр отображается до того, как будет готов второй реальный;

• декодер генерирует больше цветовых каналов, чем получает на входе энкодер, что позволяет создавать сразу несколько последующих кадров. 

В заявке также упоминается функция прогнозирования предыдущих кадров и описывается более простой, не основанный на ИИ резервный способ, при котором блоки пикселей смещаются в соответствии с их векторами движения.

Если это подход заработает, в требовательных играх можно будет добиться более стабильной частоты кадров — и при этом избежать дополнительной задержки ввода, которая обычно возникает, когда системе приходится «ждать» появления двух полноценных кадров. В патентной заявке это описывается как способ борьбы с «фризами» (hitching) — внезапными притормаживаниями, которые замечают игроки, когда сцена становится слишком тяжёлой для обработки. В дополнение к этого, это даёт возможность игре поддерживать постоянный темп, избавляя от необходимости снижать качество графики ради сохранения стабильной частоты кадров.

Для реализации используются стандартные компоненты: процессор, хранилище и монитор, а данные о действиях игрока (ввод с контроллера) помогают системе точнее «предсказывать» промежуточные кадры. По сути, это программное подход, которое можно внедрить как на игровых консолях, так и на ПК. 

Это уже 16-я патентная заявка Sony в сфере графического рендеринга. Ранее компания представила решения для обнаружения новых объектов в кадре и для улучшения чёткости сжатого игрового изображения.

В документации не приводятся количественные показатели скорости или качества изображения, а в приведенном примере заметно, что модель упускает детали. Ошибочный вариант может промелькнуть на экране за доли секунды, следовательно схема должна функционировать достаточно точно, чтобы пользователь этого не замечал.

Компания Sony подала патентную заявку на использование искусственного интеллекта, который анализирует только что отображенный кадр и последние действия игрока (нажатия кнопок), чтобы спрогнозировать следующий кадр — ещё до того, как консоль успеет отрисовать его по‑настоящему. Цель — обеспечить более плавный игровой процедура без задержек, характерных для других методов повышения частоты кадров.

ИИ изучает предыдущие кадры видеоряда и действия игрока, чтобы заранее генерировать и выводить на экран последующие кадры анимации. Данные основана на патентной заявке US 2026/0320740 A1.

В патентной заявке описывается подход, который предполагает, что, пока графическое оборудование занято отрисовкой следующего реального кадра, обученный ИИ анализирует только что показанный кадр и предугадывает, что должно быть дальше. Этот «предсказанный» кадр выводится на экран первым, благодаря чему видеоряд остаётся плавным и стабильным.

В документе отмечается, что некоторые существующие методы предполагают вставку промежуточного («фейкового») кадра между двумя реальными. Это означает, что приходится дожидаться завершения отрисовки обоих реальных кадров, и появляется задержка. В версии Sony прогноз строится без ожидания отрисовки следующего реального кадра.

В патенте используется автокодировщик — пара нейронных сетей (программных систем, обучающихся на примерах), которые работают как единое целое. Энкодер сжимает кадр в «эмбеддинг» — компактный набор чисел, отражающий содержание изображения. Декодер преобразует этот набор обратно в прогнозируемый следующий кадр.

Процесс обучения выглядит так: весовые коэффициенты (настраиваемые параметры внутри сети) изначально задаются случайным образом. Энкодер получает кадр из видеопотока, декодер пытается предсказать второй кадр, а система сравнивает этот прогноз с реальным кадром. Разница между ними называется «потерей» (loss) — это показатель того, насколько ошибочным оказался прогноз. В патенте указано, что обучение включает проверку этой величины потерь на соответствие заданному пороговому значению. Участие человека (разметка данных) не требуется, поскольку правильные ответы содержатся в самом видеопотоке.

После завершения обучения платформа работает циклически:

• графический конвейер отрисовывает фактический кадр;

• энкодер считывает этот кадр, а также (опционально) векторы движения (указывающие направление перемещения отдельных элементов изображения) и информация о недавних действиях пользователя с контроллером;

• декодер формирует синтетический кадр и сразу направляет его в буфер дисплея; этот кадр отображается до того, как будет готов второй реальный;

• декодер генерирует больше цветовых каналов, чем получает на входе энкодер, что позволяет разрабатывать сразу несколько последующих кадров. 

В заявке также упоминается функция прогнозирования предыдущих кадров и описывается более простой, не основанный на ИИ резервный метод, при котором блоки пикселей смещаются в соответствии с их векторами движения.

Если это подход заработает, в требовательных играх можно будет добиться более стабильной частоты кадров — и при этом избежать дополнительной задержки ввода, которая обычно возникает, когда системе приходится «ждать» появления двух полноценных кадров. В патентной заявке это описывается как способ борьбы с «фризами» (hitching) — внезапными притормаживаниями, которые замечают игроки, когда сцена становится слишком тяжёлой для обработки. Помимо этого, это позволяет игре поддерживать постоянный темп, избавляя от необходимости снижать качество графики ради сохранения стабильной частоты кадров.

Для реализации используются стандартные компоненты: чип, память и экран, а данные о действиях игрока (ввод с контроллера) помогают системе точнее «предсказывать» промежуточные кадры. По сути, это программное решение, которое можно внедрить как на игровых консолях, так и на ПК. 

Это уже 16-я патентная заявка Sony в сфере графического рендеринга. Ранее компания представила решения для обнаружения новых объектов в кадре и для улучшения чёткости сжатого игрового изображения. Кроме того, она получила на систему, позволяющую зрителям прямых эфиров влиять на игровой процедура стримеров («Адаптивный указатель на экране и реакции во время игры»).

В документации не приводятся количественные показатели скорости или качества изображения, а в приведенном примере заметно, что модель упускает детали. Ошибочный вариант может промелькнуть на экране за доли секунды, поэтому модель должна работать в достаточной степени точно, чтобы потребитель этого не замечал.