Intel потенциально упрощает объективную оценку качества изображения в современных играх. Новый показатель качества видео на базе искусственного интеллекта, называемый Computer Graphics Visual Quality Metric (CGVQM), теперь доступен на GitHub в виде приложения PyTorch.
В современных играх кадры анимации редко рендерируются в исходном виде. При использовании таких технологий, как DLSS, методы генерации кадров и другие, может возникать множество проблем с качеством изображения, таких как ореолы, мерцание, наложение, дискоклюзия и многие другие. Мы часто обсуждаем эти проблемы с качественной точки зрения, но гораздо сложнее присвоить объективную оценку или балл общей эффективности этих технологий в контексте выходного кадра.
Показатели, такие как пиковое отношение сигнал/шум (PSNR), обычно используются для количественной оценки качества изображения при оценке видео, но эти измерения имеют ограничения и могут быть использованы не по назначению.
Одно из таких потенциальных неправомерных использований — оценка графического вывода в реальном времени с помощью PSNR, который в основном предназначен для оценки качества сжатия с потерями. Однако артефакты сжатия, как правило, не являются проблемой в графике в реальном времени, поэтому PSNR сам по себе не может учесть все потенциальные проблемы, о которых мы упомянули.
Чтобы создать более эффективный инструмент для объективной оценки качества изображения современной графики в реальном времени, исследователи Intel применили двусторонний подход, описанный в статье «CGVQM+D: Computer Graphics Video Quality Metric and Dataset» (CGVQM+D: метрика качества видео компьютерной графики и набор данных), авторами которой являются Акшай Джиндал, Набиль Садака, Ману Маттью Томас, Антон Соченов и Антон Капланян.
Сначала исследователи создали новый набор данных видео, названный «Набор данных визуального качества компьютерной графики» (CGVQD), который включает в себя различные потенциальные ухудшения качества изображения, создаваемые современными техниками рендеринга. Авторы учли искажения, возникающие в результате трассировки пути, нейронного шумоподавления, техник нейронного суперсэмплинга (таких как FSR, XeSS и DLSS), гауссового сплиттинга, интерполяции кадров и адаптивного затенения с переменной скоростью.
Во-вторых, исследователи обучили модель искусственного интеллекта создавать новую оценку качества изображения, которая учитывает широкий спектр возможных искажений: вышеупомянутый показатель визуального качества компьютерной графики (CGVQM). Использование модели искусственного интеллекта делает оценку и рейтинги качества графического вывода в реальном времени более масштабируемыми.
Чтобы убедиться, что наблюдения их модели искусственного интеллекта хорошо коррелируют с наблюдениями людей, исследователи сначала представили свой новый набор видеоданных группе наблюдателей-людей, чтобы создать базовую правду относительно воспринимаемой степени различных искажений в них. Наблюдателям было предложено оценить различные типы искажений, содержащихся в каждом видео, по шкале от «незаметного» до «очень раздражающего».
Оригинал
Уникальность
