После вчерашнего анонса Blackwell RTX 50-й серии возникла некоторая путаница. В ходе сегодняшней прямой сессии вопросов и ответов с генеральным директором Nvidia Дженсеном Хуангом мы смогли получить разъяснения по поводу DLSS 4 и некоторых других методов нейронного рендеринга, которые продемонстрировала Nvidia. Поскольку ИИ является ключевым элементом архитектуры Blackwell, важно лучше понимать, как он используется и что это значит для различных случаев применения.
Одним из главных «мультипликаторов» производительности в DLSS 4 является генерация нескольких кадров. В DLSS 3 Nvidia рендерила два кадра, а затем использовала искусственный интеллект для интерполяции промежуточного кадра. Это добавляло некоторую задержку в конвейер рендеринга игры, а также вызывало некоторые проблемы с темпом кадров. На первый взгляд кажется, что DLSS 4 будет делать нечто подобное, но вместо одного кадра будет генерировать два или три кадра - другими словами, несколько кадров интерполяции.
Оказалось, что это неверно. Когда мы спросили, как работает многокадровая генерация в DLSS 4 и продолжает ли она интерполировать, Дженсен смело заявил, что DLSS 4 «предсказывает будущее», а не «интерполирует прошлое». Это радикально меняет принцип работы, требования к аппаратным возможностям и ожидания по задержкам.
Работа по-прежнему ведется без нового пользовательского ввода, хотя функция искажения Reflex 2 может хотя бы частично смягчить эту проблему. Но на основе ранее отрендеренных кадров, векторов движения и других данных DLSS 4 будет генерировать новые кадры для создания более плавной картинки. Кроме того, у него новые требования к аппаратному обеспечению, которые помогают ему поддерживать лучшую частоту кадров.
Нам пока не удалось опробовать ее лично, поэтому мы не можем точно сказать, как многокадровая генерация DLSS 4 сравнится с фреймгеном DLSS 3 и обычным рендерингом. Похоже, что штраф за задержку все же есть, но насколько он будет ощутим - и особенно на разных уровнях графических процессоров RTX 50-й серии - это важный момент.
Из DLSS 3 мы знаем, что если вы получаете всего 40 FPS, то игра может показаться очень вялой и лагающей, даже если она выглядит достаточно плавной. Это происходит потому, что пользовательский ввод сэмплируется с частотой 20 FPS. В DLSS 4 это потенциально означает, что у вас может быть сгенерированная частота кадров 80 FPS при пользовательской выборке 20 FPS. Или, говоря другими словами, мы обычно считаем, что для того, чтобы игра была отзывчивой при использовании фреймгена, необходима частота дискретизации не менее 40-50 FPS.
При многокадровой генерации это означает, что для аналогичных ощущений нам может потребоваться частота сгенерированных кадров 160-200 FPS. На мониторе с частотой 240 Гц это может быть великолепно, и мы с удовольствием посмотрим на это, но в то же время на мониторе с частотой 60 или даже 120 Гц генерация нескольких кадров может оказаться не такой уж и великолепной.
Другой наш вопрос касался нейронных текстур и рендеринга, которые были показаны. Nvidia показала несколько примеров использования памяти в 48 МБ для стандартных материалов, и сократила этот показатель до 16 МБ с «RTX Neural Materials». Но что именно это значит и как это повлияет на игровой процесс? Нас особенно интересовало, сможет ли это помочь графическим процессорам с не таким большим объемом VRAM, таким как RTX 4060 с 8 ГБ памяти.
К сожалению, по словам Дженсена, эти нейроматериалы потребуют от создателей контента особой реализации. По его словам, в Blackwell есть новые функции, которые позволяют разработчикам и художникам помещать в материалы шейдерный код, смешанный с инструкциями нейронного рендеринга. Описания материалов стали довольно сложными, и описать их математически может быть непросто. Но Дженсен также сказал, что «ИИ может научиться делать это за нас».
Эти новые функции не будут доступны на GPU предыдущего поколения, поскольку они не обладают необходимыми аппаратными возможностями для смешивания шейдерного кода с нейронным. Поэтому, чтобы получить преимущества, нейронные материалы потребуют работы со стороны контента, а значит, разработчикам придется специально внедрять эти новые возможности.
Это означает, что, например, если мы получим карту RTX 5060 с 8 ГБ памяти, то для целого ряда существующих игр 8 ГБ VRAM все равно окажутся ограничивающим фактором. Это также означает, что RTX 4060 и 4060 Ti с 8 ГБ не получат новую жизнь благодаря нейронному рендерингу. По крайней мере, так мы это понимаем. Но, возможно, в будущем сеть искусственного интеллекта научится делать некоторые из этих вещей за нас.
Оригинал
Уникальность
