Компания World Labs, основанная пионером в области искусственного интеллекта Фей-Фей Ли, представила свой первый проект: систему искусственного интеллекта, которая может генерировать 3D-сцены, похожие на видеоигры, из одного изображения.
Множество систем искусственного интеллекта могут превратить фотографию в 3D-модели и окружение. Но сцены World Labs уникальны тем, что они интерактивны - и поддаются изменению.
«[Наша технология] позволяет вам войти в любое изображение и исследовать его в 3D», - пишет World Labs в своем блоге. «Помимо входного изображения, все генерируется».
Сцены, созданные искусственным интеллектом, которые любой человек с клавиатурой и мышью может изучить в демо-версии на сайте World Labs, выглядят впечатляюще, хотя и немного мультяшно. Они отображаются в браузере в реальном времени и имеют управляемую камеру с регулируемой имитацией глубины резкости (DoF). Чем сильнее эффект DoF, тем более размытыми кажутся фоновые объекты.
Система World Labs относится к новой категории ИИ, называемой «моделями мира». Многие из этих моделей могут имитировать игры и 3D-окружение - но с артефактами и проблемами согласованности. Например, модель мира Oasis, имитирующая Minecraft, разработанная стартапом Decart, имеет низкое разрешение и быстро «забывает» расположение уровней.
В отличие от этого, подход World Labs гарантирует, что сцены остаются неизменными после их генерации и подчиняются основным законам физики, что означает, что они имеют ощущение твердости и глубины.
Система World Labs также может применять интерактивные эффекты и анимацию к сценам, например, изменять цвет объектов и динамически освещать задники.
«Большинство инструментов генеративного ИИ создают 2D-контент, например изображения или видео», - пишут в World Labs. «Генерация в 3D вместо этого улучшает контроль и согласованность. Это изменит то, как мы создаем фильмы, игры, симуляторы и другие цифровые воплощения нашего физического мира».
Конечно, есть куда стремиться. Сцены World Labs нельзя полностью исследовать - ваши движения ограничены небольшой областью. (Попробуйте выйти за ее пределы, и вы наткнетесь на границу), и иногда случаются ошибки рендеринга - например, объекты смешиваются друг с другом неестественным образом.
Но World Labs утверждает, что это всего лишь «ранняя предварительная версия».
«Мы упорно работаем над улучшением размеров и реалистичности наших генерируемых миров, а также экспериментируем с новыми способами взаимодействия с ними», - пишет стартап в своем блоге.
World Labs, запущенная в начале этого года, привлекла 230 миллионов долларов венчурного капитала от таких инвесторов, как Andreessen Horowitz (a16z), Эштон Катчер, Intel Capital, AMD Ventures и Эрик Шмидт. Компания оценивается более чем в 1 миллиард долларов и надеется, что ее первый продукт будет готов в 2025 году.
Помимо интерактивных сцен, World Labs планирует создавать инструменты, которые могут пригодиться таким профессионалам, как художники, дизайнеры, разработчики, кинематографисты и инженеры. Компания ориентируется на самых разных клиентов - от разработчиков видеоигр до киностудий.
«У нас уже есть возможность создавать виртуальные интерактивные миры, но это стоит сотни и сотни миллионов долларов и занимает массу времени», - сказал соучредитель World Labs Джастин Джонсон в недавнем выпуске подкаста a16z. «[Модели World] позволят вам не просто получить изображение или клип, а полностью смоделированный, яркий и интерактивный 3D-мир».
Оригинал
УНикальность
