Дополненная реальность – горячее направление для Facebook, Snap, Apple и многих других компаний, которые тратят огромные деньги на многочисленные команды разработчиков и передовые технологии, чтобы освоить этот рынок. Датский стартап Spektral также занимается этим направлением деятельности, создавая потрясающие визуальные эффекты, ориентированные на массового потребителя. Сегодня Spektral объявил о привлечении $2,8 млн. инвестиций от венчурных компаний Litecap и Amp Ventures, чтобы продолжить разработку своей технологии «зеленого экрана», основанной на глубоком машинном обучении и работающей в режиме реального времени.
Spektral, в отличие от 99 процентов других стартапов, не имеет продукта или, по крайней мере, не в традиционном техническом плане. Вместо того чтобы тратить время на покорение рынка, Spektral вкладывает значительные средства в исследования и разработки и накапливает патенты. После того, как были презентованы фреймы с названием CloudCutout, команда перешла к разработке видео, отображаемого в режиме реального времени, объединяя машинное обучение со спектральной теорией графов, чтобы отделять людей и объекты от первоначального фона и размещать их в новом потоке.
Можно довольно легко себе представить, как эта технология внедряется в Snapchat или Messenger, но только потому, что она не статическая. Вероятно, именно поэтому стартап Spektral прилагает большие усилия, чтобы продемонстрировать, что его технология может быть полезной и во многих других сферах, таких как производство и реклама.
Другие исследовательские группы также активно изучают, как машинное обучение может открывать новые возможности для дизайна, чтобы эффективно отделять объекты от фона. Adobe, Институт передовых наук и технологий имени Бекмана и Иллинойский университет в Урбане-Шампейне вместе работали над публикацией исследований по автоматизации этого процесса. Тем не менее, видео и изображения – это два совершенно разных понятия.
Волосы людей уже давно являются ключевыми критериями для оценки качества вырезанных объектов. Токе Янсен, основатель и технический директор Spektral, объяснил, насколько недооценивают трудность вырезания изображений вокруг контура волос. Человек, оснащенный ножницами, может легко вырезать любые сложные формы, даже не задумываясь над этим. Но даже с помощью новейших моделей глубокого обучения, обученных на миллионах изображений, машины затрудняются сделать то же самое.
Spektral, как следует из его названия, экспериментирует со спектральной кластеризацией для сегментации изображений в видеокадре. Любые дополнительные видеоматериалы могут быть добавлены в качестве нового расширения более традиционных моделей. В будущем эта технология может проложить путь для более сложного редактирования видео. Команда успешно презентовала манипулирование различными объектами в качестве своего следующего передового решения.
Чтобы компания Spektral и ее технологии перешли на следующий этап своего развития, она приняла к себе в команду нескольких известных экспертов в данной области. В частности, Дэнни Ланге – руководитель отдела машинного обучения в компании Unity, присоединился к совету директоров стартапа. Ранее Ланге возглавлял направление машинного обучения в Uber.
Перевод специально для форума MMGP.COM
https://techcrunch.com/2017/06/08/s...opment-of-ai-powered-green-screen-technology/
https://text.ru/antiplagiat/5939f172a3123
