Многие инструменты ИИ сегодня могут анализировать видео и кратко описывать происходящее, но задача усложняется, когда нужно задавать моделям вопросы о нескольких видео или материалах, охватывающих многие часы.Это серьёзное ограничение для охранных компаний, которые хотят использовать ИИ для анализа тысяч часов записей с разных камер, а также для маркетинговых компаний, изучающих различные видеокампании и съёмки продуктов.Memories.ai стремится решить эту проблему с помощью своей ИИ-платформы, способной обрабатывать до 10 миллионов часов видео.
Для компаний с большим объёмом видео для анализа стартап предлагает контекстный слой с возможностью поиска, индексации, тегирования, сегментации и агрегации данных.Сооснователь компании, доктор Шон Шэнь, был научным сотрудником Meta Reality Labs во время работы над докторской диссертацией, а его коллега Энмин (Бен) Чжоу работал в Meta инженером по машинному обучению.«Все ведущие ИИ-компании, такие как Google, OpenAI и Meta, сосредоточены на создании сквозных моделей.
Эти возможности хороши, но такие модели часто ограничены в понимании видеоконтекста, превышающего один-два часа», — рассказал Шэнь TechCrunch.«Когда люди используют зрительную память, они просеивают большой объём данных. Мы вдохновились этим и хотели создать решение, которое лучше понимает видео на протяжении многих часов», — добавил он.
Для достижения этой цели компания привлекла $8 миллионов в раунде начального финансирования, возглавляемом Susa Ventures, при участии Samsung Next, Fusion Fund, Crane Ventures, Seedcamp и Creator Ventures. Шэнь отметил, что изначально компания планировала привлечь $4 миллиона, но из-за интереса инвесторов раунд оказался переподписанным. «Шэнь — высокотехнический основатель, одержимый расширением границ понимания и интеллекта видео», — сказал Миша Гордон-Роу, партнёр Susa Ventures.
«Memories.ai может раскрыть множество данных визуального интеллекта с помощью своего решения. Мы почувствовали, что на рынке есть пробел для долгосрочного визуального интеллекта, что и привлекло нас к инвестициям в компанию», — добавил он.Samsung Next придерживается немного другой позиции: инвестиционное подразделение Samsung видит решение Memories.ai полезным для потребителей.«Нам понравилось в Memories.ai то, что оно может выполнять много вычислений на устройстве. Это означает, что не обязательно хранить видеоданные в облаке.
Это может открыть новые возможности для охранных приложений для людей, которые опасаются устанавливать камеры видеонаблюдения дома из-за вопросов конфиденциальности», — сказал Сэм Кэмпбелл, партнёр Samsung Next.Memories.ai утверждает, что использует собственный технологический стек и модели для анализа. Сначала платформа удаляет шум из видео и пропускает данные через слой сжатия, сохраняя только важную информацию.
Затем идёт слой индексации, который делает видеоданные доступными для поиска (с использованием запросов на естественном языке) с сегментацией и тегами. Также есть слой агрегации, который обобщает данные из индекса, помогая создавать отчёты.В настоящее время стартап обслуживает два типа компаний: маркетинговые и охранные. Маркетинговые компании могут использовать инструменты стартапа для отслеживания трендов, связанных с их брендами в социальных сетях, и определения, какие видео они хотят создать.
Memories.ai также предоставляет инструменты для создания таких видео.Компания также сотрудничает с охранными компаниями, помогая анализировать записи с камер наблюдения для выявления потенциально опасных действий людей на основе распознавания закономерностей.На данный момент компании, работающие с Memories.ai, должны загружать свою видеобиблиотеку на платформу для анализа клипов. Но Шэнь сказал, что в будущем клиенты смогут создать общий диск и легче синхронизировать контент.
Планируется, что клиенты смогут задавать вопросы, например: «Расскажи всё о людях, которых я интервьюировал на прошлой неделе».Шэнь представляет ИИ-ассистента, который сможет понимать контекст жизни пользователя через его фотографии или при активации умных очков. Он также видит, как технология может играть роль в обучении гуманоидных роботов сложным задачам или помогать беспилотным автомобилям запоминать разные маршруты.В компании сейчас работает 15 человек, и она планирует использовать полученные средства для расширения команды и улучшения поиска.
Memories.ai конкурирует с похожими стартапами, такими как mem0 и Letta, которые работают над созданием слоя памяти для ИИ-моделей, хотя их поддержка видео на данный момент ограничена. Компании также придётся соперничать с такими игроками, как TwelveLabs и Google, которые работают над тем, чтобы ИИ-модели лучше понимали видео.Однако Шэнь считает, что решение его компании более универсально, что позволяет ему работать с разными видеомоделями.
Оригинал
Уникальность
