Uptime Industries делает ставку на локальную инфраструктуру искусственного интеллекта с помощью портативного устройства «AI-in-a-box» под названием Lemony AI.
Lemony AI размером с сэндвич может, по-видимому, запускать большую языковую модель (LLM), агенты искусственного интеллекта и рабочие процессы искусственного интеллекта на одном узле. Каждый Lemony требует для работы всего 65 ватт энергии, что эквивалентно зарядке ноутбука, и может быть сложен и подключен для формирования более крупных кластеров искусственного интеллекта.
Саша Бюрле, соучредитель и генеральный директор Uptime, рассказал TechCrunch, что каждый узел может поддерживать LLM размером до 75 миллиардов параметров и может размещать модели с открытым исходным кодом или модернизированные версии закрытых моделей. В кластере узлов Lemony каждое устройство может запускать разные модели.
Uptime запускается в партнерстве с IBM и JetBrains, чтобы предоставить своим клиентам более легкий доступ к моделям искусственного интеллекта, включая закрытые модели IBM.
Как и в случае с большинством технологических стартапов, идея Lemony AI возникла из побочного проекта: соучредители Uptime, Бюрле и Иван Кулешов, пытались выяснить, можно ли распространять языковые модели на микрокомпьютерах Raspberry Pi, и хотя изначально это не было связано с генеративным ИИ, когда это сработало, они начали пробовать, что еще могут делать эти Raspberry Pi.
Когда они поняли, что запуск моделей на локальных устройствах может стать ключом к более широкому внедрению ИИ в организациях — например, в предприятиях, которые не хотят использовать облачные модели — они начали создавать собственное устройство. Они решили, что небольшой размер с акцентом на конфиденциальность данных может побудить компании быстрее внедрять ИИ.
«Нам нужно создать что-то небольшое, что легко впишется в команды и не потребует принятия решений на уровне всей организации — по сути, внедрить локальные генеративные ИИ-решения в бизнес-команды», — сказал Бюрле. Он добавил, что кластеры небольших и мощных устройств могут помочь системе расти в соответствии с потребностями клиентов.
Компания заявляет, что уже наблюдает высокий спрос со стороны бизнеса в строго регулируемых отраслях, таких как финансы, здравоохранение и право.
«Все остается в вашей коробке», — сказал Бюрле. «То есть ваши документы, файлы, электронные письма — модели хранятся в коробке, агенты работают локально в коробке, и ничего не покидает коробку».
На данный момент Uptime привлекла 2 миллиона долларов в рамках раунда начального финансирования, возглавляемого True Ventures, с участием Alumni Ventures, JetBrains и некоторых ангельских инвесторов. Компания будет использовать эти средства для дальнейшей разработки своих устройств.
Стартап заявляет, что сейчас планирует сделать так, чтобы разработанное им программное обеспечение для микрокомпьютеров с искусственным интеллектом, Lemony OS, работало на оборудовании других компаний, например Nvidia DGX Spark. Он также хочет расширить возможности программного обеспечения с текущего фокуса на одного пользователя до такого, которое может использоваться командами.
Использование Lemony AI стоит 499 долларов в месяц, и к нему могут получить доступ до пяти пользователей.
Оригинал
Уникальность
