Tiiny Lab — это стартап из США, который, судя по всему, специализируется на аппаратных решениях для персональных LLM‐моделей. Их последний продукт знаменует выход компании на рынок мини‐ПК и получил название Pocket Lab. Как и следует из названия, мини‐ПК невероятно компактный, но при этом оснащён мощным «железом», способным запускать LLM‐модели с числом параметров до 120 миллиардов — весьма впечатляющее заявление.
12‐ядерный ARM‐процессор с dNPU для 160 + 30 TOPS вычислений ИИ
Интересно, что Tiiny AI утверждает: Pocket Lab получил титул «Самого маленького мини‐ПК в категории 100B LLM Local» от Книги рекордов Гиннесса, хотя формулировка звучит довольно специфично. Тем не менее, сомнений в компактности устройства нет: всего 14,2 × 8 × 2,5 см (или 5,6 × 3,15 × 1 дюйм) и вес всего 300 граммов.
Tiiny AI также заявляет, что поддерживается установка в один клик популярных open‐source моделей, таких как Llama, Qwen, DeepSeek, Mistral, Phi и OpenAI GPT‐OSS.
Обещаны регулярные OTA‐обновления ПО, что звучит многообещающе, хотя остаётся вопрос, будут ли эти обещания выполнены.
Аппаратная часть Pocket Lab выглядит внушительно: 12‐ядерный ARM CPU на базе ARMv9.2 NPU с производительностью 160 TOPS 80 ГБ памяти LPDDR5X, из которых 48 ГБ выделены для NPU SSD на 1 ТБ Энергопотребление 65 Вт
Полностью офлайн‐работа
Tiiny AI утверждает, что Pocket Lab способен работать с LLM‐моделями до 120 миллиардов параметров, хотя уровни квантования не уточняются. Стоимость пока не раскрыта, но очевидно, что устройство будет дорогим. Даже при агрессивном 4‐битном квантовании запуск модели с 120 млрд параметров выглядит сомнительно для системы с 80 ГБ памяти. Конечно, окончательные результаты покажет только практика.
Для обычных пользователей, которым не нужны локальные LLM и достаточно умеренной производительности, более подходящим вариантом станет типичный мини‐ПК, например Minisforum AI X1 Pro (сейчас $1 087,90 на Amazon).
Оригинал
Уникальность
