Пользователь X (бывший Twitter) Андрей Давид только что установил и запустил модель искусственного интеллекта, основанную на llama2.c Андрея Карпати, на почти 20-летней консоли Xbox 360. Несмотря на ее возраст, Давид использовал загрузчик, чтобы загрузить модель на старую консоль и запустить приглашение «Sleep Joe said». Согласно сообщению, успешная попытка EXO Lab запустить Llama на ПК с Windows 98 вдохновила Дэвида на эксперимент.
Хотя ИИ LLM, используемый в Xbox 360, основан на том же, что и в компьютере EXO Lab под управлением Windows 98 Pentium II, Дэвид говорит, что ему пришлось оптимизировать код для архитектуры PowerPC консоли и уникальных (на тот момент) особенностей управления памятью. Самое существенное отличие заключается в том, что PowerPC - это big-endian, который сначала хранит наиболее значимое значение.
В то же время процессор Intel Pentium II, использовавшийся для имплантации EXO Lab, является little-endian, в котором приоритет отдается хранению сначала наименьшего значения. Поэтому, чтобы обеспечить корректную работу модели, ему пришлось реализовать систему замены байтов и убедиться, что все создаваемые и сохраняемые данные имеют правильное 128-байтовое выравнивание в памяти, как того требует подсистема памяти Xbox 360.
Еще одной проблемой, с которой столкнулся Дэвид, стало использование в консоли унифицированной памяти. Хотя сегодня это обычное явление для современных консолей и APU, на момент выхода Xbox 360 это был новый рубеж, заставлявший разработчиков игр заботиться о том, чтобы их игры наилучшим образом использовали аппаратные возможности консоли. Так, даже имея 512 МБ оперативной памяти, Андрей должен был убедиться, что 60-мегабайтная модель впишется в то пространство, которое система выделит CPU или GPU, поскольку они делят один и тот же пул оперативной памяти.
Однако, тщательно управляя памятью и подстраиваясь под работу PowerPC, он заставил древнюю консоль Xbox 360 работать с LLM. Это еще один шаг к цели EXO Lab - предоставить доступ к ИИ обычным людям, а не ограничивать его мегакорпорациями, которые тратят миллиарды долларов на самое современное оборудование и потребляют мегаватты энергии.
Запуск модели ИИ на базе Llama 2 на устройстве десятилетней давности уже является фантастическим достижением, но один из пользователей заметил, что 512 МБ объединенной оперативной памяти должно быть более чем достаточно для запуска SmolLM от Hugging Face или 4-битной модели Qwen2.5 на 0,5 ББ. Андрей Давид ответил: «Вызов принят!
», так что мы с нетерпением ждем, что в будущем на Xbox 360 будут запущены более мощные модели ИИ.Оригинал
Уникальность
