Исследователь Ян ЛеКун представил новый подход LeWorldModel (LeWM) для обучения мировых моделей на основе пиксельных данных. Мировые модели используются для разработки агентов, которые рассуждают и планируют в сжатом латентном пространстве.
Проблема существующих подходов заключается в явлении, называемом коллапсом представления. При обучении на пиксельных данных модели производят избыточные встраивания, которые тривиально удовлетворяют задачам предсказания, не захватывая полезную информацию об окружающей среде.
Текущие методы пытаются предотвратить коллапс, используя сложные эвристики и дополнительные ограничения. По информации исследования, новый подход LeWM предлагает альтернативное решение этой проблемы в контексте архитектур, подобных JEPA (Joint-Embedding Predictive Architecture).
Аналитики отмечают, что улучшение методов обучения мировых моделей может повысить эффективность обучения с подкреплением и автономных агентов. Однако практическое применение таких методов требует дополнительной валидации на реальных задачах и сравнения с существующими подходами.
Исследование продолжает работу в области самообучающихся систем, которая ведется в Meta AI и других лабораториях. Развитие более надежных методов обучения мировых моделей остается актуальной задачей для развития искусственного интеллекта.
Источник: Marktechpost
Реклама: Трать крипту на подписки, рекламу, поездки. ⚡️ Виртуальные карты Heleket
