Google DeepMind опубликовала работу Measuring Progress Toward AGI, которая предлагает инструментарий для оценки уровня развития систем искусственного интеллекта.
Публикация является продолжением исследования Levels of AGI, выпущенного компанией три года назад. Тогда DeepMind определила пять уровней AI-систем — от начального до сверхчеловеческого — и шесть уровней автономии, от инструмента до полностью автономного агента. По данным компании, новая работа решает проблему отсутствия объективных критериев оценки.
Вместо единого финального показателя методика включает десять отдельных шкал измерения. По информации DeepMind, шкалы построены на основе инструментария когнитивной психологии, а не на стандартных датасетах для тестирования.
До выхода новой работы индустрия не имела единого способа верификации заявлений о уровне развития AI-систем. Компании могли самостоятельно присваивать своим моделям любой уровень из классификации DeepMind без возможности независимой проверки.
Аналитики отмечают, что появление стандартизированной методики измерения может способствовать более объективной оценке возможностей AI-систем на рынке и облегчить сравнение разработок различных компаний.
Источник: Habr AI
