Японский ИИ-стартап Sakana заявил, что его ИИ создал одну из первых рецензируемых научных публикаций. Но хотя это утверждение не обязательно не соответствует действительности, следует отметить некоторые оговорки.
Споры вокруг ИИ и его роли в научном процессе разгораются с каждым днем. Многие исследователи считают, что ИИ еще не готов к роли «со-ученого», другие же полагают, что потенциал у него есть, но признают, что это только начало.
Компания Sakana относится к последнему лагерю.
Компания заявила, что использовала систему ИИ под названием The AI Scientist-v2 для создания статьи, которую Sakana затем представила на семинаре в ICLR, давней и авторитетной конференции по ИИ. Sakana утверждает, что организаторы семинара, а также руководство ICLR согласились сотрудничать с компанией для проведения эксперимента по двойному слепому анализу рукописей, сгенерированных ИИ.
Компания Sakana заявила, что в сотрудничестве с исследователями из Университета Британской Колумбии и Оксфордского университета представила три сгенерированные ИИ статьи на вышеупомянутый семинар для экспертной оценки. ИИ Scientist-v2 сгенерировал эти статьи «из конца в конец», утверждает Sakana, включая научные гипотезы, эксперименты и экспериментальный код, анализ данных, визуализацию, текст и заголовки.
«Мы генерировали идеи исследований, предоставляя ИИ аннотацию и описание семинара», - рассказал TechCrunch по электронной почте Роберт Ланге, научный сотрудник и основатель Sakana. «Это позволило убедиться, что созданные работы соответствуют теме и подходят для подачи».
На семинар ICLR была принята одна статья из трех - работа, в которой критически рассматриваются методы обучения моделей ИИ. Сакана заявила, что в интересах прозрачности и уважения к конвенциям ICLR она немедленно отозвала этот документ до того, как он мог быть опубликован.
«В принятой работе представлен новый, многообещающий метод обучения нейронных сетей и показаны остающиеся эмпирические проблемы», - сказал Ланге. «Она представляет собой интересную точку отсчета для дальнейших научных исследований».
Но это достижение не так впечатляюще, как может показаться на первый взгляд.
В своем блоге Sakana признает, что ее ИИ иногда допускал «досадные» ошибки в цитировании, например, неверно приписывал метод работе 2016 года, а не оригинальной работе 1997 года.
Кроме того, работа Sakana не подвергалась такой тщательной проверке, как некоторые другие рецензируемые публикации. Поскольку компания отозвала ее после первоначального рецензирования, она не получила дополнительного «метарецензирования», в ходе которого организаторы семинара теоретически могли бы ее отклонить.
Кроме того, на семинарах обычно принимаются более высокие заявки, чем на основных «конференциях», о чем Sakana откровенно упоминает в своем блоге. Компания заявила, что ни одно из ее исследований, созданных искусственным интеллектом, не прошло внутренний отбор для публикации на конференциях ICLR.
Оригинал
Уникальность
