Во время недавнего выступления перед прессой генеральный директор OpenAI Сэм Альтман заявил, что за последние несколько лет он наблюдал стремительное повышение «IQ» искусственного интеллекта. «Очень приблизительно мне кажется, что - это не научная точность, это просто ощущение или духовный ответ - каждый год мы продвигаемся на одно стандартное отклонение IQ», - сказал Альтман.
Альтман не первый, кто использует IQ, оценку интеллекта человека, в качестве ориентира для прогресса ИИ. В социальных сетях авторитеты в области ИИ проводили с моделями тесты на IQ и ранжировали результаты. Но многие эксперты говорят, что IQ - это плохой показатель возможностей модели, к тому же вводящий в заблуждение. «Может быть очень заманчиво использовать те же показатели, которые мы используем для людей, чтобы описать возможности или прогресс, но это все равно, что сравнивать яблоки с апельсинами», - сказала TechCrunch Сандра Вахтер, исследователь, изучающая технологии и регулирование в Оксфорде.
В своих комментариях на пресс-конференции Альтман приравнял IQ к интеллекту. Однако тесты IQ - это относительные, а не объективные показатели определенных видов интеллекта. По общему мнению, IQ является разумным тестом на логику и абстрактное мышление. Но он не измеряет практический интеллект - знание того, как заставить вещи работать, - и в лучшем случае является моментальным снимком.
«IQ - это инструмент для измерения человеческих способностей - не менее спорный - основанный на том, как, по мнению ученых, выглядит человеческий интеллект», - отмечает Вахтер. «Но вы не можете использовать тот же показатель для описания возможностей ИИ. Автомобиль быстрее человека, а подводная лодка лучше ныряет. Но это не значит, что автомобили или подводные лодки превосходят человеческий интеллект.
Вы отождествляете один аспект производительности с человеческим интеллектом, который гораздо сложнее». Чтобы успешно пройти тест на IQ, происхождение которого некоторые историки связывают с евгеникой - широко дискредитировавшей себя научной теорией, согласно которой людей можно улучшить путем селекции, - участник теста должен обладать хорошей рабочей памятью и знать нормы западной культуры. Это, конечно, дает возможность для предвзятости, поэтому один психолог назвал IQ-тесты «идеологически коррумпированными механическими моделями» интеллекта.
По мнению Оса Киза, докторанта Вашингтонского университета, изучающего этику ИИ, то, что модель может показать хорошие результаты в тесте на IQ, говорит скорее о недостатках теста, чем о результатах модели. «[Эти] тесты довольно легко обыграть, если у вас практически бесконечный объем памяти и терпения», - говорит Киз. «Тесты на IQ - весьма ограниченный способ измерения познания, чувства и интеллекта, о чем мы знали еще до изобретения цифрового компьютера».
ИИ, вероятно, имеет несправедливое преимущество и в тестах на IQ, учитывая, что модели имеют в своем распоряжении огромный объем памяти и усвоенных знаний. Часто модели обучаются на общедоступных веб-данных, а в Интернете полно примеров вопросов, взятых из IQ-тестов. «Тесты имеют тенденцию повторять очень похожие шаблоны - довольно надежный способ повысить свой IQ - это практиковаться в прохождении IQ-тестов, что, по сути, и делали все [модели]», - говорит Майк Кук, научный сотрудник Королевского колледжа Лондона, специализирующийся на искусственном интеллекте.
«Когда я что-то изучаю, я не получаю это в свой мозг с идеальной четкостью миллион раз, в отличие от ИИ, и я не могу обработать это без шума или потери сигнала». В конечном счете, тесты IQ, какими бы предвзятыми они ни были, были разработаны для людей, добавил Кук, - они предназначены для оценки общих способностей к решению проблем. Они не подходят для технологий, которые подходят к решению проблем совсем иначе, чем люди. «Ворона может использовать инструмент, чтобы достать лакомство из коробки, но это не значит, что она может поступить в Гарвард», - сказал Кук.
Когда я решаю математическую задачу, мой мозг также борется со своей способностью правильно читать слова на странице, не думать о покупках, которые мне нужно сделать по дороге домой, или о том, не слишком ли холодно сейчас в комнате». Другими словами, человеческий мозг решает гораздо больше задач, когда решает проблему - любую, хоть IQ-тесты, хоть какую-то другую - и делает это с гораздо меньшей помощью [чем ИИ]». Все это указывает на необходимость создания более совершенных тестов для ИИ, сказал TechCrunch Хейди Хлааф, главный научный сотрудник по ИИ в институте AI Now.
«За всю историю вычислений мы не сравнивали вычислительные способности с человеческими именно потому, что природа вычислений означает, что системы всегда были способны выполнять задачи, уже выходящие за рамки человеческих возможностей», - сказал Хлааф. «Идея о том, что мы напрямую сравниваем производительность систем с человеческими способностями, - это недавний феномен, который весьма спорный, и именно он окружает споры о постоянно расширяющихся - и движущихся - эталонах, создаваемых для оценки систем ИИ».
Оригинал
Уникальность
