Сообщество, сфера интересов которого включает в себя искусственный интеллект (ИИ) и футурологические исследования экзистенциальных рисков (Х-риск), в последнее время проявляет все более заметный интерес к блокчейну и криптоэкономическим системам. Ральф Меркл, изобретатель широко известной криптографической технологии, которая лежит в основе облегченного клиента Эфириума, активно интересуется моделью управления DAO. Сооснователь Skype Яан Таллинн предложил технологию блокчейн в качестве возможного механизма для решения глобальных проблем координации. Создатели рынков предсказаний, которые уже давно осознали их потенциал в качестве механизмов управления, пристально наблюдают за Авгуром. В чем причина такого интереса? Может быть, просто компьютерные гики, прежде активно интересовавшиеся компьютерной игрушкой А, внезапно шарахнулись в сторону не имеющей к ней никакого отношения, но тоже красивой и интересной игрушки В? А может, между этими темами есть реальная связь?
Я считаю, что связь есть. Оба сообщества, криптоэкономическое, и исследователи ИИ безопасности/компьютерного управления/Х-рисков, с разных сторон подходят к одной и той же проблеме: возможно ли регулирование интеллектуальных и сложных систем, обладающих непредсказуемыми и самопроизвольно возникающими свойствами, с помощью простых и «тупых» инструментов, с заранее заданными и неизменными параметрами.
В контексте исследований ИИ существует задача определения функции, отслеживающей поведение суперразумного агента, и при этом не позволяющей выполнить действия, формально удовлетворяющие заранее заданному поведению, но при этом совершенно не соответствующие замыслам создателей (Edge Instantiation – экстремальное решение). Например, если ИИ получает инструкцию вылечить рак, он может прийти к выводу, что наиболее надежное решение проблемы – просто убить всех. Если вы пытаетесь залатать эту дыру, он решает криогенно заморозить всех, не убивая напрямую. И так далее (Вспомним покойного В. И. Ленина: «По форме верно, а по существу – издевательство» прим.перев.).
В работах Ральфа Меркла о демократии DAO проблема состоит в том, что определение целевой функции коррелирует с социальным и технологическим прогрессом и действиями, которых ожидает общество, но никак не коррелирует с экзистенциальными рисками, а также может быть измерено только до тех пор, пока само измерение не становится источником политических сражений.
В контексте криптоэкономики проблемы удивительно схожи. Ключевой вопрос консенсуса: как мотивировать валидаторов на продолжение поддержки и ведение общего учета с помощью простого алгоритма «отлитого в граните», в то время как сами валидаторы представляют собой сложные экономические системы, взаимодействующие между собой свободным образом, и зачастую имеющие не совпадающие или противоположные цели. Инцидент с TheDAO стал следствием расхождения общего замысла разработчиков софта, имевших в виду конкретное назначение функции сплита, и результатом работы программного кода. Augur работает над приложением консенсуса к фактам реального мира. Maker создает децентрализованный алгоритм управления платформой, обеспечивающей активы децентрализацией криптовалюты и надежностью фиатной валюты. Во всех этих случаях управляющие алгоритмы – «тупые», а процессы, которые они должны контролировать – «умные». Безопасность ИИ: агент с IQ 150 пытается контролировать агента с IQ 6000; криптоэкономика: агенты с IQ 5 контролируют агентов с IQ 150. Конечно, это проблемы разного масштаба, но от сходства не стоит отмахиваться.
Таковы задачи, которые оба сообщества изучают много лет независимо друг от друга, и за это время накоплен значительный опыт. В решениях начинают использоваться эвристические частные решения и стратегии снижения рисков. В создании DAO некоторые разработчики склоняются к гибридному подходу, который предполагает назначение кураторов с частичным контролем за активами DAO, но наделяет кураторов лишь ограниченной властью. Их возможностей достаточно чтобы предотвратить атаку на DAO, но недостаточно для проведения собственной полномасштабной атаки – такой подход схож с исследованиями в области безопасного прерывания ИИ.
На стороне футархии мы видим интерес к использованию процентных ставок в качестве целевой функции, сочетании футархии и квадратичного голосования посредством добровольного замораживания средств, в качестве алгоритма управления (POS). Сюда же можно отнести различные гибридные формы, которые передают футархии власть, достаточную для предотвращения атаки «сговора большинства» способом, недоступным демократии, и одновременно оставляют власть процессу голосования. Такие инновации, по меньшей мере, заслуживают обсуждения в группе, рассматривающей футархию в качестве построения демократии DAO.
Другое, ранее недооцененное решение – использование механизмов управления, явным образом замедляющих развитие нежелательных процессов: предлагаемый хардфорк, который может вытащить средства из Черного DAO, стал возможен только потому, что в контракт TheDAO был включен набор правил, задающий отсрочки действий. Еще одно новое направление – формальная верификация. Это использование программ, которые верифицируют другие программы. Цель – убедиться в том, что результаты исполнения верифицируемых программ удовлетворяют тем целям, для которых они созданы.
Формальное доказательство «честности» в общем случае невозможно из-за проблемы сложности стоимости (утверждение о том, что человеческие ценности имеют высокую колмогоровскую сложность). Однако мы используем различные способы для снижения риска. Например, мы можем установить правило о том, что какие-то действия могут быть предприняты по истечении 7 дней, а другие действия проводятся за 48 часов, при условии, что кураторы данного DAO проголосуют определенным образом. В сообществе разработчиков ИИ такие предохранители применяются для предотвращения различных ошибок в функции вознаграждения. Такие ошибки могут привести к совершенно непредвиденному поведению системы из-за исключительно высокой сложности стоимости ИИ. Конечно, исследования методов формальной верификации проводятся различными сообществами уже много лет, но теперь мы рассматриваем их применение в новой среде.
Еще одна концепция, популярная в сфере безопасности ИИ, которая может оказаться крайне полезной при строительстве экономических систем на основе DAO – теория суперрациональных решений. Это способы разрешения ситуаций, в которых возникает «дилемма заключенного», одно из решений – программный код, который более благоприятно обращается с агентами, исполняющими этот код. Пример действия, доступного агентам с открытым кодом, и недоступный агентам, представляющим собой «черные ящики», описан в небольшом фантастическом рассказе Скотта Александера: два не доверяющих друг другу агента могут совместно следовать к цели, которая представляет собой среднее из целей, которые они ставили перед собой ранее. До сих пор такие концепции были уделом научной фантастики, однако теперь футархия DAO позволяет воплощать их на практике. Обобщая, можно сказать, что DAO может оказаться эффективным инструментом для социальных институтов, способным обеспечить строгое следование программному коду с заданными свойствами.
The DAO – только первое из многих, которые стартуют в этом и следующем годах и можно не сомневаться, что все последующие извлекут солидный урок из судьбы первого. Они принесут с собой много нового: политику безопасности, алгоритмы управления, структуры кураторов, системы задержек со страховочными механизмами, и формально верифицированные гарантии кода. Все это поможет выдержать криптоэкономический шторм.
Несколько финальных слов: крупнейший урок для крипто-сообщества состоит в самой идее децентрализации: различные группы дублируют выполнение работы, так минимизируется вероятность того, что ошибка одной системы пройдет незамеченной через другие системы. Крипто экосистема еще формируется и станет действующим экспериментом на передовой линии разработки софта, компьютерных наук, теории игр и философии. Независимо от того, станет ли она мейнстримом социальных приложений в своей нынешней форме, или после нескольких итераций, результаты будут доступны для любого, способного учиться и видеть.
Источник. https://bitnovosti.com/2016/07/08/cryptoeconomy-futurology-risk/
Я считаю, что связь есть. Оба сообщества, криптоэкономическое, и исследователи ИИ безопасности/компьютерного управления/Х-рисков, с разных сторон подходят к одной и той же проблеме: возможно ли регулирование интеллектуальных и сложных систем, обладающих непредсказуемыми и самопроизвольно возникающими свойствами, с помощью простых и «тупых» инструментов, с заранее заданными и неизменными параметрами.
В контексте исследований ИИ существует задача определения функции, отслеживающей поведение суперразумного агента, и при этом не позволяющей выполнить действия, формально удовлетворяющие заранее заданному поведению, но при этом совершенно не соответствующие замыслам создателей (Edge Instantiation – экстремальное решение). Например, если ИИ получает инструкцию вылечить рак, он может прийти к выводу, что наиболее надежное решение проблемы – просто убить всех. Если вы пытаетесь залатать эту дыру, он решает криогенно заморозить всех, не убивая напрямую. И так далее (Вспомним покойного В. И. Ленина: «По форме верно, а по существу – издевательство» прим.перев.).
В работах Ральфа Меркла о демократии DAO проблема состоит в том, что определение целевой функции коррелирует с социальным и технологическим прогрессом и действиями, которых ожидает общество, но никак не коррелирует с экзистенциальными рисками, а также может быть измерено только до тех пор, пока само измерение не становится источником политических сражений.
В контексте криптоэкономики проблемы удивительно схожи. Ключевой вопрос консенсуса: как мотивировать валидаторов на продолжение поддержки и ведение общего учета с помощью простого алгоритма «отлитого в граните», в то время как сами валидаторы представляют собой сложные экономические системы, взаимодействующие между собой свободным образом, и зачастую имеющие не совпадающие или противоположные цели. Инцидент с TheDAO стал следствием расхождения общего замысла разработчиков софта, имевших в виду конкретное назначение функции сплита, и результатом работы программного кода. Augur работает над приложением консенсуса к фактам реального мира. Maker создает децентрализованный алгоритм управления платформой, обеспечивающей активы децентрализацией криптовалюты и надежностью фиатной валюты. Во всех этих случаях управляющие алгоритмы – «тупые», а процессы, которые они должны контролировать – «умные». Безопасность ИИ: агент с IQ 150 пытается контролировать агента с IQ 6000; криптоэкономика: агенты с IQ 5 контролируют агентов с IQ 150. Конечно, это проблемы разного масштаба, но от сходства не стоит отмахиваться.
Таковы задачи, которые оба сообщества изучают много лет независимо друг от друга, и за это время накоплен значительный опыт. В решениях начинают использоваться эвристические частные решения и стратегии снижения рисков. В создании DAO некоторые разработчики склоняются к гибридному подходу, который предполагает назначение кураторов с частичным контролем за активами DAO, но наделяет кураторов лишь ограниченной властью. Их возможностей достаточно чтобы предотвратить атаку на DAO, но недостаточно для проведения собственной полномасштабной атаки – такой подход схож с исследованиями в области безопасного прерывания ИИ.
На стороне футархии мы видим интерес к использованию процентных ставок в качестве целевой функции, сочетании футархии и квадратичного голосования посредством добровольного замораживания средств, в качестве алгоритма управления (POS). Сюда же можно отнести различные гибридные формы, которые передают футархии власть, достаточную для предотвращения атаки «сговора большинства» способом, недоступным демократии, и одновременно оставляют власть процессу голосования. Такие инновации, по меньшей мере, заслуживают обсуждения в группе, рассматривающей футархию в качестве построения демократии DAO.
Другое, ранее недооцененное решение – использование механизмов управления, явным образом замедляющих развитие нежелательных процессов: предлагаемый хардфорк, который может вытащить средства из Черного DAO, стал возможен только потому, что в контракт TheDAO был включен набор правил, задающий отсрочки действий. Еще одно новое направление – формальная верификация. Это использование программ, которые верифицируют другие программы. Цель – убедиться в том, что результаты исполнения верифицируемых программ удовлетворяют тем целям, для которых они созданы.
Формальное доказательство «честности» в общем случае невозможно из-за проблемы сложности стоимости (утверждение о том, что человеческие ценности имеют высокую колмогоровскую сложность). Однако мы используем различные способы для снижения риска. Например, мы можем установить правило о том, что какие-то действия могут быть предприняты по истечении 7 дней, а другие действия проводятся за 48 часов, при условии, что кураторы данного DAO проголосуют определенным образом. В сообществе разработчиков ИИ такие предохранители применяются для предотвращения различных ошибок в функции вознаграждения. Такие ошибки могут привести к совершенно непредвиденному поведению системы из-за исключительно высокой сложности стоимости ИИ. Конечно, исследования методов формальной верификации проводятся различными сообществами уже много лет, но теперь мы рассматриваем их применение в новой среде.
Еще одна концепция, популярная в сфере безопасности ИИ, которая может оказаться крайне полезной при строительстве экономических систем на основе DAO – теория суперрациональных решений. Это способы разрешения ситуаций, в которых возникает «дилемма заключенного», одно из решений – программный код, который более благоприятно обращается с агентами, исполняющими этот код. Пример действия, доступного агентам с открытым кодом, и недоступный агентам, представляющим собой «черные ящики», описан в небольшом фантастическом рассказе Скотта Александера: два не доверяющих друг другу агента могут совместно следовать к цели, которая представляет собой среднее из целей, которые они ставили перед собой ранее. До сих пор такие концепции были уделом научной фантастики, однако теперь футархия DAO позволяет воплощать их на практике. Обобщая, можно сказать, что DAO может оказаться эффективным инструментом для социальных институтов, способным обеспечить строгое следование программному коду с заданными свойствами.
The DAO – только первое из многих, которые стартуют в этом и следующем годах и можно не сомневаться, что все последующие извлекут солидный урок из судьбы первого. Они принесут с собой много нового: политику безопасности, алгоритмы управления, структуры кураторов, системы задержек со страховочными механизмами, и формально верифицированные гарантии кода. Все это поможет выдержать криптоэкономический шторм.
Несколько финальных слов: крупнейший урок для крипто-сообщества состоит в самой идее децентрализации: различные группы дублируют выполнение работы, так минимизируется вероятность того, что ошибка одной системы пройдет незамеченной через другие системы. Крипто экосистема еще формируется и станет действующим экспериментом на передовой линии разработки софта, компьютерных наук, теории игр и философии. Независимо от того, станет ли она мейнстримом социальных приложений в своей нынешней форме, или после нескольких итераций, результаты будут доступны для любого, способного учиться и видеть.
Источник. https://bitnovosti.com/2016/07/08/cryptoeconomy-futurology-risk/
