Почему исследователям криптоэкономики и Х-рисков стоит чаще прислушиваться друг к другу

В последнее время в сообществе, которое традиционно ассоциировало себя с искусственным интеллектом и различными формами футуристических исследований экзистенциальных рисков, наблюдается пока еще слабый, но растущий интерес к блокчейнам и криптоэкономическим системам. Ральф Меркл – изобретатель ныне довольно известной криптотехнологии, на которой работает протокол легкого клиента Ethereum, – выразил заинтересованность в механизмах управления ДАО. Соучредитель Skype Яан Таллинн предложил изучить технологии блокчейна на предмет возможного создания механизмов для решения глобальных проблем координации. Сторонники рынков предсказаний, которые уже давно осознали их потенциал в управлении системами, теперь присматриваются к Augur[31]. Есть ли здесь за что зацепиться? Это всего лишь значит, что компьютерные гики, которых раньше привлекла в сообщество тема А, теперь заинтересовались другой, но тоже близкой темой Б, или существует какая-то реальная взаимосвязь между этими проблемами?

Я бы сказал, что взаимосвязь существует, и вот в чем она проявляется.

Сообщество исследований криптоэкономики и сообщество безопасности искусственного интеллекта / нового киберуправления / экзистенциальных рисков пытаются решить, по сути, одну и ту же проблему: как регулировать очень сложную и очень умную систему, в которой могут появиться новые непредсказуемые свойства, посредством очень простой и глупой системы, свойства которой после ее создания остаются неизменными?

В контексте исследований искусственного интеллекта главная подзадача – определить такую функцию полезности, которая будет руководить поведением сверхразумного агента, при этом не позволяя ему совершать действия, которые удовлетворяют заданной функции, но противоречат заложенному в ней намерению (иногда такие действия называют «экстремальными решениями»). Например, если вы попытаетесь поручить сверхразумному ИИ вылечить рак, он может решить, что самый надежный способ – просто всех убить. Если вы заблокируете эту опцию, следующим его решением будет просто навсегда заморозить всех людей криогенным способом, не убивая их. И так далее. В контексте ДАО-демократии Ральфа Меркла проблема заключается в определении такой целевой функции, которая, во-первых, будет прямо пропорциональна социальному и технологическому прогрессу и стремлениям людей, во-вторых, будет обратно пропорциональна экзистенциальным рискам и, в-третьих, которую будет достаточно легко измерить, избежав политических баталий вокруг точности этих измерений.

Криптоэкономика сталкивается с удивительно схожими трудностями. Основная задача консенсуса – понять, как мотивировать валидаторов поддерживать и развивать сети за счет простого неизменного алгоритма, при том что сами валидаторы – очень сложные экономические агенты, способные на произвольные взаимодействия. В случае The DAO проблема была в расхождении сложной задумки разработчиков, у которых были конкретные представления об использовании функции расщепления, и результатом реального внедрения их программного обеспечения. Augur пытается спроецировать проблему консенсуса на реальный мир. Maker хочет создать децентрализованный алгоритм управления платформой, которая сочетала бы в себе децентрализацию криптовалюты и надежность фиатных денег. Во всех этих случаях глупые алгоритмы должны управлять умными агентами. Безопасность ИИ связана с тем, что агенты с IQ на уровне 150 пытаются контролировать агентов, чей IQ равен 6000, а в криптоэкономике агенты с IQ на уровне 5 пытаются контролировать агентов с IQ на уровне 150. Масштабы, конечно, разные, но сходство все же наблюдается.

Независимо друг от друга оба сообщества уже много лет пытаются решить эти сложные проблемы, и каждое добилось некоторого прогресса. Также для этих проблем начинают обнаруживаться эвристические частичные решения и стратегии смягчения риска. В случае ДАО некоторые разработчики двигаются в сторону гибридного подхода, где активы ДАО контролирует набор кураторов с ограниченными полномочиями – достаточными, чтобы защитить ДАО от атаки, но недостаточными, чтобы они сами могли нарушить работу системы. Этот подход перекликается с текущими исследованиями в области безопасного отключения ИИ.

Сторонники футархии предлагают в качестве целевой функции процентные ставки, а в качестве алгоритма управления – своего рода гибрид футархии и квадратичного голосования[32] посредством добровольной блокировки монет. Также речь идет о различных формах умеренной футархии, которая наделена достаточной властью для предотвращения сговора большинства – который, в свою очередь, неспособна предотвратить демократия, – но в остальном отдает власть процессу голосования. Все эти новаторства как минимум заслуживают внимания тех, кто пытается использовать футархию для создания ДАО мировой демократии.

Еще одно крайне недооцененное предложение – использовать алгоритмы управления, которые намеренно замедляют происходящие процессы. Хардфорк The DAO, предложенный после атаки для спасения хранящихся средств, был возможен именно благодаря набору правил внутри The DAO, требующих для каждого действия длительной задержки. Также заслуживает внимания метод формальной проверки, где одни компьютерные программы автоматически верифицируют другие, чтобы те действовали согласно заданным целям.

Доказать «честность» формально невозможно, поскольку ее очень сложно оценить, но можно обеспечить хотя бы частичную гарантию снижения рисков. Например, формально подтвердить, что определенный вид действий можно совершить не ранее, чем через семь дней, или нельзя совершать в ближайшие 48 часов, если кураторы данного ДАО не проголосуют за обратное. В контексте ИИ такие подтверждения могут предотвратить определенные виды простых ошибок в функции вознаграждения, из-за которых совершенно нежелательное поведение будет казаться ИИ чрезвычайно полезным. Конечно, другие сообщества размышляют о формальной верификации уже много лет, но сейчас изучают возможности для ее применения в новых условиях.

Еще одна концепция, которая давно уже на слуху в сфере безопасности ИИ, может быть очень полезна при создании экономических систем с ДАО: речь идет о теории сверхрациональных решений – своего рода попытке преодолеть дилемму заключенного через исходный код, лояльно настроенный по отношению к агентам, которые обязуются его запускать. Один из примеров, где действие доступно агентам с открытым исходным кодом, но не агентам – «черным ящикам», назван в коротком рассказе Скотта Александера «рукопожатием ценностей»: два агента могут договориться, что обязуются стремиться к результату, в равной степени удовлетворяющему их личным целям. Раньше такие концепции были уделом научной фантастики, но сегодня ДАО-футархии способны воплотить их в жизнь. Если брать шире, ДАО вполне могут обязать социальные институты безукоризненно «исполнять исходный код», обладающий определенными свойствами.

То, что произошло с The DAO, – лишь первый из множества экспериментов, которые мы будем наблюдать в этом году и в следующем. Различные ДАО, учась на взаимных ошибках, начнут предлагать совершенно разные новаторские решения для алгоритмов управления, политики безопасности программного обеспечения, систем кураторства, медленных и поэтапных процессов запуска и развертывания проектов, а также смогут предоставить формально подтвержденные гарантии защиты от криптоэкономического шторма.

Наконец, самый большой урок, который, на мой взгляд, нужно извлечь из криптосообщества, – это сама децентрализация: пусть разные команды реализуют отдельные компоненты системы, в чем-то дублируя работу друг друга, чтобы ошибки в одном компоненте не проявились в других. Криптоэкосистема превращается в живой эксперимент по решению передовых задач разработки программного обеспечения, информатики, теории игр и философии. И независимо от того, найдется ли применение ее достижениям – в нынешнем или радикально преобразованном виде, – они по меньшей мере станут достойной пищей для размышлений.

Философия proof of stake