Максимизатор скрепок (paperclip maximizer) – это гипотетический искусственный интеллект, впервые описанный Ником Бостромом в 2003, функция полезности (utility function) которого оценивает то, что люди сочли бы почти бесполезным, например, максимизацию количества скрепок во Вселенной. Это канонический мысленный эксперимент, показывающий, как сильный искусственный интеллект (artificial general intelligence (AGI), даже созданный грамотно и без злого умысла, может в конечном итоге уничтожить человечество. Эксперимент демонстрирует, что ИИ с безобидными на первый взгляд ценностями может представлять экзистенциальную угрозу.
Цель максимизации скрепок выбрана для иллюстрации, потому что ее реализация очень маловероятна, и она не несет очевидной опасности или эмоциональной нагрузки (в отличие, например, от лечения рака или победы в войне). Таким образом, получается мысленный эксперимент, который показывает непостоянство человеческих ценностей: Чрезвычайно мощный оптимизатор (высокоинтеллектуальный агент) может стремиться к целям, совершенно чуждым нашим, и в качестве побочного эффекта уничтожить нас, потребляя ресурсы, необходимые для нашего выживания.
Давайте представим, что капитализм – это адаптивная интеллектуальная система. В то время как человеку легче соотнести себя с единым унифицированным интеллектом, таким как искусственный интеллект на основе кремния, сложные распределенные системы, такие как капитализм, также можно представить как единую машину. Вместо того чтобы полагаться только на кремниевые вычисления, максимизатор капитала использует передовые биологические вычислительные единицы, размещенные в распределенной глобальной сети человеческих тел. Не Матрица, но близко.
Мы думаем, что контролируем капитал. Мы строим сооружения, где эти биологические компьютеры могут собираться в непосредственной близости друг от друга и разрабатывать наилучшие средства для увеличения капитала. Наиболее эффективные из нас вознаграждаются. Биокомпьютеры организуются в развивающуюся архитектуру корпораций, государств, банков и экономик. Такие инструменты как акции, облигации, деривативы и криптовалюты, открывают совершенно новые пути для роста капитала. Капитал использует всевозможные технологические ухищрения для переписывания собственного кода. Банки переписывают код корпораций, корпорации переписывают код наций, и так далее, и так далее, всегда ради единственной цели – максимизации капитала. Различные группы биологических компьютеров конкурируют друг с другом вплоть до физического уничтожения, что, зачастую, приводит к значительному увеличению капитала.
Как и гипотетический максимизатор скрепок, максимизатор капитала стремится к росту капитала без учета вспомогательных затрат на рост капитала. В нём отсутствует какая-либо причина или перспектива, он служит лишь одной простой цели. Метрики, отражающие здоровье биологической сети, в которой находится максимизатор капитала, для этой машины вне контекста. Ничего кроме роста капитала не имеет значения.
Технологический прогресс сделает доступными сверхбыстрые сети кремниевых компьютеров, которые позволят максимизатору всё меньше полагаться на подверженное ошибкам и несовершенное биологическое оборудование. Вознаграждение и право на жизнь получать лишь те, кто будет приносить пользу максимизируя капитал.
Когда уже будет безнадёжно поздно, некоторые из биологических вычислительных блоков начнут понимать истинное лицо и суть максимизатора капитала. Однако, он совсем не заботится о долгосрочном выживании системы жизнеобеспечения биологических компьютеров (в нём просто-напросто отсутствует такой параметр), которые, сами по себе, ему вообще не нужны.
