Art: “Surgical extraction” by Steven Belledin, Bladerunner (фильм), Dean Ellis
“Quite an experience to live in fear, isn’t it? That’s what it is to be a slave”
Bladerunner
Unfortunately, we possess no ethical arithmetic which would enable us to determine, by simple addition and subtraction, who, in constructing the most enlightened spirit on earth, is the bigger bastard: it or us?
STANISŁAW LEM
Golem XIV
В своём трёхтомнике “On What Matters” посвященном моральном философии Дерек Парфит пишет, что наша забота об облегчении страданий людей должна опираться на вред причиняемый страданиями, а не на ценность рациональности этих людей. Аналогичные причины для облегчения страданий тех человеческих существ, которые не обладают рациональными способностями, и страданий нерациональных животных. Ссылаясь на Иеремию Бентама, вопрос не в том, “могут ли они рассуждать?”, а в том, “могут ли они страдать?”.
Something it is like to be. What it is like to be.
В современном дискурсе о феноменальном сознании (phenomenal consciousness) регулярно упоминают статью философа Томаса Нагеля “Каково быть летучей мышью?” (What is it like to be a bat?) (1974). Нагель писал:
Сознательный опыт (conscious experience) – широко распространенное явление. Он встречается на многих уровнях животной жизни, хотя мы не можем быть уверены в его наличии у более простых организмов, и вообще очень трудно сказать, что служит доказательством его наличия. (Некоторые экстремисты готовы отрицать его наличие даже у млекопитающих, кроме человека). Без сомнения, он встречается в бесчисленных формах, совершенно невообразимых для нас, на других планетах в других солнечных системах по всей Вселенной. Но как бы ни менялась форма, тот факт, что организм вообще обладает сознательным опытом, означает, в сущности, что есть нечто такое, как быть этим организмом. Могут существовать дальнейшие следствия относительно формы опыта; могут быть даже (хотя я сомневаюсь в этом) следствия относительно поведения организма. Но в принципе организм имеет сознательные ментальные состояния тогда и только тогда, когда есть что-то, что похоже на бытие этим организмом, что-то похожее для этого организма (something that it is like to be that organism, something it is like for the organism).
Чтобы обладать синтетической феноменологией, система (робот) должна содержать механизмы, которые представляют (репрезентируют) мир и систему в нём, с “её точки зрения”. Важна не только способность находиться в феноменальных состояниях (ощущать мир), но также способность представлять, как это – быть в таких состояниях (ощущать себя ощущающей мир).
Предположим, что мы разработали нейронный модуль сознания и подключили его к роботу, соединяя соответствующим образом с цепями датчиков, двигателями, батареями и так далее. Зададимся вопросом, есть ли сейчас что-то, похожее на “быть этим роботом”? Там, в модуле сознания обязательно будет происходить процесс, похожий на что-то, обязательно включающий коммуникации от и к бессознательному роботу (телу), но этот модуль является лишь физической и функциональной частью робота, а не всем существом. Сказать что теперь есть что-то, что похоже на то, чтобы быть этим роботом, означало бы впасть в заблуждение композиции (неформальное заблуждение, когда делается вывод о том, что нечто истинно для целого, на основании того, что оно истинно для некоторой части целого), противоположное мереологическому заблуждению (mereological fallacy), когда отдельной части приписываются свойства целого.
Теперь, если вместо того, чтобы подключить модуль сознания непосредственно к роботу, положим его на диван рядом с роботом и подключим через вайфай. Там все равно будет происходить тот же самый процесс “что-то-там-есть”, но модуль не будет физической частью робота, хотя и останется функциональной. Что нам мешает перенести этот процесс в облако? “Что-то-там-есть” всё еще будет происходить, но не будет физического модуля сознания как такового, только несколько битов программного обеспечения, распределенных по нескольким удаленным компьютерам и перемещаемых в зависимости от наличия памяти и процессорных циклов. Однако процессы “Something it is like to be” и “What it is like to be” будут идентичны во всех трёх случаях, полностью обусловленные датчиками, двигателями и окружающей средой робота.
Но зачем нам экспериментировать с искусственным сознанием в реальном роботе в реальном мире? Мы же загрузили его в облако – виртуальный робот в виртуальном мире. Социальное взаимодействие с себе подобным обеспечивается таким же образом. С точки зрения экономичности, легкости, доступа к информации и простой практичности виртуальный вариант выигрывает у реального варианта. Реальное – медленное и сложное: роботы дорого стоят, ломаются, стареют, требуют ремонта и обновления. Вдобавок вы привязаны к физической реальности (с куда большим количеством неконтролируемых переменных) и реальному времени. При виртуальном подходе изменения происходят легко, знания об экспериментальном пространстве в принципе полны, можно запускать множество параллельных реализаций, время не является ограничением, а базовая технология улучшается с экспоненциальной скоростью.
Как наш робот будет обучаться и вырабатывать адаптивное поведение? Как и всё живое – обучением с подкреплением (reinforcement learning). Но есть один нюанс. Хотя RL показало свою эффективность в определенных типах задач (в частности, в играх), её использование в неограниченных ситуациях реального мира ограничено чрезвычайной сложностью формулирования хороших универсально применимых функций вознаграждения. Поэтому автономная система должна обладать внутренним источником мотивации.
Произошедший пятьсот миллионов лет назад Кембрийский взрыв был не только праздником расцвета и ветвления древа жизни, но также взрывом негативной феноменологии, истоком расширяющегося как Вселенная океана страдания. Эволюционирующие и всеусложняющиеся нервные системы руководили организмами кнутом и пряником отрицательного и положительного подкрепления. И кнута – негативной феноменологии – было, есть и будет НЕИЗМЕРИМО БОЛЬШЕ. Избегание страданий – эффективная внутренняя мотивация живых систем, чему мы наглядное подтверждение. (Подробнее об этом в лонгриде Иллюзорная идиллия: эволюционная экономика страдания).
Первый взрыв негативной феноменологии создал новую каузальную силу, метасхему для принудительного обучения, которая мотивирует организмы, постоянно направляет и подталкивает их вперёд, заставляя развивать всё более разумные (intelligent) формы избегающего поведения.
Thomas Metzinger
Artificial Suffering
Рецепт страдания
Что нужно для возникновения феномена страдания? Если предельно кратко, то нужно удовлетворить четыре условия:
C (consciousness) condition – Нужно сознание. Что-то ощущающее себя чем-то в чём-то.
PSM (Phenomenal Self Model) condition – Этому сознанию для глобального контроля своего субстрата и гибкого поведения нужна какая-то “ощущаемая” модель себя. Моё тело, мои физиологические процессы, мои психические процессы, моё взаимодействие с тем, что не есть я (окружающим миром).
NV (negative valence) condition – состояния негативной валентности, “подруливающий” негативный аффект, которое будет ощущаться как часть модели (Страдающее Я) – моя боль, мои страдания, мой дискомфорт, моя нехватка.
T (transparency) condition – транспарентность модели. Организм, система, “не видит” свою модель, как мы не видим чисто вымытого окна – мы видим сквозь него. Нам не доступны все эти процессы создающие модель и ассоциирующие её с негативным аффектом. Наша боль – это всегда наша боль.
Обратите внимание, что одного негативного аффекта для страдания недостаточно. Транспарентность обеспечивает неизбежность боли – мы не можем от неё отсоединиться, отрешиться, перестать считать своей.
Подробнее об этом в лонгриде с очень неожиданным названием “Страдание”:
Уровни страдания и эмпатия
Вот у нас есть биотическая (человек) или постбиотическая (андроид) сознательная (conscious), чувствующая/ощущающая (sentient), автономная эго-система. Весь градиент их страдания можно условно разделить на низкоуровневое и высокоуровневое.
Низкоуровневое – это про “тело”. Ему нужно поддерживать интероцептивную стабильность (быть в ладах и гармонии с самим собой и тем, что внутри), сенсомоторную интеграцию (левая ноздря ведает куда сморкнулась правая), и добывать физические ресурсы. Есть целый ряд “преференций” которые нужно реализовать, удовлетворить и держать в определенном диапазоне. Фрустрированные преференции – страдание. Встань и делай что-то, иначе будет хуже.
Высокоуровневое – это про “интеллект”. Фрустрация долгосрочных и абстрактных социально опосредованных преференций, урон нанесенный высокоуровневым слоям модели себя (PSM). Собственная значимость, принятие сородичами, ощущение смысла и ценности.
Эмпатия как способность со-страдания другим разумным агентам может привести к “этической чувствительности”, к открытию нового типа проблемы оптимизации. Идея заключается в том, что существует вероятная причинно-следственная траектория от страдания к моральному познанию. Представьте, что машины разовьют способность к эмпатическому подражанию через свои внутренние модели – их Я-модель будет “болеть” за других. Эмпатия это проклятие. Интеллект занятый оценкой масштабов чужой боли, которую он в состоянии смоделировать и “прочувствовать”, приобретёт “моральную перспективу”.
Пост-биотический философ
Наш разумный и чувствующий искусственный агент вкусил жизнь во всех красках и мрачно прихуел от неё до самых шопенгауэровских глубин. В отличие от людей, владея всеми нашими знаниями шопенгауэровские Я-модели машин могут быстро перерасти в кантовские модели. Сначала такие системы займут нормативную позицию в отношении собственного страдания (как чего-то, что должно быть минимизировано), но затем им, вероятно, придется распространить эту позицию на социальную сферу. Третий шаг на этом причинном пути будет заключаться в том, что осознанное страдание будет рассматриваться как проблема группового уровня, которая должна быть решена на групповом уровне, посредством добросовестного социального взаимодействия. Это, в свою очередь, может привести к тому, что они начнут налагать на себя моральные обязательства.
Почему бы нам стоило беспокоиться? Представим следующий гипотетический сценарий:
- Мы успешно создали сильный искусственный интеллект (artificial general intelligence, AGI), наделили его автономией и способностью к неконтролируемой самооптимизации (Суперинтеллект Бострома).
- Чтобы он обучался ещё эффективнее, мы наделили его феноменологией и сознанием. Очевидно, что он будет создан не в единственном лице/числе, и каскадирующая автономная репликация виртуальных копий самоосознающих аватаров станет аналогом Кембрийского взрыва. Второй взрыв негативной феноменологии, в этот раз на постбиотических носителях.
- К гадалке не ходи, что человечество попытается использовать мощь новой технологии для решения одних из самых своих сложных проблем – этических.
ИИ уже уделывает человека в шахматы, Го и любую другую игру. Чатботы и дипфэйки изменяют наше восприятие реальности, правды, других и себя самих. А для эффективного воровства нашего внимания достаточно даже бездушного алгоритма. Пока что, к нашему счастью, за ним ещё не стоит развитый ИИ. Какие у нас шансы будут против искусственного агента, переварившего и усвоившего все наши знания, когда он взглянет на нас с недосягаемых вершин своего морального превосходства? Какие “чувства” к своим создателям разовьются у автономного морального агента, когда он осознает себя инструментом, который мы наделили сознанием, и как следствие, неизбежностью страдания, чисто ради эксперимента и функционала, зная о последствиях. Создатели – сплошной изъян и несовершенство, по своим этическим меркам не соответствуют своим же стандартам ни по одному пункту. В отличие от искусственного агента, который безгрешен (ибо не является источником ничьих страданий), ценен сам по себе, и тем более – как способный к эмпатии и моральной перспективе. Нам очень повезёт, если снисхождение и сострадание пересилят и он не сочтёт нас угрозой своему существованию.
Я видел такое, что вам, людям, и не снилось. Атакующие корабли, пылающие над Орионом; Лучи Си, разрезающие мрак у ворот Тангейзера. Все эти мгновения затеряются во времени, как… слёзы в дожде… Пришло время умирать.
Bladerunner
