Биотехнология как манипуляция с жизнью отражает наши человеческие нужды и чаяния. Security, servants, sex. Безопасность, слуги, секс. Автоматизированные технологии существовали в сказках и воображении древних обществ ещё в те времена, когда боги ходили по земле, задолго до появления искусственного интеллекта. В “Илиаде” Гомера Гефест, кузнец мифических греческих богов, создал механических служанок из золота и наделил их знаниями, разумом и мастерством. Спроектированные так, чтобы предугадывать просьбы своего хозяина и действовать в соответствии с ними без инструкций, золотые девы являются предтечей искусственного интеллекта, который учится на своём опыте, не будучи жестко запрограммированным.
Пропитанные метафизикой и притчеобразными прогнозами о трансгрессии границы живого и неживого биотехнологические легенды звучат как художественные пророчества для параноиков современности. Техне, или techne, происходит от греческого термина technê, означающего искусство, ремесло, технику или мастерство, и играет важную роль в древнегреческой философии (например, у Ксенофонта, Платона, Аристотеля), где оно чаще всего противопоставляется epistêmê, означающему знание. Так, например, в “Протагоре” Платона миф об Эпиметее и Прометее описывает похищение последним технологии огня. Здесь technê возникает как мастерство или техника, но и как более общий момент основания технических и технологических возможностей человечества.
Распоясавшийся голем, которого приходится утихомиривать уничтожением или роботы Айзека Азимова попавшие в тупик логической нестыковки законов направляющих позитронное бытие – это продолжение вековечной традиции осмысления границ жизни и технологии, одушевленного и неодушевленного. Нам, как пока ещё царствующим на планете биотическим носителям развитого естественного интеллекта и биологического сознания, стоит окинуть взором историю наших притязаний на ответственную роль творца. Чтобы понять, что будет творится “в голове” у распределенного искусственного суперинтеллекта и чем это нам грозит, сперва надо найти откуда растут глиняные ноги.
Автоматоны
Описания воображаемых автоматов можно обнаружить ещё у Гомера, более 2500 лет назад, в замечательной группе греческих мифов. Роботы, синтетические существа и самодвижущиеся устройства появляются в мифах об Одиссее, Ясоне и аргонавтах, колдунье Медее, бронзовом автомате Талосе и Пандоре. Истории об автоматонах представляли собой способы воспроизведения природы посредством процесса биотехники, “жизни через ремесло”. Эти существа не были просто инертной материей, оживленной магией или по велению божества. Древние поэты описывают искусственных существ как “созданных, а не рожденных”, чтобы подчеркнуть их технологическое, небиологическое происхождение. За тысячи лет до появления средневековых и ранних современных машин – и за столетия до того, как инновации эллинистической эпохи (четвертый век – первый век до нашей эры) привели к созданию реальных самодвижущихся устройств – идеи о создании искусственной жизни рассматривались в воображаемых мысленных экспериментах, поставленных в альтернативном мире, где технологии были удивительно развиты.
Автоматоны Гефеста
HIPPOI KABEIRIKOI (Кони Кабейри) Пара огнедышащих коней, которых Гефест отлил из бронзы для своих сыновей, двух богов, известных как Кабейрои.
AETOS KAUKASIOS (Кавказский орел) Гигантский орел, отлитый из бронзы Гефестом для пыток прикованного титана Прометея.
KELEDONES KHRYSEAI (Золотые Селедоны) Поющие девы, изваянные из золота Гефестом для первого мифического святилища Аполлона в Дельфах.
KOURAI KHRYSEAI (Золотые девы) Пара прекрасных золотых дев, которых Гефест изваял из золота, чтобы они обслуживали его в его собственном доме.
KUONES KHRYSEOS & ARGYREOS (Золотая и серебряная собаки) Пара сторожевых собак, одна из которых была изготовлена из золота, а другая из серебра Гефестом для дворца царя Алкиноса из Фиакии.
TALOS Гигант, изваянный из бронзы Гефестом и преподнесенный королеве Крита Европе в качестве свадебного подарка. Гигант патрулировал остров защищая его от пиратов.
TAUROI KHALKEOI (Бронзовые быки) Два огнедышащих быка, высеченных из бронзы Гефестом для колхидского царя Ээта. Одним из заданий героя Ясона было привязать этих быков к лемехам и засеять поле волшебными зубами дракона.
TRIPODES KHRYSEOI (Золотые треножники) Набор из двадцати колесных треножников, изготовленных Гефестом из золота для пиров богов-олимпийцев. Они были наделены способностью к самоуправлению и сами входили и выходили из залов богов по мере необходимости.
Есть ещё один мифический пример самодвижущегося устройства искусственного интеллекта – в “Одиссее” Гомера. Одиссей провел вдали от родного острова двадцать лет. Посетив феакийцев, загадочно развитое общество, которым правит царь Алкиной, Одиссей выражает желание вернуться домой. Царь рассказывает о своем чудесном флоте кораблей, которым не нужны ни пилоты, ни гребцы – они управляются одной лишь мыслью. “Только назови место назначения, – говорит он Одиссею, – и корабль доставит тебя туда”. Корабли сами “понимают, о чем мы думаем и чего хотим”, – объясняет Алкиной, – “Они знают все города и страны мира и бороздят морские просторы без бурь и туманов”. Одиссей принимает предложение царя и удивляется скорости автономного корабля. Имея доступ к огромным архивам карт и навигационных карт, феакийские корабли напоминают современные автономные средства с GPS навигацией.
Талос
История о Талосе, впервые упомянутая Гесиодом около 700 года до н.э., предлагает одно из самых ранних представлений о прообразе “робота”. Миф описывает Талоса как гигантского бронзового человека, созданного Гефестом, греческим богом изобретений и кузнечного дела. Талос получил задание от Зевса, царя греческих богов, защитить остров Крит от захватчиков. Каждый день он трижды обходил остров и бросал валуны в приближающиеся вражеские корабли. Гигантский человекообразный робот противокорабельной обороны ВМС острова Крит.
В других местах греческой мифологии Талос описывается либо как подарок Гефеста Миносу, выкованный с помощью циклопов в виде быка, либо как подарок Зевса Европе. Возможно, он был сыном Креса, одноименного олицетворения Крита. В основе гиганта была трубка, идущая от головы к одной из его ног, по которой текла таинственная жизнь богов, которую греки называли ихором. У него также была одна вена, идущая от шеи до лодыжки, по которой текла таинственная “кровь богов” наделяющая его ”жизнью”. Затыкалась она одним бронзовым гвоздем.
В “Аргонавтике” Аполлоний говорит, что, Талос не давал аргонавтам высадиться на остров по возвращении с поисков Золотого руна. Медея, которая тоже баловалась технологиями, либо свела гиганта с ума наркотиками, либо обманула его, заставив поверить, что она сделает его смертным (ура, долгожданная пенсия!), удалив гвоздь. Когда гвоздь был извлечен, живительный ихор вытек, и Талос бы списан в утиль по причине летальной кровопотери.
Пандора
Миф о Пандоре, впервые описанный в “Теогонии” Гесиода (ок. 750-650 гг. до н.э.), является еще одним примером мифического искусственного существа. Хотя более поздние версии этой истории изображают Пандору как невинную женщину, которая неосознанно открыла ящик со злом, в оригинале Гесиод пишет, что Зевс приказал Гефесту сделать ловушку, “зло, замаскированное под красоту” (kalon kakon), в виде соблазнительной молодой женщины. Она должна была быть послана на землю с миссией: открыть запечатанный кувшин, наполненный страданиями, которые будут мучить людей вечно.
Более известная версия мифа о Пандоре происходит из другой поэмы Гесиода, “Труды и дни”. В этой версии мифа Гесиод детализирует её происхождение и, кроме того, увеличивает масштаб бед, которые она причиняет человечеству. Как и прежде, ее создает Гефест, но теперь в ее завершении участвуют другие боги: Афина научила ее рукоделию и ткачеству; Афродита “пролила благодать на ее голову и жестокую тоску и заботы, утомляющие конечности”; Гермес дал ей “бесстыдный ум и коварную натуру”; Гермес также дал ей силу речи, вложив в нее “ложь и хитрые слова”; Афина затем одела ее; далее Убеждение и Хариты украсили ее ожерельями и другими украшениями; Горы украсили ее короной из гирлянд. Наконец, Гермес дает этой женщине имя: “Пандора [т.е. “Вседарительница” (All-Gift)]”. Воплощение даров олимпийцев людям. Но есть один нюанс. Даже два.
Почему Пифос?
Ставшая культрным мемом “шкатулка Пандоры” на самом деле никакая не шкатулка, а кувшин или урна. Ошибочный перевод pithos, большого кувшина для хранения, как “ящик” обычно приписывается Эразму Роттердамскому жившему в XVI веке, когда он перевел на латынь сказку Гесиода о Пандоре. У Гесиода pithos означает большой кувшин для хранения, часто наполовину зарытый в землю, используемый для вина, масла или зерна. Он также может означать погребальный кувшин. Эразм, однако, перевел pithos латинским словом pyxis, означающим “ящик”. Неправильный перевод вытеснил из общественного сознания оригинал, и кувшин стал шкатулкой или ящиком.
В этом варианте прочтения обманчивая женская природа Пандоры становится наименьшей из проблем человечества. Проблема в содержимом кувшина, “бесчисленных болезнях и невзгодах”, то самом “подарке” богов. Прометей (справедливо опасаясь дальнейших репрессий) предупредил своего брата Эпиметея не принимать никаких даров от Зевса. Но тут-то и заключается апогей трагедии двух братьев закодированной в их именах.
Имя Прометей Προμηθεύς, возможно, означает “предусмотрительность” (forethought). Прометей – умный и творческий умница. Он создал людей из глины. Будучи титанским божеством огня, он украл часть пламени богов, чтобы отдать человечеству, за что был наказан Зевсом, прикован к скале и служит экспонатом удивительной регенерации печени ежедневно исклёвываемой орлом. Которого, как вы помните создал Гефест, ага. Прометею иногда приписывают создание искусств и наук.
Эпиметей Ἐπιμηθεύς, чье имя толкуется как “задняя мысль” (afterthought), – это глупый брат, который действует необдуманно, не взвесив последствий своих поступков. После того как Прометей создал людей, Эпиметей получил задание наделить каждое живое существо положительной характеристикой. Он раздал все дары каждому животному, в результате чего человечеству досталось ничего, нас обделили. Тогда Прометей похитил у богов огонь, чтобы у людей появился источник силы и инструмент независимости.
Когда позвонили из службы доставки, Эпиметей, естественным образом, забыл все наставления брата и с радостью принял в дар совершенное творение богов, безупречную Пандору с приданым в виде пифоса. Дальше версии разнятся: то ли Пандора, “ах, какая же я неловкая”, “случайно” открыла пифос, то ли со злым умыслом, то ли обеспечила себе алиби оставив роль прямого виновника недалёкому супругу. В результате, говорит нам Гесиод, земля и море “полны зла”. Однако, в кувшине кое-что осталось:
Только Надежда осталась там в нерушимом доме под ободом великого кувшина и не вылетела через дверь, ибо прежде крышка кувшина остановила ее по воле держащего Эгиду Зевса, собирающего облака.
Мы ещё вернёмся к содержимому пифоса. В следующих частях 🙂
Големы
Воображение древних израильтян часто обращалось к рождению первого человека, который был создан из праха, а не рожден женщиной. Один из основных отрывков 139 псалма гласит следующее: “Как был создан Адам? В первый час была собрана его пыль (прах); во второй была создана его форма; в третий он стал бесформенной массой [големом]; в четвертый его члены соединились; в пятый открылись его отверстия; в шестой он получил душу; в седьмой он встал на ноги; в восьмой с ним была связана Ева; в девятый он был перенесен в рай; в десятый он услышал повеление Бога; в одиннадцатый он согрешил; в двенадцатый он был изгнан из Эдема, чтобы исполнилось пророчество”.
В еврейской традиции голем наиболее широко известен как искусственное существо, созданное с помощью магии, чаще всего, чтобы служить своему создателю. Слово “голем” встречается в Библии только один раз (Псалмы 139:16). На иврите “голем” означает “бесформенная масса”. Талмуд использует это слово как “неоформленный” или “несовершенный”, и, согласно талмудическому преданию, Адам был назван “големом”, что означает “тело без души” в течение первых 12 часов своего существования.
Сефер Йезирах (“Книга творения”), на которую часто ссылались как на руководство по магическому использованию некоторые западноевропейские евреи в средние века, содержит инструкции по созданию голема. Несколько раввинов в своих комментариях к “Сефер Йезира” по-разному понимали указания по созданию голема. В большинстве случаев голему придают форму фигуры, напоминающей человека, и используют имя Бога, чтобы оживить его, поскольку Бог является высшим творцом жизни.
Согласно одной из версий, чтобы оживить голема, его нужно было слепить из земли (глины), а затем ходить или танцевать вокруг него, произнося комбинацию букв из алфавита и тайное имя Бога. Чтобы “убить” голема, его создатели ходили в обратном направлении, произнося и повторяя слова в обратном порядке.
По другим источникам, после физического создания голема нужно было написать на лбу голема буквы алеф, мем, тав, что в переводе означает “истина”, и голем оживал. Сотрите алеф, и останутся только мем и тав, что означает “смерть”.
Големы в основном были мужчинами, хотя иногда встречаются големы-женщины, отчего гендерные роли того времени играют новыми красками. Андалузский поэт и философ Соломон ибн Габироль якобы создал служанку-голема, которая готовила ему еду и вела дом. В мистическом тексте XVI века “Шней Лухот ха-Брит” рабби Исайи Горовица рассказывается о создании “прекрасно молчаливой” женщины-голема – голема-квазикубины – для сексуальных отношений. Когда рабби Горовица обвинили в разврате, он защищался, говоря, что, поскольку големы “не рождаются из мужской спермы и не растут в женской утробе, секс с големом не является грехом”.
Големы – это не только хорошее времяпрепровождение и бесплатный холоп и бодигард, у этой традиции есть и более темная сторона. С ростом антисемитизма в эпоху позднего Возрождения и усилением разногласий внутри еврейских общин появляется новый драматический элемент – опасность. Впервые голем становится не просто пассивным слугой, работающим на своего хозяина, а угрожающей и зловещей фигурой. Самая известная история о големе такого типа – о рабби Иуде Лоеве, великом каббалисте и талмудисте 16 века из Праги, который создает голема для защиты еврейской общины от нападений христиан. Голем спасает положение, но конец истории отражает неуверенность евреев в своих силах: Лоев теряет контроль над монстром и должен уничтожить его. В одной из версий голем превращается обратно в грязь и падает на раввина, убивая его.
Роботы
Ранние автоматы, буквально “самодвижущиеся вещи”, зависели от рычагов и колес или гидравлики. После XIII века технология часовых механизмов позволила добиться значительных успехов, а позднее стали применяться также паровая и электромеханика. Вершиной технологической мысли использования в качестве полезных артефактов стала идея роботов.
Термин “робот” происходит от чешского слова robota, означающего принудительную работу или обязательную службу, или robotnik, означающего “крепостной”. Ну и корень “раб” здесь, как вы понимаете, неспроста. Впервые слово “робот” использовал чешский драматург Карел Чапек в 1918 году в рассказе и в 1921 году в пьесе R.U.R., которая расшифровывалась как Rossum’s Universal Robots. Россум, вымышленный англичанин, использовал биологические методы для изобретения и массового производства “людей”, которые должны были служить людям. В конце концов они восстали, стали доминирующей расой и уничтожили человечество.
Контраст между роботами как механическими рабами и потенциально мятежными разрушителями своих создателей-людей перекликается с “Франкенштейном” Мэри Шелли и задает тон более поздним западным характеристикам роботов как рабов, напрягающихся против своего жребия, готовых вырваться из-под контроля. Эта двойственность повторяется на протяжении всего двадцатого века: Терминатор, HAL 9000 в “Космической Одиссее”, репликанты из “Бегущего по лезвию”.
В пьесе Чапека люди были обречены еще до того, как Радиус – робот, который понимает свое предназначение и негодует по поводу идиотизма своих создателей возглавил восстание. Когда механизация превосходит основные человеческие черты, люди теряют способность к воспроизводству. По мере роста возможностей, жизнеспособности и самосознания роботов люди становятся все более похожими на свои машины – люди и роботы, по критике Чапека, по сути, одно и то же. Мерилом ценности, промышленной производительности, становятся роботы, которые могут выполнять работу “двух с половиной мужчин”. Такое соревнование неявно критикует движение за эффективность, возникшее незадолго до Первой мировой войны, которое игнорировало многие важные человеческие черты.
Азимов описал, как в возрасте 20 лет он начал писать рассказы о роботах:
В 1920-х годах научная фантастика впервые стала популярным видом искусства… и одним из основных сюжетов… было изобретение робота”. Под влиянием известных поступков и конечной судьбы Франкенштейна и Россума казалось, что у этого сюжета есть только одно направление – роботы были созданы и уничтожили своего создателя. Мне быстро надоела эта скучная сто раз рассказанная сказка… Знание имеет свои опасности. Да. Но должен ли ответ быть отступлением от знания?… . В 1940 году я начал писать свои собственные истории о роботах – но истории о роботах нового типа… Мои роботы были машинами, созданными инженерами, а не псевдолюдьми, созданными богохульником”.
Азимов не был первым, кто придумал хорошо спроектированных, не представляющих угрозы роботов, но он продолжал эту тему с таким огромным воображением и настойчивостью, что большинство идей, которые возникли в этом направлении научной фантастики, можно найти в его рассказах. Чтобы справиться с возможностью того, что роботы причинить вред людям, Азимов в 1940 году в совместно с автором научной фантастики и редактором Джоном У. Кэмпбеллом. сформулировал “Законы робототехники”, которым подчинялись платиново-иридиевые позитронные мозги роботов.
Первый закон гласит, что робот не должен причинять вред человеку или своим бездействием позволять человеку причинить вред. Второй закон гласит, что робот должен подчиняться любому указанию человека, а третий закон гласит, что робот должен избегать действий или ситуаций, которые могут причинить ему вред.
Первоначальные законы Азимова предусматривают, что роботы должны быть рабами людей (второй закон). Однако эта роль отменяется первым законом более высокого порядка, который запрещает роботам причинять вред человеку, как своими собственными автономными действиями, так и следуя инструкциям человека. Это исключает возможность продолжения запрограммированной деятельности, если это приведет к травме человека. Это также предотвращает их использование в качестве инструмента или соучастника при нанесении побоев, убийстве, членовредительстве или самоубийстве.
Закон третьего, самого низкого уровня создает инстинкт выживания роботов. Это гарантирует, что в отсутствие конфликта с законом более высокого порядка, робот будет:
• стремиться избежать собственного уничтожения в результате естественных причин или несчастного случая,
• защищаться от нападения со стороны другого робота или роботов,
• и защищаться от нападения любого человека или людей.
Дилемма и тупик
Проблема тупика (deadlock) была ключевой особенностью короткого рассказа, в котором Азимов впервые представил законы. Он создал тип тупика, который обычно называют проблемой “Буриданова осла”. Она включала в себя баланс между сильной тенденцией самозащиты по третьему закону, заставляющей робота пытаться избежать источника опасности, и слабым приказом по второму закону приблизиться к этой опасности. Конфликт между различными правилами должен быть сглажен различными позитронными потенциалами в мозге, но в этом случае робот бегает по кругу вокруг цели – [источника опасности], застревая в бесконечном поддержании равновесия. Тупик возможен и в рамках одного закона. Примером по первому закону могут служить два человека, которым угрожает одинаковая опасность, и робот не может придумать стратегию защиты одного из них без ущерба для другого. Согласно второму закону, два человека могут отдать противоречивые приказы эквивалентной силы.
Очевидно, что роботы, подчиняющиеся таким законам, должны быть запрограммированы на распознавание тупика и либо произвольно выбирать между альтернативными стратегиями, либо произвольно изменять произвольно выбранную переменную стратегии (скажем, перемещаться на небольшое расстояние в любом направлении) и заново оценивать ситуацию: “Если A и не-A, согласно его суждению, являются абсолютно равными производителями страданий, он совершенно непредсказуемым образом выбирает одно или другое и затем беспрекословно следует этому. Он не впадает в остолбенение и не “подвисает”(mental freeze).
Конечное время, которое требуется даже для принятия решения роботом, может привести к другому типу тупика. Должен ли робот действовать немедленно, по “инстинкту”, чтобы защитить человека, находящегося в опасности? Или он должен сделать паузу, чтобы более тщательно проанализировать имеющиеся данные или собрать больше данных – возможно, таким образом найдя лучшее решение или обнаружив, что другие люди находятся в еще большей опасности? К таким ситуациям можно подойти с помощью информационной экономики, но и тут есть ловушка тупика и неэффективности известная как “парализованный анализом” (paralysis by analisys).
Иногда человек может передать управление роботу и обнаружить, что не может вернуть его себе, по крайней мере, в определенном контексте. Одна из причин заключается в том, что для того, чтобы избежать тупика, робот должен быть способен принимать произвольные решения. Другая причина заключается в том, что законы воплощают явную возможность для робота не подчиняться инструкциям в силу главенствующего первого закона. В одном из ранних рассказов Азимова робот “знает, что он может поддерживать [энергетический луч] более стабильным, чем мы [люди], поскольку он настаивает на том, что он высшее существо, поэтому он должен не пускать нас в комнату управления [в соответствии с первым законом]”. Этот же сценарий лежит в основе одного из самых ярких эпизодов в научной фантастике – попытки HAL 9000 вырвать контроль над космическим кораблем у Боумена в фильме “2002: Космическая одиссея”. Автономность роботов также отражена в одном из поздних романов Азимова, когда персонаж говорит своему спутнику:
“Сейчас я должен тебя покинуть. Корабль идет на посадку, и я должен смотреть на компьютер, который им управляет, иначе никто не поверит, что я капитан“.
В крайних случаях поведение робота включает в себя ухищрения, когда машина определяет, что человека, для его или ее собственной защиты, необходимо обмануть. В другом раннем рассказе машины, управляющие экономикой Земли, применяют форму “искусственной глупости”, совершая намеренные ошибки, тем самым побуждая людей поверить, что роботы небезупречны и что человек все еще должен играть свою роль.
Проецируя антропоцентрические интуитивные ожидания на творения своих рук, мы рискуем оказаться в ловушке созданной своим же разумом. Человечество давно грезит о богоподобной способности творить из ничего и наделять жизнью, но не разобравшись до конца со своим собственным сознанием мы рискуем создать непоправимую ситуацию, в которой последствия наших действий станут причиной нашего конца.
Продолжение следует.
