«...Яко помниши его»

1

Кит Харриман вот уже двенадцать лет возглавлявший Исследовательский центр фирмы «Юнайтед Стейтс Роботс энд Мекэникл Мен Корпорейшн», совершенно не был уверен, что поступает правильно. Он провел кончиком языка по пухлым, но довольно бледным губам, и ему показалось, что голографическое изображение великой Сьюзен Кэлвин, сурово взиравшей на него сверху вниз, никогда еще не было таким хмурым.

Обычно он загораживал чем-нибудь голографию величайшего в истории робопсихолога, потому что она действовала ему на нервы. Однако на сей раз он не осмелился даже на это, и ее пронзительный умерший взгляд буравил ему щеку.

Шаг, на который ему придется пойти, был одновременно опасным и унизительным.

Напротив него сидел Джордж Десять, хладнокровный и невозмутимый, чье спокойствие не нарушали ни явное смущение Харримана, ни образ святой покровительницы роботов, сиявшей в нише наверху.

– Нам с тобой пока не удавалось поговорить об этом, Джордж, – сказал Харриман. – Ты появился у нас недавно, и мне не приходилось беседовать с тобой наедине. Но теперь я хотел бы обсудить этот вопрос более подробно.

– С удовольствием, – согласился Джордж. – За время моего пребывания в «Ю. С. Роботс» я понял, что кризис фирмы каким-то образом связан с Тремя Законами.

– Да. Ты, конечно, знаешь Три Закона?

– Знаю.

– Это естественно. Но давай копнем глубже и рассмотрим основную проблему. Достигнув за два столетия значительных успехов, если можно так выразиться, «Ю. С. Роботс» так и не сумела убедить человечество принять роботов. Мы поставляем их только в такие места, где работа человеку не под силу или окружающая среда слишком опасна. Роботов используют в основном в космосе, и это ограничивает наши возможности.

– Однако даже в таких пределах поле деятельности остается широким, – заметил Джордж Десять, – и вполне достаточным для процветания фирмы.

– Увы, это не так, и тому есть две причины. Во-первых, границы, установленные для нас, непрерывно сжимаются. Колония на Луне растет, развивается – и ее потребность в роботах падает, Мы предполагаем, что в ближайшие годы роботы на Луне будут запрещены. И так будет повторяться на всех планетах, колонизированных людьми. А во-вторых, настоящее процветание фирмы невозможно без использования роботов на Земле. Мы в «Ю. С. Роботс» твердо уверены, что люди нуждаются в роботах и поэтому должны научиться уживаться со своими механическими подобиями, если хотят, чтобы прогресс продолжался.

– А разве они не уживаются? Мистер Харриман, у вас на столе стоит компьютер, который, как я понимаю, подключен к Мультиваку. Но компьютер – это своего рода сидячий робот, искусственный мозг, не имеющий подвижного тела…

– Верно, но и здесь есть свои ограничения. Компьютеры, которыми пользуется человечество, становятся все более узкоспециализированными, чтобы не допустить возникновения интеллекта, слишком похожего на человеческий. Сто лет назад мы уже вступили на путь создания искусственного интеллекта с самыми неограниченными возможностями, сконструировав огромные компьютеры, которые назвали Машинами. Но Машины сами наложили ограничения на свою деятельность. Успешно разрешив экологические проблемы, угрожавшие существованию человеческого общества, они самоликвидировались. Машины пришли к выводу, что в дальнейшем станут для людей чем-то вроде подпорок или костылей, а поскольку сочли это вредным для человека, то вынесли себе приговор на основании Первого Закона.

– Вы полагаете, они ошиблись?

– По-моему, да. Своим поступком они усилили у людей комплекс Франкенштейна – инстинктивную боязнь, что искусственно созданный интеллект восстанет против своего создателя. Люди боятся, что роботы могут занять их место.

– А вы сами не боитесь?

– Я лучше осведомлен. Пока действуют Три Закона Роботехники, этого не случится. Роботы могут стать нашими партнерами, внести свой вклад в великую борьбу за разгадку законов природы и мудрое управление ею. При таком сотрудничестве человечество могло бы достигнуть гораздо большего, чем в одиночку, причем роботы всегда стояли бы на страже интересов человека.

– Но если на протяжении двух веков Три Закона успешно удерживали роботов в границах повиновения, в чем же источник недоверия людей?

– Ну… – Харриман яростно поскреб затылок, взъерошив седые волосы. – В основном, конечно, предубеждение. Но, к несчастью, есть тут некоторые сложности, за которые, конечно же, сразу ухватились противники роботов.

– Это касается Трех Законов?

– Да, в особенности Второго Закона. Видишь ли, с Третьим проблем нет, это закон абсолютный. Робот всегда должен жертвовать собой ради людей, ради любого человека.

– Естественно, – согласился Джордж Десять.

– Первый Закон, похоже, не столь универсален, потому что нетрудно придумать ситуацию, в которой робот обязан предпринять взаимоисключающие действия А или Б, и каждое из них в результате причинит человеку вред. Поэтому робот должен быстро выбрать меньшее из двух зол. Однако сконструировать позитронные мозговые связи таким образом, чтобы робот мог сделать нужный выбор, крайне нелегко. Если действие А нанесет вред молодому талантливому художнику, а действие Б – пяти престарелым людям, не имеющим особой ценности, – что предпочесть?

– Действие А, – без колебаний ответил Джордж Десять. – Вред, причиненный одному, меньше, чем вред, причиненный пяти.

– Да, роботов всегда конструировали с таким расчетом, чтобы они принимали подобные решения. Считалось непрактичным ожидать от робота суждения о таких тонких материях, как талант, ум, польза для общества. Все это настолько замедлило бы решение, что робот практически был бы парализован. Поэтому в ход идут числа. К счастью, такие критические ситуации достаточно редки… И вот тут мы подходим ко Второму Закону.

– Закону повиновения.

– Именно. Необходимость подчинения приказам реализуется постоянно. Робот может просуществовать двадцать лет и ни разу не оказаться в такой ситуации, когда ему нужно будет защитить человека или подвергнуться риску самоуничтожения. Но приказы он должен выполнять все время. Вопрос – чьи приказы?

– Человека.

– Любого человека? Как ты можешь судить о человеке, чтобы знать, подчиняться ему или нет? «Что есть человек, яко помниши его»[1], Джордж?

Джордж заколебался.

– Цитата из Библии, – поспешно проговорил Харриман. – Это неважно, Я имею в виду: должен ли робот повиноваться приказам ребенка; или идиота; или преступника; или вполне порядочного человека, но недостаточно компетентного, чтобы предвидеть, к каким прискорбным последствиям приведет его желание? А если два человека дадут роботу противоречащие друг другу приказы – какой выполнять?

– Разве за двести лет эти проблемы не возникали и не были решены? – поинтересовался Джордж.

– Нет, – энергично помотал головой Харриман. – Наши роботы использовались только в космосе, в особой среде, где с ними общались высококвалифицированные специалисты, Там не было ни детей, ни идиотов, ни преступников, ни невежд с благими намерениями. И тем не менее случалось, что глупые или попросту непродуманные приказы наносили определенный ущерб, но его размеры были ограничены тем, что роботов применяли в очень узкой сфере. Однако на Земле роботы должны уметь принимать решения. На этом спекулируют противники роботехники, и, черт бы их побрал, тут они совершенно правы.

– Тогда необходимо внедрить в позитронный мозг способность к взвешенному суждению.

– Вот именно, Мы начали производство модели ДжР, которая сможет судить о человеке, принимая во внимание пол, возраст, социальную и профессиональную принадлежность, ум, зрелость, общественную значимость и так далее.

– И как это повлияет на Три Закона?

– На Третий Закон – вообще никак. Даже самый ценный робот обязан разрушить себя ради самого ничтожного человека. Здесь ничего не изменится. Первого Закона это коснется, только если альтернативные действия в любом случае причинят вред. Тогда решение будет приниматься не только в зависимости от количества людей, но и, так сказать, их качества, при условии, конечно, что на это хватит времени, а основания для суждения будут достаточно вескими. Впрочем, такие ситуации довольно редки. Самым сильным изменениям подвергнется Второй Закон, поскольку любое потенциальное подчинение приказу будет включать в себя суждение о нем. Реакция робота замедлится, за исключением тех случаев, когда в силу вступит Первый Закон, зато исполнение приказа будет более осмысленным.

– Но способность судить о людях – вещь непростая.

– Вернее, крайне сложная. Необходимость сделать выбор замедляла реакцию наших первых двух моделей до полного паралича. В следующих моделях мы пытались исправить положение за счет увеличения мозговых связей – но при этом мозг становился слишком громоздким. Однако в нашей последней паре моделей, на мой взгляд, мы добились, чего хотели. Роботам теперь не обязательно сразу судить о достоинствах человека или оценивать его приказы. Вначале новые модели ведут себя как обычные роботы, то есть подчиняются любому приказанию, но одновременно они обучаются. Робот развивается, учится и взрослеет, совсем как ребенок, и поэтому сначала за ним необходим постоянный присмотр. Но по мере развития он станет все более и более достойным того, чтобы человеческое общество на Земле приняло его в свои ряды как полноправного члена.

– Это, несомненно, снимает возражения противников роботов.

– Нет, – сердито возразил Харриман. – Теперь они выдвигают новые претензии: им не нравится, что роботы способны к суждениям. Робот, говорят они, не имеет права классифицировать того или иного человека как личность низшего сорта. Отдавая предпочтение приказам некоего А перед приказами некоего Б, они тем самым считают Б менее ценным по сравнению с А и нарушают основные права человека.

– И как вы ответите на это?

– Никак. Я сдаюсь.

– Понимаю.

– Но это касается только меня лично. Потому-то я и обращаюсь к тебе, Джордж.

– Ко мне? – Голос Джорджа остался таким же ровным, лишь мягкое удивление прозвучало в нем. – Почему ко мне?

– Потому что ты не человек, – с нажимом произнес Харриман. – Я уже говорил тебе, что хочу видеть роботов партнерами людей, – вот и стань моим партнером.

Джордж Десять беспомощно, странно человеческим жестом развел руками.

– Что я могу сделать?

– Тебе, конечно, кажется, что ты ничего не можешь, Джордж. Ты создан совсем недавно, в сущности, ты еще дитя. Тебя специально не перегружали информацией – поэтому мне и приходится объяснять все так подробно, – чтобы оставить место для развития. Но твой интеллект будет развиваться и позволит тебе взглянуть на проблему с иной, не человеческой точки зрения. Там, где я не вижу выхода, ты можешь найти его.

– Мой мозг сконструирован людьми. Как он может быть нечеловеческим?

– Джордж, ты последняя модель серии ДжР. Твой мозг – наиболее сложный из всех, которые мы создавали когда-либо, в чем-то он устроен даже более тонко, чем у прежних огромных Машин. Он представляет собой открытую систему, и, несмотря на изначальное человекоподобие, эта система может развиваться – будет развиваться – в любом неожиданном направлении. Оставаясь в непреложных границах Трех Законов, ты можешь обрести тем не менее совершенно нечеловеческий образ мышления.

– Но хватит ли у меня знаний о людях, чтобы правильно подойти к проблеме? Об их истории? Психике?

– Конечно, нет. Но ты будешь обучаться настолько быстро, насколько это возможно.

– Мне будет кто-нибудь помогать, мистер Харриман?

– Нет. Все это строго между нами. Никто ни о чем не должен знать, и ты не должен говорить об этом проекте ни одному человеку, ни в «Ю. С. Роботс», ни за пределами фирмы.

– Мы совершаем нечто предосудительное, мистер Харриман, если вы так настаиваете на сохранении тайны? – спросил Джордж.

– Нет. Но решение, предложенное роботом, не будет принято именно потому, что оно исходит от робота. Как только ты что-нибудь придумаешь, сразу дай мне знать, и, если твое решение покажется мне верным, я представлю его как свое. Никто не узнает, что ты его автор.

– В свете того, что вы говорили раньше, – спокойно проговорил Джордж Десять, – это кажется мне вполне разумным. Когда приступать?

– Прямо сейчас, Я позабочусь о том, чтобы у тебя были все необходимые пленки.

1а

Харриман остался один. Искусственное освещение в кабинете скрадывало наступившие сумерки. Ощущение времени как-то стерлось, и Харриман даже не заметил, что, с тех пор как он отвел Джорджа Десять в его ячейку и оставил там с первой порцией пленок, прошло уже три часа.

Теперь он сидел в полном одиночестве, наедине с призраком Сьюзен Кэлвин, блестящего робопсихолога, которая мановением руки превратила позитронных роботов из громоздких игрушек в самый разносторонний и тонкий инструмент для человека – настолько тонкий и многогранный, что люди не осмеливались, от страха или из зависти, пользоваться им.

После ее смерти прошло более ста лет. Проблема комплекса Франкенштейна существовала и тогда, но Сьюзен не удалось решить ее. Хотя, с другой стороны, она никогда и не пыталась сделать этого – не было особой необходимости. В ее время роботехника развивалась за счет исследований в космосе.

Самый факт успешного развития роботов сократил у человечества потребность в них и заставил Харримана, в его время…

Но обратилась бы Сьюзен Кэлвин за помощью к роботу? Несомненно, она бы…

И так он сидел до поздней ночи.

2

Максвелл Робертсон был главным держателем акций «Ю. С. Роботс» и в этом смысле контролировал фирму. Его наружность никак нельзя было назвать впечатляющей. Средних лет, низенький и плотный, он постоянно жевал правый угол нижней губы, когда был взволнован или раздражен.

За два десятилетия общения с правительственными чиновниками он научился обращаться с ними: был мягок, уступчив, улыбчив и всегда умел выиграть время. Но чем дальше, тем больших усилий это требовало от него, и в основном из-за Гуннара Эйзенмата. В системе Глобальной Экологической Охраны, за последнее столетие забравшей в свои руки власть, уступающую разве что власти Всемирного Правительства, Эйзенмат наиболее рьяно пробивался сквозь «серую зону» компромиссов к крайней неуступчивости. Он был первым и единственным неамериканцем по рождению среди Охранителей, и все сотрудники «Ю. С. Роботс» считали, что его враждебность возбуждает устаревшее название фирмы, хотя прямых доказательств тому вроде бы не было. Уже не впервые в этом году, а тем более при жизни нынешнего поколения, вставал вопрос о переименовании корпорации в «Уорлд Роботс», но Робертсон опять воспротивился. Компания была основана с помощью американского капитала, американских мозгов и американского труда, и хотя она давно уже по сути и по размаху операций превратилась в международную корпорацию, название фирмы будет свидетельствовать о ее происхождении – по крайней мере пока он, Робертсон, стоит у руля.

Эйзенмат был высоким человеком с грубо вылепленным печальным длинным лицом. На универсальном языке он разговаривал с заметным американским акцентом, хотя ни разу не бывал в Штатах до своего назначения на должность.

– Мне кажется, что все совершенно ясно, мистер Робертсон. Не вижу, в чем затруднение. Продукция вашей компании всегда сдавалась в аренду и никогда не подлежала продаже. Если взятая в аренду собственность фирмы на Луне больше не нужна, вы обязаны забрать ее и отправить в другое место.

– Конечно, Охранитель, но куда? Мы не можем привезти роботов на Землю без разрешения правительства, это противозаконно, а в разрешении нам отказано.

– Но ведь они вам здесь и не нужны. Отправьте их на Меркурий или на астероиды.

– И что мы будем там с ними делать?

– Изобретательные сотрудники вашей фирмы наверняка что-нибудь придумают.

– Это означает огромные убытки для компании, – покачал головой Робертсон.

– Боюсь, что так. – Судя по всему, Эйзенмата это ничуть не трогало. – Насколько я понимаю, в последние годы финансовое положение компании вообще не блестяще.

– В основном из-за ограничений, навязанных правительством, Охранитель.

– Будьте реалистом, мистер Робертсон. Вы же знаете, как растет предубеждение общества против роботов.

– Ошибочное предубеждение.

– И тем не менее. Возможно, лучший выход – ликвидировать компанию. Это не более чем совет, конечно.

– Ваши советы стоят иных приказов, Охранитель. Должен ли я напомнить, что наши Машины сто лет назад помогли преодолеть экологический кризис?

– Уверен, что человечество благодарно им, но прошло уже столько лет… Теперь мы живем в согласии с природой, хотя и терпим из-за этого известные неудобства. А прошлое покрыто мраком.

– Вы хотите сказать, у фирмы в последнее время нет никаких заслуг перед обществом?

– Можно выразиться и так.

– Но вы же не считаете, что компания должна быть ликвидирована немедленно? Эго будет настоящий крах. Нам нужно время.

– Сколько?

– Сколько вы можете дать?

– Это от меня не зависит.

– Мы здесь одни, – вкрадчиво проговорил Робертсон. – Не стоит играть в эти игры. Сколько времени вы мне можете дать?

Эйзенмат сделал вид, что усердно подсчитывает что-то про себя.

– Думаю, у вас в запасе около двух лет. Буду откровенным: Всемирное Правительство намеревается прибрать фирму к рукам и свернуть ее деятельность, если вы не сделаете этого сами. Или в общественном мнении не произойдет резкого поворота, в чем я лично сильно сомневаюсь.

– Значит, два года, – тихо промолвил Робертсон.

2а

Робертсон остался один, Думать ему было не о чем, и он предался воспоминаниям. Уже четыре поколения Робертсонов стояли во главе компании. Никто из них не был роботехником. Специалистами были Лэннинг и Богерт и конечно же, в первую очередь, Сьюзен Кэлвин, которая преобразила фирму, придав ей нынешний размах. Но четыре Робертсона, несомненно, создавали все условия, необходимые для работы.

Если бы не «Ю. С. Роботс», в двадцатом веке неминуемо разразилась бы непрерывно углубляющаяся экологическая катастрофа. Кризис был предотвращен только благодаря Машинам, которые искусно провели целое поколение людей через отмели и пороги истории.

И за это ему дали два года. Что можно сделать за два года, чтобы преодолеть непобедимое предубеждение человечества? Неизвестно.

Харриман обнадеживал его, намекая на какие-то новые идеи, но не вдаваясь в детали. А если бы и вдавался – Робертсон наверняка ничего бы не понял. Но что может сделать Харриман? Как вообще можно бороться со стойким отвращением человека к имитации? Никак…

Робертсон погрузился в дрему, но и во сне не дождался озарения.

3

– Теперь ты знаешь все, Джордж Десять, – сказал Харриман. – Ты изучил все, что мне казалось имеющим хоть какое-то отношение к проблеме. В твою память заложен такой объем информации о человечестве, его обычаях, его прошлом и настоящем, что ты теперь гораздо более сведущ в этих делах, чем я или кто-либо из людей.

– Похоже на то.

– Как ты считаешь, нужно тебе что-нибудь еще?

– Что касается информации, я не вижу особых пробелов. Возможно, за ее пределами существуют явления, о которых я даже не догадываюсь, – трудно сказать. Но это неизбежно, независимо от того, насколько широкий круг информации мне удастся охватить.

– Ты прав. К тому же у нас нет времени для безграничного расширения твоих познаний. Робертсон сказал, что нам отпущено всего два года, и четверть одного из них уже позади. Ты можешь посоветовать что-нибудь?

– В данный момент не могу, мистер Харриман, Я должен оценить информацию, и для этого мне понадобится помощь.

– Моя?

– Нет. Не только ваша. Вы – человек, к тому же высокой квалификации, и любое ваше мнение для меня частично будет иметь силу приказа, подавляя, таким образом, мои рассуждения. По той же причине я не хочу помощи от людей, тем более что вы сами запретили мне общаться с ними.

– Но в таком случае, Джордж, какой помощник тебе нужен?

– Робот, мистер Харриман.

– Какой робот?

– Из серии ДжР. Я ведь десятый из них.

– Но предыдущие модели были экспериментальными и оказались бесполезными…

– Мистер Харриман, существует Джордж Девять.

– Да, но от него тебе мало проку. Он слишком похож на тебя, если не считать отдельных недостатков. Из вас двоих ты более универсален.

– Я в этом не сомневаюсь, – совершенно серьезно сказал Джордж Десять, кивнув головой. – И все же: стоит мне начать мыслить в определенном направлении, тот факт, что именно я выдвинул идею, мешает мне отвергнуть ее. Если бы я мог, развив какую-то мысль, поделиться ею с Джорджем Девять, он бы взглянул на нее со стороны и, свободный от авторского пристрастия, увидел бы изъяны и слабые места, которые ускользают от меня.

– Иначе говоря, одна голова хорошо, а две – лучше, да, Джордж? – улыбнулся Харриман.

– Если вы имеете в виду двух индивидуумов с одной головой на каждого – вы правы, мистер Харриман.

– Хорошо. Что-нибудь еще?

– Да. Я просмотрел уйму фильмов, изображающих людей и их мир, но этого недостаточно. Здесь, на фирме, я видел людей и могу сверить свою интерпретацию того, что показано на пленке, с непосредственным сенсорным восприятием. Но что касается окружающей среды – я никогда не видел ее, а, судя по фильмам, здешняя обстановка мало похожа на внешний мир. Я хотел бы увидеть его.

– Увидеть мир? – Харриман был ошеломлен грандиозностью задачи. – Надеюсь, ты не думаешь, что я могу вывезти тебя за пределы «Ю. С. Роботс»?

– Именно этого я и хочу.

– Но это противозаконно! А если учесть сегодняшнее настроение общества, последствия для фирмы могут быть просто фатальными.

– Если нас засекут. Я ведь не предлагаю вам отправиться со мной в город или в какой-то район, заселенный людьми. Меня устроит любая открытая безлюдная местность.

– Это тоже незаконно.

– Только если нас поймают. Но ведь могут и не поймать.

– Для тебя это так важно, Джордж? – спросил Харриман.

– Точно не знаю, но мне кажется, да.

– У тебя есть что-то на уме?

– Не могу сказать, – неуверенно проговорил Джордж Десять. – Мне кажется, что-то вырисовывается, но мешает неопределенность исходных данных.

– Хорошо, я подумаю об этом. А пока займусь Джорджем Девять и помещу вас в одну ячейку. Тут-то, по крайней мере, трудностей не предвидится.

3а

Джордж Десять остался один.

Он вдумчиво отбирал суждения, выстраивал их в цепочку и делал выводы; начинал все сначала и проходил весь путь заново; на основании выводов формулировал новые суждения, проверял их, находил противоречия и отвергал – или принимал, неустанно и терпеливо продолжая двигаться вперед, к своей цели.

Выводы, к которым он приходил, не вызвали у него ни любопытства, ни изумления, ни восторга; он просто ставил знак «плюс» или «минус».

4

Харриман заметно расслабился, когда они тихо приземлились в поместье Робертсона.

Робертсон подписал приказ, передав в их распоряжение динафойл, и бесшумный летательный аппарат, одинаково легко передвигающийся как по вертикали, так и по горизонтали, оказался достаточно мощным, чтобы поднять в воздух Харримана, Джорджа Десять и, естественно, пилота.

Динафойл был создан в результате подсказанного Машинами изобретения протонного микрореактора, который вырабатывал экологически чистую энергию малыми дозами. С тех пор ни одного хоть сколько-нибудь сравнимого по значению открытия сделано не было – при этой мысли Харриман сердито сжал губы, – но «Ю. С. Роботс» так и не дождалась заслуженной благодарности.

Перелет из здания фирмы в поместье Робертсона был рискованным трюком. Хорошо, что их не застукали с роботом на борту, иначе сразу жди неприятностей. Правда, оставался еще обратный путь. Что же касается территории поместья – тут вопрос становился спорным, поскольку участок считался собственностью фирмы, а в пределах владений компании роботы имели право находиться, под неусыпным присмотром специалистов, разумеется.

Пилот обернулся и украдкой взглянул на Джорджа Десять.

– Вы собираетесь выйти, мистер Харриман?

– Да.

– И эта штука тоже?

– О да. – В голосе зазвучала насмешка, – Я не оставлю вас с ним наедине.

Джордж Десять спустился первым, Харриман последовал за ним. Они приземлились на посадочной площадке, неподалеку от сада. Сад выглядел настолько образцово, что наводил на подозрения – не использует ли Робертсон ювенильные гормоны, чтобы контролировать число насекомых, вопреки распоряжениям экологической службы?