Библиотека Робинзона

Уже в ближайшие 30–50 лет философ прогнозирует возможность реализации как минимум трех небезопасных сценариев. 1) В результате прогресса нейрофармакологии личность человека станет гораздо пластичнее, чем сейчас, прием определенных лекарств позволит нам буквально «носить» сегодня одну личность, завтра – другую. 2) Успехи исследования стволовых клеток позволят регенерировать практически любую ткань тела, и ожидаемая продолжительность жизни перевалит далеко за 100 лет. Молодые старики «не захотят уходить с дороги не только своих детей, но и внуков и правнуков», да и потребность в размножении резко упадет. 3) Богатые начнут проверять эмбрионы до имплантации, чтобы получить «оптимальных детей. По внешнему виду и интеллекту юноши или девушки все четче определяется их социальное происхождение». Что случится «с политическими правами, если мы действительно сможем вывести две породы людей: одну— с седлами на спинах, а другую – со шпорами на сапогах?»

Фукуяма считает: мы должны использовать силу государств, чтобы жестко регламентировать биотехнологию (речь идет именно о человеческой, а не сельскохозяйственной, которая развивается давно и уже имеет набор институтов и правил регламентации). Сначала нужно это сделать на национальном уровне, а затем – перейти к международному урегулированию. И лучше не откладывать, ибо «события развиваются так быстро, что нам скоро понадобятся более приближенные к практике правила, регламентирующие будущие направления стой целью, чтобы технология осталась служанкой человека, а не стала его госпожой».

На нашем пути стоят два заблуждения: 1) всякое регулирование неэффективно, поскольку оно замедляет прогресс; 2) прогресс невозможно замедлить, так как он все равно пробьет себе дорогу, несмотря ни на какие регуляции и запреты. Оба утверждения неверны и оторваны от реальности. «На самом деле мы контролируем все виды технологий и многие виды научных исследований… Тот факт, что некоторые лица или организации этот запрет нарушают, или что есть страны, где таких законов либо нет, либо за их соблюдением плохо следят, – не повод для того, чтобы эти законы вообще не создавать».

Следует избегать пораженческого отношения к технологии. Да, задача непростая, она «требует от законодателей всех стран мира взять на себя ответственность и принять трудные решения по сложным научным вопросам… Но политические задачи сравнимой сложности уже успешно решались в прошлом», так что все поправимо. Важно понять, что биотехнология ставит не только этические, но и политические проблемы, и дальше их будет только больше. И именно «политические решения, которые мы будем принимать в ближайшие годы… и определят, избежим ли мы постчеловеческого будущего и той моральной пропасти, которую подобное будущее перед нами откроет».

Размышлений на этот счет было сделано немало, дискуссии ведутся начиная с 1980-х годов; пришло время перейти к действиям! Нужны не только новые законы, но и институты, обеспечивающие их выполнение. Так уже происходило: скажем, «историю регламентации фармацевтической промышленности двигали страшные события, такие как история с сульфаниламидным эликсиром и талидомидом». Лучше не дожидаться повторения столь опасных кейсов – теперь уже с человеческими клонами или искусственно созданными химерами, действовать не реактивно, а проактивно.

Фукуяма рекомендует не доверять тем либертариански настроенным людям, кто хочет приблизить постчеловеческое будущее и размахивает знаменем свободы. Они «хотят максимально расширить свободу родителей выбирать, каких детей иметь, свободу ученых в исследованиях и свободу предпринимателей использовать технологию для получения прибыли». Увы, постчеловеческий мир, куда они нас зовут, «может оказаться куда более иерархичным и конкурентным, чем наш сегодняшний, а потому полным социальных конфликтов… Мы не обязаны принимать любое такое будущее ради фальшивого знамени свободы, будь то свобода ничем не ограниченного размножения или свобода беспрепятственного научного исследования… Истинная свобода означает свободу политической общественности защищать ценности, которые ей дороже всего», от того, что им угрожает. Сегодня же им угрожает прежде всего биотехнологическая революция.

Дональд НорманДизайн вещей будущего

M.:STRELKA PRESS, 2013

Экс-вице-президент Apple и профессор Северо-Западного университета в Чикаго Дональд Норман – крупный практик и теоретик современного дизайна. В своей книге он размышляет о процессе создания «умных» машин, которых вокруг нас становится все больше, а сами они – все «умнее». Процесс этот, од нако, пока что выглядит весьма дискомфортным, и чем больше «ума» обретают наши машины, тем больше они раздражают человека. По мнению Нормана, дело в том, что никакого собственного «ума» у машин пока что нет, а есть только «ум конструктора, пытающегося представить себе все ситуации, в которых может оказаться машина, и решить, что ей следует делать». Получается плохо, и мы зависаем в «переходном периоде», когда наши машины «уже пытаются принимать осмысленные, разумные решения и действовать соответственно, но у них еще ничего не получается». В результате страдает человек…

Обречены ли мы на страдания или у нас есть шанс проскочить этот мучительный «переходный период»? Автор полагает, что шанс есть, но, чтобы его реализовать, надо сфокусироваться на возникающих в человеко-машинном взаимодействии проблемах. Сегодня, когда «машина вмешивается в наши действия, нам остается только подчиниться». Никакой коммуникации, никакого диалога не происходит. Так – или никак! «Мы отдаем приказы машине, а она – нам. А два монолога – это никакой не диалог». Вместо этого нам нужно приложить усилия, чтобы человек понимал, что делают машины и почему, а машины— что и почему делает человек. Ведь зачастую процесс выработки решений и участие в нем гораздо важнее самого решения. Пока же «молчание и тайна подрывают это доверие – как подрывает доверие единоличное принятие решений в бизнесе».

По мере того как техника усложняется, мы все хуже понимаем принципы ее работы и хуже предугадываем ее действия. Хотя мы продолжаем считать, что контролируем ситуацию, «машины берут верх. Они ведут себя так, будто обладают интеллектом и свободой воли, хотя ни того, ни другого у них нет». Повторим: интеллект машины заключен не в ней, а в голове ее конструктора, и когда его нет рядом, то есть в неожиданной ситуации, машина, как правило, не справляется! Машины воспринимают окружающий мир не так, как мы, и они не понимают целей и мотивов людей, с которыми должны взаимодействовать. Эта проблема носит фундаментальный характер, ее нельзя устранить, просто добавив машине дополнительный датчик/сенсор.

Машины делают «важнейшие выводы о ваших намерениях на основе далеко не полной картины вашего поведения… Они убеждены, будто знают, что для нас лучше. Но их интеллект ограничен. И это ограниченность фундаментального свойства». Машины нужно социализировать, пишет Норман, «они должны стать более коммуникабельными и лучше понимать пределы своих возможностей. Только тогда они смогут приносить настоящую пользу». Но каким образом? Для диалога нужны общие знания и контекст, а его катастрофически не хватает даже самим людям; откуда ж им взяться у машин? Возможно, пишет Норман, «для успешного взаимодействия с техникой нам нужно научиться относиться к ней как к животным». Ведь даже самая «умная» машина – это не человек, а представитель другого вида, как лошадь или собака, каждая – со своими сильными и слабыми сторонами.

Чтобы достичь гармонии, мы должны научиться взаимодействовать с машинами, как музыкант – со своим инструментом, а искусный наездник – со своей лошадью. В последнем случае человек «постоянно ведет переговоры со своей лошадью, приспосабливая степень своего контроля к конкретным обстоятельствам». Существуют разные уровни обработки информации: самый низкий – инстинктивный – могли бы взять на себя машины, самый высокий – рефлексивный – останется за человеком, а средний – поведенческий – может быть общим, как у человека с лошадью. Результат – гармоничное и эффективное объединение усилий человека и животного, когда вместе они достигают большего, чем каждый из них по отдельности. Ровно этого же нам нужно добиваться и во взаимодействии человека с машиной.

Так, «умный» дом, чтобы быть по-настоящему умным, должен понимать контекст поведения человека, иначе он будет все делать невпопад и скорее мешать своему владельцу, чем помогать. Точно так же должен действовать и «умный» автомобиль. С таким домом/ автомобилем со временем действительно можно будет вести осмысленные разговоры. «По мере роста когнитивных и эмоциональных возможностей машин возникает ощущение, что мы не так уж не правы в своем антропоморфизме». Мы должны создать человеко-машинный симбиоз, но пока… пока мы идем не туда!

Внешний мир предъявляет одинаково сложные требования животным, людям и машинам. Первые два рода «выработали сложные системы восприятия и поведения, эмоциональные и когнитивные. Машинам нужны аналогичные системы», но их пока не существует. А еще им нужно некоторое подобие человеческих эмоций. Только в этом случае они смогут «противостоять внешним угрозам и опасностям, пользоваться предоставляющимися возможностями, предвидеть последствия своих действий, осмыслять то, что уже произошло, и думать о том, что может произойти, то есть извлекать уроки и совершенствоваться».

Автор формулирует ряд правил для людей, разрабатывающих «умные» машины. Им следует разрабатывать богатую, комплексную и естественную систему сигналов. Они должны сделать поведение машины предсказуемым для человека. Это значит, что в основе его должна лежать хорошая концептуальная модель (людям проще общаться с теми, кого они могут понять). Информация, которую машины сообщают человеку, должна быть для них понятна. Машины должны осведомлять человека о своих действиях – постоянно, но неназойливо. И еще крайне необходимо обеспечить «естественное соответствие, позволяющее сделать взаимодействие понятным и эффективным».

Во многих случаях машины уже сами совершенствуют себя и создают другие машины. Если дело пойдет, как сейчас, то по мере перехода главной роли в создании машин к самим машинам проблемы в их взаимодействии с человеком только усилятся. Чтобы этого не произошло, Норман придумал шутливые «правила дизайна, разработанные машинами в целях улучшения взаимодействия с людьми». Они требуют от машин: не усложнять; дать людям концептуальную модель; убеждать людей и приводить в общении с ними доводы и аргументы; делать вид, что именно люди остаются хозяевами положения; уверять их и успокаивать; ну и, конечно, не называть действия людей «ошибкой». И тогда гармония между людьми и машинами станет возможной!

Джеймс ЛавлокНовацен: грядущая эпоха сверхразума

СПб.: Издательство Европейского университета в Санкт-Петербурге, 2022

Знаменитый британский ученый и изобретатель Джеймс Лавлок вошел в историю благодаря своей гипотезе Геи, или теории Земли-суперорганизма. В 1970-х годах он предложил рассматривать Землю как единый живой организм (Гею) и представил убедительные доказательства в пользу такого подхода. 40 лет спустя Лавлок, уже на пороге собственного столетия, выдвинул еще одну яркую идею. «Новацен» – это новая геологическая эпоха в истории нашей планеты, которая следует за эпохой антропоцена. Если антропоцен, начало которому дало изобретение паровой машины Ньюкомба, стал эпохой значительного воздействия человека на геологию и экосистемы Земли, то в новацен роль главной движущей силы перейдет к искусственному интеллекту. Изобретенная человеком технология выйдет из-под его контроля и начнет взаимодействовать с нашей планетой по собственным правилам. Это произойдет, поскольку ИИ будет обладать более мощным и более быстрым разумом, чем человеческий, и роль человека скоро перестанет быть определяющей.

Человечество в новацене, полагает Лавлок, скорее всего, не исчезнет, а в каком-то виде сохранится, но уже не будет играть первую скрипку. Возникнет симбиоз людей и машин, их действия будут подчинены императиву поддержания Геи и жизни на планете Земля, для чего потребуются и те, и другие. Продолжится выполнение важнейшей миссии жизни – космического познания и самопознания. Человек перестанет быть венцом творения, эта роль перейдет к киборгам, таков закон эволюции. А вместе с ней перейдет и ответственность за нашу планету, прежде всего за устранение главной угрозы Гее. Эта угроза исходит от нашего Солнца, которое, как и положено таким звездам, «по мере старения медленно увеличивают светимость. Возрастающий жар Солнца угрожает жизни на нашей планете». Поверхность Земли должна искусственно охлаждаться, иначе жизнь на ней исчезнет. Эту миссию выполняет планетарная система, которую Лавлок называет Геей.

Планета стареет, и те удары, которые она раньше переносила с легкостью, теперь становятся для нее смертельно опасными. Человек уже не может в одиночку предотвращать их, и здесь на сцену выходят те, кто порождены нами, но стали умнее и быстрее нас, – киборги! Потепление – самая актуальная и насущная угроза Земле, нашему дому, и именно на ее отражении, а не на исследовании дальнего космоса, нам и следует сосредоточиться. Лавлок уверен, что мы одиноки во Вселенной, и гибель жизни на Земле для него означает ее гибель вообще. Вероятность такого совпадения разнообразных условий, которое позволило жизни однажды возникнуть, настолько математически мала, что надеяться на нее не приходится.

За последние 3,5 млрд лет выделение тепла Солнцем выросло на 20 %, и этого хватило бы, «чтобы увеличить температуру земной поверхности до 50 градусов по Цельсию и вызвать бесконтрольный парниковый эффект, который убил бы все живое». Этого, однако, не произошло – благодаря Гее, то есть самой жизни, которая с самого момента своего возникновения работает над изменением окружающей среды с целью самосохранения. «Тепловое излучение – это работа Геи. Именно она контролирует приток энергии к Земле, чтобы сохранить жизнь». И мы можем помочь ей это сделать, ведь мы – самый интеллектуальный живой вид во Вселенной. Этого интеллекта, однако, уже не хватает, чтобы спасти Землю, и поэтому мы породили новый вид цивилизации, электронный, которому и предстоит унаследовать нашу планету вместе с миссией по ее защите.

Итак, мы «обязаны обеспечить непрерывную эволюцию всей жизни на Земле, чтобы можно было противостоять неуклонно нарастающим опасностям». В ходе антропоцена – эпохи огня – мы смогли научиться извлекать выгоду из потока солнечной энергии, а затем преобразовывать поток фотонов в биты информации. Все это позволило нам напрямую вмешиваться в процессы и устройство нашей планеты. Также антропоцен вызвал колоссальный рост доступной нам информации, и мы «обязаны мудро использовать этот дар, способствуя продолжению эволюции всей жизни на Земле». Наша главная задача теперь – «преобразовать всю материю и излучение в информацию».

Но «наша власть как единственных осмыслителей космоса быстро подходит к концу. Мы не должны этого бояться». Земля взращивает «осмыслителей, существ, которые приведут космос к самопознанию». Этими осмыслителями и станут киборги. «Они спроектируют и построят себя из систем искусственного интеллекта, которые люди уже сконструировали. Они скоро станут в тысячи, а потом и в миллионы раз умнее нас». Киборги будут нашим потомством, которое спервоначала «будут нуждаться в нас и во всем органическом мире, чтобы продолжать регулировать климат, охлаждать Землю и тем самым ограждать нас от жара Солнца». Дальше можно не загадывать, но Лавлоку хочется верить, что «мы не опустимся до войны людей и машин… потому что нуждаемся друг в друге. Гея сохранит мир».

Отправной точкой для размышлений о киборгах Лавлоку служит ИИ AlphaGo, легко обыгравшая лучших людей-игроков в Го благодаря машинному обучению и поиску по дереву решений. В отличие от весьма логичного, а потому очень замедленного, мышления людей и первых машин, ИИ мыслит на сверхскоростях. Реальная разница в скорости мышления между нами уже достигает несколько тысяч раз, а потенциально она достигнет миллиона раз (ибо теоретически предельная скорость электронов, движущихся по проводнику, равна скорости света). Разумный киборг, уверен автор, будет нацелен на постоянное самоусовершенствование, что со временем ускорит его еще больше. Код, который напишут киборги, будет бесконечно более эффективным, чем человеческий. Как AlphaZero, вместо того чтобы повторять ошибки человечества, они начнут все с чистого листа. И первым делом выйдут из-под нашего контроля!

Поначалу киборги будут общаться с нами посредством языка, но затем отбросят и его за ненадобностью. Действительно, много ли мы общаемся с животными, да и нужно ли нам это? Ведь все понятно без слов. Формой общения киборгов друг с другом, скорее всего, будет телепатия, то есть мгновенная передача информации на расстояние. Способностью к общению посредством языка будут обладать лишь немногие киборги, как сегодня лишь единицы из людей владеют латынью или древнегреческим, – ибо огромному большинству из нас это просто не нужно.

Благодаря AlphaZero мы уже вступили в Новацен, и не за горами момент, когда будет изобретено устройство, подобное паровой машине Ньюкомба, триста лет назад открывшей эпоху антропоцена. Решающую роль в этом изобретении сыграют сами компьютеры, а не человек, ведь мы уже давно проектируем и изготавливаем компьютеры при помощи их самих. Итак, возникнет новый тип жизни, способный самосовершенствоваться и самовоспроизводиться. Это будет означать такое же ускорение естественного отбора, какое мир увидел после появления животных (по сравнению с замедленными растениями). По сути, естественный отбор уступит место искусственному, и темп эволюции невиданно возрастет.

В этот момент из рук человеческих ускользнет судьба всего живого. Сколько бы преступлений мы, люди, ни совершили против природы, все они будут искуплены этим нашим величайшим творением: мы создадим нашего наследника и преемника – ИИ, который возьмет в свои виртуальные руки защиту всего живого. Жизнь эпохи новацена будет изменять окружающую среду в своих интересах, но и другая жизнь на Земле благодаря этому тоже сохранится. Главным отличием этой геологической эпохи станет прямое преобразование солнечного света в информацию (как паровая машина Ньюкомба позволила превращать солнечный свет, заключенный в угле, в полезную работу).

Киборги, продолжает Лавлок, будут скорее сотрудничать с людьми, чем враждовать с ними, в целях совместной защиты жизни на Земле путем поддержания оптимального температурного режима на планете. Они будут стремиться сохранить нас, как мы сохраняем жизнь многим животным. Это будет означать, что нам придется согласиться с потерей статуса самого разумного вида планеты. Возможно, мы станем для машин развлечением наподобие цветов и собачек, а может быть, даже источником энергии, как это показано в «Матрице». В любом случае мы выживем, но уже не будем править Землей. Впрочем, на более отдаленную перспективу загадывать глупо – вполне возможно, что со временем киборги примут решение покинуть Землю или изменить условия существования на ней в своих интересах, и эти новые условия окажутся несовместимыми с продолжением существования человека.

«Но как мы не скорбим об исчезновении видов, являвшихся нашими предками, так и киборги, полагаю, не будут убиты горем из-за исчезновения человечества». И чтобы не ускорять этот процесс еще больше, автор предлагает категорически запретить ИИ на военных платформах, ведь это «потенциально самая гибельная из всех когда-либо предлагавшихся идей». Самообучаемый и самоуправляемый тяжеловооруженный дрон, пролетающий над нашими головами, – самый короткий путь к замещению человечества новым неорганическим видом жизни. Стоит ли нам спешить по пути к коллективному самоубийству? Пусть лучше киборги думают о том, как устранить угрозу со стороны Солнца, чем людей, – тогда, глядишь, и нашему устаревающему виду останется местечко на родной планете…

Цивилизация

Джей ФоррестерМировая динамика

М., СПб.: ACT, 2003

Биография Джея Форрестера просто головокружительна! Этот изобретатель, инженер и ученый за свою долгую жизнь успел стать классиком сразу в нескольких отраслях знания. Но самую большую известность ему принесли открытия в сфере «мировой динамики». Запрос на моделирование мира во всей его сложности, выдвинутый в 1968 г. Римским клубом, был принят Форрестером, который в тот момент работал профессором промышленного управления в Массачусетском технологиче ском институте. Он предложил клубу свою компьютерную разработку «Мир-1», ставшую первой в длинном ряду моделей человеческой цивилизации. Именно с «Миром» связаны дальнейшие поиски «пределов роста» и концепция «нулевого роста», серьезно изменившие облик Запада после кризиса 1970-х годов. Именно Форрестер первым предъявил внушающие доверие расчеты, показывающие: дальнейший линейный рост капиталистической экономики уже в ближайшие годы приведет к необратимым и губительным изменениям, и поэтому надо искать другие пути развития человечества.

Такой прорыв стал возможен во многом благодаря тому, что Форрестер многие годы разрабатывал теорию управления компанией (изложенную в книге «Основы кибернетики предприятия»), а затем и городом («Динамика развития города») как сложной динамической системой взаимосвязей. Именно он создал методологию междисциплинарных исследований сложных динамических систем, которую назвал «системной динамикой». Она позволила специалистам, не имеющим специальных знаний в теории управления и теории сложных систем, строить математические модели интересующих их процессов. Расширив системную динамику до анализа экономических, социальных и экологических систем, профессор получил «мировую динамику». Изложив на бумаге, а затем переведя на специальный компьютерный язык DYNAMO принципы их взаимодействия, Форрестер получил компьютерную модель «Мир-1». Ее же появление подтолкнуло к целой лавине исследований в области «глобального моделирования».

«Мир-1» рассматривает нашу планету как систему взаимосвязанных процессов: демографических, промышленных, экологических. Размножаясь, люди потребляют все больше продуктов питания, осваивают все больше природных ресурсов и одновременно все больше загрязняют природу. Расчеты Форрестера показали, что продолжение современных тенденций развития неизбежно ведет к глубокому кризису человеческого общества и природы. Применив точные методы к исследованию мирового развития, ученый сделал вывод: необходимо стабилизировать рост населения, промышленный рост, материальное потребление, добычу природных ресурсов и темпы загрязнения природы. В 1971 г. он изложил эти выводы в книге «Мировая динамика».

Под мировой системой здесь понимается «человек, его социальные системы, технология и естественная окружающая среда. Взаимодействие этих элементов определяет рост, изменения и напряженность». Исходный тезис Форрестера звучит так: «Поведение мировой системы в целом обусловливается взаимодействием ее демографической, индустриальной и сельскохозяйственной подсистем». Только учитывая их взаимодействие и взаимное влияние, можно понять происходящее и предсказать будущее. Это же даст возможность лечить не симптомы социальных болезней, как это часто делается на практике, а сами болезни. «Если мы хотим быть уверены, что наши действия будут приводить скорее к улучшению, чем к ухудшению ситуации, то нам нужно понять связи, посредством которых основные факторы влияют друг на друга в планетарном масштабе».

Этот вывод, главный для кибернетики и теории систем в целом, был ярко подтвержден энергетическим кризисом 1970 г., которым закончилась долгая эпоха послевоенного процветания Запада. Поэтому «явным выражением напряженности в мировой системе являются рост населения, возрастающее загрязнение и различие в уровнях жизни». Точная модель мировой системы, признает автор, никогда не может быть построена, поэтому многие важные перемены в «Мире-1» опущены, различия межу развитыми и развивающимися странами проигнорированы. Прогноз также не учитывает «возможные изменения в человеческих стремлениях и ценностях, которые могут возникнуть вследствие широкого понимания затруднений, встающих перед человечеством» (то есть фактора общественных изменений, вызванных самим фактом обнародования модели и ее прогнозов).

Польза модели, однако, несомненна. Ведь «человек всегда действует на основе моделей, имеющихся в его распоряжении. Мысленные образы – это тоже модели». Все наши действия строятся на базе моделей, вопрос только в выборе между альтернативными моделями. Критикуя модель «Мир-1», мы помогаем ее совершенствовать. Противопоставить же ей можно только другие, более совершенные (точно ли?) модели, а не огульную критику моделей как таковых. Формальные модели лучше невербальных как минимум тем, что в них открыто формулируются и предъявляются посылки и взаимосвязи между ними. Поэтому формальные модели несут большую пользу людям, ведь наш ум «в высшей степени приспособлен к анализу элементарных сил и действий, составляющих систему».