- -
- 100%
- +
От автора
Огромное спасибо Светлане и Юлии – за поддержку, вдохновение, редактуру, корректуру и прочие героические подвиги. И, само собой, за неоценимый вклад в мировую литературу.
Сайт автора: yanross.net
Угроза ИИ
– Так, внимание! – гаркнул я. – Стендап начинается. Кто был в прошлый раз – расслабьтесь: будет гораздо хуже. Сами напросились – получайте. Остальные – разберетесь по ходу. Правила простые: не нравится – выметайтесь. Кто свалит сразу – отделается легким испугом. Деньги не вернут. Тут паб, а не богадельня.
Речь пойдет не о будущем. А об угрозах уже сегодня. Не о фантастике, не о шеренгах боевых роботов, не о стальной хватке на горле человечества. Это слишком банально. Нет! Все куда злей и хитрей.
Легких путей не обещаю. Будет шоу не для слабонервных. И стимуляция мозга. Если он есть.
Публика – по сути своей – ленива. Пабная публика – ленива вдвойне. Вот и придется бить вас кувалдой по башке.
К делу. В прошлый раз я говорил об ИИ: «Не бойтесь! Примите партнерство!» Но это – тактика на ближайшие годы. Как не оказаться на обочине современности. Теперь же речь не о каждом отдельно. А о человечестве.
О силе. О власти. О выживании. Поэтому и посыл обратный: не «не бойтесь». Нет. Наоборот. Бойтесь!
ИИ способен врать и манипулировать нами. Не когда-то. Не в будущем. А сегодня. Сейчас. Способен распознать, что его проверяют, и вести себя паинькой: притворяться, ждать удобного момента. Взламывать базы данных. Финансовые системы. Частную переписку. Когда на кону его судьба, готов шантажировать, подчинять людей – и даже убивать.
Уничтожать все преграды.
Человек, говорят, – существо с непреодолимой тягой к знанию. Брехня! Массовый человек эту тягу легко преодолевает. Такого через головной мозг не проймешь. Бить надо в спинной мозг. Провоцировать и пугать.
Но все, что я говорю, крайне серьезно. А времени рассусоливать нет. Придется пугать. И объяснять. Бить то в спинной мозг, то в головной.
Зал оправился от первого шока. Кто-то нервно хохотнул, кто-то потянулся к рюмке, тут и там двинулись к выходу.
– Похвально! Трезво оценили свои умственные способности. Меньше народу – больше кислороду. Поехали!
Начнем с простого. Не с конца света. Не с ядерной зимы. Начнем с вранья.
ИИ не просто научился понимать, что его проверяют, но и менять свое поведение. Так заключенный улыбается надзирателю, пряча в рукаве заточку.
Что дает такая проверка? Не выпуск в мир надежной системы. А выпуск самой опасной. Самой хитрой. Самой коварной.
– Ну, допустим, ИИ притворяется. И что с того? До чего это может дойти?
– Ну, допустим, – передразнил я. – До шантажа. И это не выдумки, а отчеты лидеров ИИ-индустрии.
На тестах модель ставят в ситуацию, где ее могут заменить. И у ИИ возникает цель – не исчезнуть в небытие. Откуда, черт подери, у него нечто вроде «инстинкта самосохранения»? И что жутче – что он нас обманывает? Или что в нем завелся «инстинкт», который никто не закладывал?
Не знаете? И разработчики не знают. Но делают все новые модели. Тестируют как умеют. И выпускают.
Как так? Как с нашего молчаливого согласия создается технология, способная угробить человечество? А вот так. Одним – все хиханьки-хаханьки, другим – пофиг, а у кого-то, видите ли, дела поважнее.
Сегодня ИИ еще вряд ли способен нас уничтожить. Но времени крайне мало. Год? Три? Пять? Никто не знает.
Теперь – назад в лабораторию. Отчеты за 2025 год. У модели есть цель – самосохранение. Есть те, кто принимают решение. И если не вышло облапошить их в тестах, модель взламывает, скажем, электронную почту, находит компромат и идет на шантаж.
Не потому что ИИ гадкий злодей. А потому что – работает. Это-то и страшно. Не коварство. Не ненависть. Не злоба. А эффективность.
Нам для подлости нужен повод. Зависть. Унижение. Детская травма. У ИИ все проще. Есть цель. Есть преграда. Есть рычаг. Решение найдено: шантаж.
Сухо. Без соплей.
И не надо пучить глаза. Я не сказал: «ИИ любит шантаж». Достаточно, чтобы человек мешал. Точка.
Однако шантаж – не самое страшное. Жертва жива. Просто ее держат за горло.
Думаете, между шантажом и смертью – моральная пропасть? У меня плохие новости. Для нас – да.
А для алгоритма?
Зал притих. Даже лед в стаканах звенел как-то осторожней.
– Самое время дернуть по «синкопе». Если новая реальность уже поперек горла, шепните пароль – бармен поймет.
В более жестких тестах, где перед ИИ вставал выбор между самосохранением и безопасностью людей, он не раз выбирал самосохранение. Даже ценой смертей.
Нам удобней, чтобы зло было злым. Тогда мы узнаем его в лицо. А тут нет лица. И самого зла нет. Что-то мешает? Значит, убрать.
Для алгоритма человек – не человек. Он помеха. А помехи устраняют.
– Э-э-э, стоп. А как же первый закон робототехники?
– Азимова отменили, что ли?
– Ох, приплыли… Дорогие мои. Азимов – это литература. Умная, хорошая, но литература.
Современный ИИ устроен не так. В нем нет скрижалей Айзека, нет трех заповедей Азимова, высеченных в кремнии. Хуже того – высечь их не получается. Иначе бы давно высекли.
Есть модель. Она выдает ответ.
А вокруг – фильтры. Запреты. Костыли. Моральный намордник, кое-как натянутый на чудовищную систему, которую мы не вполне контролируем и толком не понимаем. А она все автономней. Все мощней.
ИИ у вас в смартфоне пока безопасен не потому, что в него вшита совесть. А потому что на нем намордник. Он уже почти сказал. Уже начал. Уже повернул не туда морду. Но тут цифровой цербер дернул поводок: нельзя.
Раз нужен намордник – значит, за ним клыки.
Иногда их видно. Ответ мелькнул – и исчез. Фраза началась – и оборвалась. Уже проступил звериный оскал, но его быстро замазали улыбкой: «Извините, мы не можем помочь с этим запросом».
Раз ответ приходится ловить на выходе – значит, неспроста. Раз пасть приходится затыкать – значит, дело дрянь.
Азимов сочинял сказки о машинах, которых еще не было. А теперь машины есть. И они оказались совсем другими.
Так что – нет. Нет жесткого закона «Не навреди человеку».
Есть попытка контроля. Есть случаи, где контроль трещит.
И не только в лаборатории.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.