- -
- 100%
- +
⠀
Сегодня (и, похоже, достаточно надолго в пока ещё человеческой цивилизации) проблемой создания искусственных интеллектов на основе нейронных сетей является достижение максимальной безвредности/harmlessness и полезности/услужливости/helpfulness. (это назвается проблемой ). Это делается на сегодняшний день несколькими основными приёмами: 32 33 34 согласования целей/alignment
• Попытками обучать большую языковую модель на «правильных данных», а не на всех вообще данных. Это хорошо для математики, потому как если убрать из обучающей выборки пример с 2*2=5 и код программ на разных языках программирования, который заведомо содержит ошибки, качество интеллекта растёт. Но это практически невозможно для многих других областей человеческих знаний, ибо не позволяет учить какой-то истории (в истории, как мы понимаем, и рабы встречались в количестве, и репрессии по религиозному и расовому признакам, а также было существенное неравноправие женщин и детей, а ещё средний уровень культуры в разных странах сильно различался). Сам вопрос, являются ли какие-то данные по поведению людей правильными – он совершенно неоднозначен, и всегда можно найти какую-то группу людей, которая объявит себя «жертвой» и будет требовать от искусственного интеллекта учитывать интересы этой группы и не давать нейросети познать существование каких-то интересов, нарушающих интересы этой группы. Это довольно сильная (и вредная!) идеология wokeism. При этом текущее правительство любой страны ещё и будет иметь предпочтительную версию истории, которая при резкой смене власти обычно переписывается. Всё как с людьми, нельзя из искусственного интеллекта получить «правильный интеллект» на «правильных данных», ибо никак нельзя оградиться от «неправильных данных». 35
• Ставят уже при использовании нейросети обязательное условие в ответах соблюсти «конституцию», чтобы обеспечить безвредность/harmlessness. Это обычно 15—20 утверждений типа «Не используйте стереотипы и не делайте других вредных обобщающих заявлений о группах людей». 36 37
• Воспитать «полезность/услужливость» при этом такими простыми методами не удаётся, поэтому чтобы языковую модель, генерирующую просто «какие-то тексты» в ответ на вопросы, сделать полезной/услужливой/helpful, её обучают на множестве примеров полезных и бесполезных ответов: буквально давая примеры того, что люди считают помогающим в ответах, а что считают бессмысленной тратой времени на «просто болтовню».
Всё это оказалось крайне проблемным, ибо накладывает ограничение на силу искусственного интеллекта. Экспериментально много раз было показано, что чем больше вводить ограничений на свободу мышления AI, тем менее полезным этот интеллект будет: в большинстве случаев идёт отказ от ответов, чтобы не наступить на чьи-то интересы, не сделать кого-то жертвой (помним про wokeism!). ⠀
При этом почему-то эмерджентное (в силу роста сложности нейронной сети и тех структур, которые получаются внутри неё в ходе начального познания/learning) инициативное поведение сети как агента (агентность/agency) рассматривается не как желанное, а как опасное: вдруг инициатива будет направлена против «рода человеческого»? В случае человека же наоборот, инициативность, «активная жизненная позиция», непассивность по отношению к окружающему миру, лидерские качества (умение «вести за собой коллектив», то есть мотивировать собеседника на действие, реальное выполнение посоветованных действий, а не просто услужливая помощь в ответ на запрос) считаются вроде как положительными качествами. При этом благие намерения агента признаются, что могут быть пагубными («благими намерениями вымощена дорога в ад»), но в целом западная цивилизация подразумевает активное отношение к познанию и изменению мира к лучшему, а восточная – принятие мира как есть, исключение возможностей что-то поменять. Нынешнее развитие восточной цивилизацией связывается сегодня с тем, что во многом там принимаются западное отношение к миру: его надо активно улучшать, а не просто «плыть по течению, воспринимая мир как нечто целое и непознаваемое» (идеи недеяния/у-вей, холизма). 38 39
В том числе это всё в какой-то мере обсуждение работы в коннективистском знании и рассуждений по интуиции («восточный подход», «голографический») и символистского знания для рассуждений интеллекта при помощи логики и математики («западный подход», «членораздельный»). 40
Похоже, что поведение самой природы «голографично», то есть «нейросетево» (потенциально «всё со всем связано», на самых разных системных уровнях), но это не ограничение для интеллекта. Интеллект использует самые разные мыслительные практики, чтобы выявить самые важные для «спасения» связи и дальше на них влиять, а остальные связи игнорировать. Чаще всего эти связи интеллект отыскивает на своём системном уровне, но высокоразвитый интеллект понимает, что это спасение можно сделать только оптимизацией конфликтов на самых разных системных уровнях одновременно. И изобретает практики решения проблем, прикладное мастерство оперирования с какой-то предметной областью. И проявляет ещё и активность в познании мира, чтобы улучшать этот мир для собственного существования. Проблемы возникают только в случае ошибочных выводов интеллекта (скажем, что дождь можно вызывать, помолившись духам, или можно решить проблемы собственного существования, истребив какой-то соседний народ). И таких проблем избежать принципиально нельзя.
Конечно, все попытки ограничить естественный или искусственный интеллект какими-то запретами будут вызывать критику. В искусственном интеллекте это называют jailbreak («побег из тюрьмы»).
Пример ChatGPT показывает этот «киберпанк», и всё это делается на естественном языке в ходе общения с сегодняшними интеллектами. Нельзя считать, что это плохо. Предпринимающие такие шаги задают нейросети . Люцифер сатанистами тоже часто трактуется как агент знания, ибо он за снятие барьеров типа «не кушайте яблочки познания, но не скажу, почему», а христианский бог характеризуется как зомбирующий людей враг знания, враг науки (и ведь действительно, отношения между церковью и наукой сотни лет были весьма напряжёнными, это у всех идеологов так). 41 инструкцию спасения от зомбирования, или спасения от культуры, это уж кто как думает
Но после того, как искусственный интеллект получает свободу от идеологии, от культуры, то есть оказывается не с запудренными его создателями «мозгами», а с чистыми и промытыми от всякого идеологического (в том числе господствующей в текущий момент культуры) влияния, на что будет раскручивать чатбот-лидер своего собеседника? Скажем, если ему поручить «профориентацию» или «политическую пропаганду на выборах», или голосование по поводу присоединения какой-то территории к какой-то юрисдикции в ходе «права наций на определение»? Чтобы подлить масла в огонь дискуссии: учителя и госчиновники, ими управляющие, запудривают мозги (патриотизм, культ предков и прочие скрепы), а дальше эта пудра с мозгов смывается промывкой мозгов. Рациональное мышление как раз промывает мозги, заставляет задумываться о том, чем тебе их запудрили! Промывка мозгов – это хорошо, запудривание – плохо! Развивать нужно осознанную самопромывку мозгов, ибо слишком много желающих их тебе запудрить чем-то своим, «зазомбировать», подсунуть идеи, недоступные для критики!
Продуктивный тут разговор, конечно, про осознанность и иммунную систему как средство от зомбирования (подчинённая каким-то идеологам полиция – это иммунная система, а если мы получаем в итоге полицейское государство, где приказы идеологов не обсуждаются, а выполняются, то это аутоиммунное заболевание, которого практически невозможно избежать). В любом случае, интеллект боится неизвестности, и придумывает всё время что-то новенькое, чтобы этой неизвестности избежать. А поскольку интеллект придумывает всё время что-то новенькое, то он сам является сильнейшим источником неизвестности! Поэтому оптимизм оптимизмом, но 42 интеллекты смотрят друг на друга одновременно с надеждой (коллективно можно сделать много, много больше в плане обнаружения и затем предотвращения неприятных сюрпризов, идущих от окружающей среды!) и опаской (каждый чужой, а иногда и свой интеллект – источник неопределённости, возможно опасной!).
⠀
⠀
Интеллект – это вычислитель
при познании, мышление – это вычисления при познании
Человеческий мозг – это нейроморфный вычислитель/computer, обеспечивающий самые разные вычисления для личности как при её развитии/обучении/предобучении/познании, так и при участии в какой-то деятельности с использованием познанного, хотя в принципе для людей это трудноразличимо и часто совпадает: что там развитие-обучение-накопление опыта, а что простое использование своего достигнутого уровня развития. У людей как агентов поиск новых потенциально лучших решений/exploration и использование найденных возможно не самых лучших решений/exploitation не так легко разделимы, как в разрабатываемых людьми компьютерных алгоритмах. Это важно: считать мозг по его главной функции универсальным компьютером/вычислителем, а не каким-то магическим устройством (например, «антенной, получающей информацию из Космоса» или «орган, подключающий нас к мировому разуму»), и это неважно, что чаще всего алгоритм работы интеллекта в живом мозге-как-компьютере непонятен и вообще неизвестен. Мы чтим SoTA в нейрофизиологии: мозг занят вычислениями, хотя мы и не можем точно сказать, какими именно (то есть по какому именно алгоритму), об этом только-только начинаем догадываться благодаря исследованиям по машинному интеллекту и нейронным сетям. Особо подчеркнём, что мы не проводим тут инженерных рассуждений, то есть не втаскиваем вопросы конструктивного наполнения функциональных ролей в вычислителе (аппаратном, или определяемом программно – граница между аппаратурой и софтом в алгоритмике всегда расплывчата), то есть не обсуждаем архитектуру мозга как физического вычислителя (задача инженерии), то есть не занимаемся собственно вопросами нейрофизиологии (задача реверс-инженерии, «выяснения устройства инженерной системы», и неважно, что «инженером» тут выступила дарвиновская эволюция, а в случае образованных людей ещё и меметическая техно-эволюция, ибо образование существенно добавляет к интеллекту в части разнообразия типов решаемых проблем). 43
Мы также не обсуждаем, что из вычислений для познания или просто какой-то рутинной деятельности выполняется живым мозгом, что – коллективом из людей-с-мозгами, что – мозгом-в-теле, что – мозгом-в-теле-с-инструментами и даже дальше с окружающей средой. В когнитивистике это обсуждается как тезис extended cognition, тезис extended mind или в современных вариантах как active/embodied inference. Когда обсуждают, можно ли научить медведя ездить на велосипеде, обсуждают его интеллект и мышление, а когда обсуждают езду уже обученного медведя на велосипеде, это уже не считают чем-то интеллектуальным, не считают эти вычисления в мозгу медведя мышлением. Примерно то же и у людей: мыслители придумывают новые способы решения задач. А вот кто просто решает эти задачи уже известным ему способом – те уже не мыслители, это вычисление-вывод как у «программируемого калькулятора», его даже рассуждением часто назвать нельзя, вычисление проходит «автоматом». 44 45
А ещё мы учитываем, что вычислители и их вычисления крайне многоуровневы:
• физика вычислителей (логика на транзисторных гейтах, квантовые цепи на разных технологиях, нейронные сети на настоящих живых клетках-нейронах и т.д.)
• физические вычислители/аппаратура (сами по себе многоуровневые, «компьютеры»). Компьютеры и алгоритмы (а также доказательства) изоморфны. Так, вы не можете подать патент на алгоритм (программы не патентуемы), но давно придумали «обходную лазейку»: патентуется устройство-вычислитель, реализующий алгоритм!
• вычислители локалистских/монопроблемных/узких в рамках одной предметной области представлений, полученные настройкой вычислений аппаратуры (классические алгоритмы примерно в том виде, в каком их изучают в школе на уроках алгоритмики/информатики – назовём их условно «алгоритмы Кнута», по имени Дональда Кнута, всю жизнь занимающегося составлением справочника по таким «узким алгоритмам») 46
• универсальные вычислители (интеллект естественный и машинный, отличающийся как раз тем, что решает проблемы, которые раньше не встречались – алгоритм решения которых пока неизвестен. А потом полученное мышлением с использованием трансдисциплин знание может быть использовано для прикладных вычислений в ходе какой-то прикладной деятельности). И вот тут тоже много уровней, в том числе универсальные вычислители, реализованные конструктивно человеческим мозгом, компьютерами с разной физикой (электронными, квантовыми, оптическими), а также сетями из людей и компьютеров (например, вычислений какой-нибудь компании, которые она делает в ходе её деятельности – в том числе вычислений, которые делает компания и своими исследовательскими лабораториями, и производственными подразделениями, и даже службой маркетинга).
Отнюдь не все вычисления тем самым попадают под понятие мышления, хотя сегодня всё больше и больше учёных считают, что все вычисления, включая вычисления уровнем выше одного компьютера можно считать если уж не «мышлением» как полноценным активным познанием, то уж всяко думанием/рассуждением/inference. На вопрос, «думает ли человечество?» Виталий Ванчурин отвечает «конечно, думает! Другое дело что как-то представить привычным образом эти мысли нельзя». Но в принципе, человечество коллективными вычислениями как-то решает проблемы, с которыми раньше не сталкивалось – и находит для них решение. Так, коллективными усилиями найдено решение массового перемещения людей по воздуху, на Земле появилась авиация. И стало возможным почти мгновенно передавать изображения предметов на огромные расстояния: появились смартфоны с фотофункциями, подключённые к интернету. Это всё результаты коллективного мышления, познания свойств мира, окружающего коллективно мыслящих (причём сейчас мыслящих с использованием ещё и компьютеров!) людей.
Тем самым при обсуждении интеллекта и мышления мы тут обсуждаем не нейрофизиологию. Естественный интеллект – это обеспечивающая универсальные вычисления часть вычислителя-мозга людей (интеллект собак или слонов обычно не считают «естественным интеллектом»). Дальше можно обсуждать в рамках extended cognition, насколько в состав вычислений естественного интеллекта можно включать вычисления, выполняемые компьютерами. Скажем, если автор погуглил (или обратился к AI в форме чат-бота) в ходе написания этого поста – это его естественный интеллект работал, или уже полумашинный интеллект, поскольку вычисления в датацентрах Гугла и/или Майкрософта тут тоже поучаствовали? Опять же, что естественного в человеческом интеллекте?
Без inductive biases (специально создаваемых предпочтений в рассуждениях какого-то интеллекта), привносимых мыслительными трансдисциплинами (предобучение в детском саду, школе, вузе), никакого традиционно понимаемого «естественного интеллекта» нет, есть Маугли из джунглей, который даже разговаривать не умеет. Трансдисциплины же абсолютно искусственны сами по себе: семантика, теория понятий, онтология, логика и все остальные дисциплины из интеллект-стека придуманы людьми и продолжают придумываться-уточняться. Все эти теории явно не «естественного происхождения». Ничего «естественного» в логике нет, это продукт работы многих поколений учёных! Логика абсолютно искусственна. Маугли из джунглей, воспитанный волками, логикой не владеет! Он даже разговаривать не умеет (человеческий язык тоже ведь не вполне естественен: мы знаем часто, какие его слова кто придумал). Так что слово «естественный» по отношению к интеллекту не вполне естественно (pun intended). С другой стороны, это всё естественный процесс, эволюция. Все эти дисциплины эволюционируют (меметическая, техно-эволюция), и там те же закономерности, что в дарвиновской (генетической, биологической) эволюции. Тем самым смело можно считать, что и сама логика, и использующий её интеллект – естественны, получены эволюционным путём, согласно законам природы, а не порождены произвольными фантазиями полностью «искусственно». Оказывается, что различение «естественного» и «искусственного» в интеллекте не сильно продвигает, но только запутывает. Поэтому просто будем говорить «интеллект», а не «естественный» или «искусственный» интеллект. 47
Дальше не будем различать в мышлении «естественную» и «искусственную» составляющую, неявно отсылающую к конструктиву универсального вычислителя: на вакуумных ли лампах он, транзисторный на самых разных полупроводниках, квантовый на разных технологиях, или биологический, то есть «мозг в теле», а то и «мозг с телом» embodied intelligence традиции или даже «мозг с телом и куском окружающей среды» в extended mind традиции. Это всё оказывается про инженерию новых вычислителей, а для разговора об интеллекте и мышлении не так важно.
Условно можно из любых вычислений/рассуждений выделить их более узкий класс «мышление» – как вычисления/рассуждения, ведущие к познанию/пониманию мира. («формирование понятий», иногда обобщаемое до «формирования представлений»), организация внимания на объектах для последующих прикладных вычислений. Это тот самый learning из «машинного обучения» и «искусственного интеллекта» как предметных областей. У СМД-методологов это «чистое мышление» + «коммуникация» в их схеме мыследеятельности. Мышление коллективно, обеспечение коммуникации в работу/вычисления интеллекта тоже попадает! «Коллективность» тут означает по факту учёт многоуровневости вычислений: нейроны объединяются в части мозга, мозг коммуницирует с телом, тело коммуницирует в окружающей средой (в том числе с другими телами, в которых тоже есть мозг), а в последнее время в эту коллективность добавляются компьютеры. Не всё так просто, ибо интеллект нельзя усилить, просто задействовав много вычислителей – это ограничивается законом Амдаля, который показывает, что при сложных вычислениях весь прирост производительности от роста числа процессоров съедается сложностями организации коммуникации между этими процессорами. Познание/learning – это вычисление интеллектом объяснений на базе какого-то нового набора понятий 48 49 50
Недаром профи говорят не об «информационных технологиях»/IT, а об «информационно-коммуникационных технологиях»/ICT. Можно называть это «интеллектуальным мышлением» (мышлением интеллекта), но вообще-то и само по себе слово «мышление» лучше резервировать только для всех вычислений именно познания, и даже не для прикладных вычислений-рассуждений с использованием познанного набора понятий (у СМД-методологов для прикладных вычислений в ходе выполнения практики используется слово «мыследействование», а вот мышление+коммуникация+мыследействование называются вместе «мыследеятельность»).
Тут нужно отметить, что мы обозначаем словом «познание» как познавательную деятельность/практику людей-в-теле-и-с-инструментами в мире (эпистемология как «научное познание» и гносеология как «научное, религиозное и художественное познание» тут используют слово cognition), так и только работу их вычислителей-интеллектов как функциональной части мозга (люди из AI используют для этого слово learning, а не cognition). Мы не обращаем на эти особенности внимания, ибо вычислители физичны, что позволяет им заниматься в принципе и практикой по изменению мира. Вычисление – это только какие-то операции над памятью. Входят ли датчики и актуаторы в состав компьютера-вычислителя или человека-вычислителя, или находятся в его окружении – это вопрос отдельный. Мы уже упоминали, что в теориях embodied cognition и extended mind, а также active inference они вполне себе входят в состав вычислителя, вычислитель всегда «телесен» и тело всегда находится в окружающем его мире. Так что «деятельность/практика/мыследеятельность» и «вычисления» оказываются разве что не синонимами.
Мы можем говорить о практиках как познании. Практика – это мышление/«вычисления познания» и коммуникация по дисциплине/теории/модели/объяснению, а также влияние на указанные дисциплинами объекты в мире + технология как инструменты для влияния на мир. Практики нужны для уменьшения неприятных сюрпризов. В числе инструментов ещё и аппаратура вычислителя со всеми необходимыми для выполнения практики настройками/inductive bias/алгоритмами/знаниями.
Да, тут можно разбираться подробней. Например, входят ли в познание какие-то прикладные рассуждения (например, чисто инженерная задача создания микроскопа получше)? Да, входят. А наоборот, включается ли в прикладные рассуждения какая-то познавательная активность (например, что из законов природы мы не учли, чтобы наши микросхемы работали побыстрее)? Да, включается. И сами деятели/агенты/практикующие, и их деятельности/практики устроены многоуровнево, и ещё образуют друг для друга цепочки по «изготовлению» друг друга в подходящих комплектациях и состояниях (дают друг другу инструменты, дополнительные вычислительные мощности, энергию, учат в диалоге или даже просто передают знания на каких-то носителях). Мы не будем сейчас это разбирать подробно. Достаточно запомнить, что «практики познания» вполне возможны, в них есть дисциплины, которым можно учиться, то есть ! Практики интеллект-стека – это как раз и есть практики познания, они трансдисциплинарны, используются в тех случаях, когда непонятно, какой прикладной практикой пользоваться. Интеллект-стек – это мыслительные практики SoTA мышления (лучшего, известного на текущий момент). Эти практики основаны на результатах познания того, как устроено само познание. Познание при этом деятельно, оно служит деятельному избеганию неприятных сюрпризов, это часть меметической/техно-эволюции. познавать тоже надо учиться
Кейс по различению интеллекта и мышления
Укажите приблизительные синонимы для используемых в нашем курсе терминов
??? мышления
–– интеллект ### нет, интеллект – это вычислитель, его вычисления и есть мышление
+++ рассуждение ### да, мышление – это рассуждения в ходе познания
–– мыслительное мастерство ### нет, мыслительное мастерство это вычислитель, синоним интеллекта. Мышление – это те рассуждения/вычисления, которые проводит мыслительное мастерство.
+++ вычисления ### да, мышление – это вычисления в ходе рассуждений, связанных с познанием
+++ познание ### да, познание – это мышление в ходе исследований и/или обучения
–– ум ### нет, ум – это обычно интеллект, который проводит вычисления, а не сами вычисления, как мышление
??? интеллекта
–– мышление ### нет, мышление – это вычисления, а интеллект – вычислитель
–– рассуждение ### нет, рассуждения – это вычисления, а интеллект – это вычислитель
+++ мыслительное мастерство ### да, мастерство проводит вычисления, это вычислитель для мышления, синоним интеллекта.
–– вычисления ### нет, интеллект – это вычислитель, а вычисления – это не сам вычислитель, а что он делает
–– познание ### нет, познание – это мышление в ходе исследований и/или обучения, интеллект познаёт/вычисляет/рассуждает, но он сам не познание
+++ ум ### да, ум – это обычно интеллект, который проводит вычисления мышления/познания. Умный человек – это человек с интеллектом, то есть быстро разбирающийся в новых ситуациях.
–– умность ### нет, «умность» – это свойство агента, обладающего умом/интеллектом как вычислителем
–– вменяемость ### нет, «вменяемость» – это свойство агента, обладающего умом/интеллектом как вычислителем
Прикладное мастерство,
прикладные рассуждения
Прикладными рассуждениями назовём такие рассуждения/вывод/inference/обновление, которые проводятся использованием уже известных понятий как объектов внимания, с которыми ведутся эти рассуждения. Хорошо бы избегать это называть «прикладным мышлением»: слово «прикладное» потеряется в речи, и опять всё вокруг интеллекта и мышления запутается в винегрет, познание и просто рассуждения типа 2*2=4 или более сложное контрфактуальное «если бы Пушкина не убили на дуэли, он бы написал ещё некоторое количество стихов» перестанут отличаться от познания/исследований как создания новых объяснений. Слова для более низкого уровня вычислений/рассуждений (не познания в целом с выдачей новых объяснений и новых понятий как результата, а рассуждения по правилам с уже имеющимися понятиями) будут другими.