Думайте лучше искусственного интеллекта. Управляйте мышлением, а не знаниями
- -
- 100%
- +
Сумма компенсации по этому делу невелика, но оно прекрасно иллюстрирует ситуацию, когда все три стороны «не знают, чего они не знают»:
ИИ не знает, чего он не знает. У чат-бота нет никаких встроенных механизмов, позволяющих ему оценить точность выдаваемой им информации о правилах. Он не колеблется, не помещает пометку «Эта информация не проверена» и не предлагает в случае неопределённости обратиться к оператору службы поддержки для подтверждения. Он с полной уверенностью выдал совершенно неверную информацию.
Пассажир не знал, чего он не знает. У Моффатта были все основания доверять этому ответу — он появился на официальном сайте авиакомпании, был сформулирован профессионально и логически последовательно. У него не было причин подозревать, что крупная авиакомпания разместит в своей системе обслуживания клиентов ненадежный источник информации. Он не знал, что общается с языковой моделью, не способной проверять факты.
Авиакомпания не знала, чего она не знает. «Эйр Канада» внедрила этот чат-бот, но, по-видимому, не создала никаких механизмов для контроля соответствия его ответов фактической политике компании. Только после получения решения арбитражного суда они обнаружили, что их ИИ все это время «обещал» клиентам несуществующие правила.
У провалов всех трех сторон есть одна общая причина: никто — и ни одна система — не проверил информацию на уровне «действительно ли мы знаем, что эта информация верна». Именно об этом ключевом умении и пойдет речь в данной главе: осознание когнитивных границ — понимание того, что мы знаем, чего не знаем, а также, что еще опаснее, осознание того, о каких «незнаниях» мы даже не подозреваем.
Реальные последствия: дело Air Canada — не единичный случай. В 2023 году нью-йоркский адвокат Стивен Шварц (Steven Schwartz) представил в деле Mata v. Avianca Inc. шесть вымышленных судебных прецедентов, сфабрикованных ChatGPT, за что был подвергнут санкциям федеральным судьей — он также никогда не проверял достоверность результатов, выдаваемых ИИ. В сфере медицины в многочисленных отчетах фиксировались случаи, когда системы ИИ, отвечающие на вопросы, давали по поводу редких заболеваний рекомендации по лечению, которые выглядели профессионально, но были полностью ошибочными. От залов судебных заседаний до служб поддержки и врачебных кабинетов — схема удивительно одинакова: ИИ не осознает, что выдумывает, люди не осознают, что их вводят в заблуждение, а организации, внедряющие ИИ, не осознают, что у них отсутствует надзор.
3.2 Основная теза: опасность «незнания о собственном незнании»
Флавелл (Flavell, 1979) в своей работе, заложившей основу концепции метапознания (metacognition), отмечает: когнитивный мониторинг (cognitive monitoring), то есть осознание и оценка собственных когнитивных процессов и состояний, является ключевой способностью, отличающей человека от многих систем обработки информации. Самый опасный когнитивный пробел заключается в том, что вы не знаете, чего вы не знаете.
Галлюцинации ИИ, то есть генерация казалось бы разумного, но полностью вымышленного контента, по сути являются машинной версией того же самого провала. ИИ не знает, чего он не знает. Он будет уверенно придумывать цитаты, фабриковать данные и выдумывать события, не имея под собой реальных знаний. Это происходит из-за отсутствия у него осознания границ собственных знаний.
Если человек развит мощную метакогнитивную калибровку (metacognitive calibration), то есть способность соотносить уровень своей уверенности с фактической точностью, он сможет улавливать ошибки, упускаемые ИИ и людьми, чрезмерно полагающимися на ИИ. Ключевой способностью является более острое, чем у ИИ, осознание того, что «на самом деле я этого не знаю», а объем знаний при этом имеет второстепенное значение.
Рис. 3-1: Четыре уровня когнитивных границ
3.3 Доказательства и мыслительные эксперименты
3.3.1 Иллюзии ИИ: окно для наблюдения за отсутствием метапознания
Иллюзии ИИ предоставляют нам уникальную возможность понять последствия «отсутствия метапознания». В период с 2023 по 2025 год множество пользователей сообщали о случаях, когда модели большого языкового объёма (LLM) придумывали ссылки, выдумывали научные статьи и фальсифицировали статистические данные. Например, более половины ссылок на судебные прецеденты, сгенерированных одним из инструментов для юридических исследований, не существовало в базе данных; юристы обнаружили это только тогда, когда сослались на них в суде, и выяснилось, что в судебных протоколах этих дел вообще не было. Одна из систем ответов на медицинские вопросы давала по поводу редких заболеваний рекомендации по приему лекарств, которые казались профессиональными, но на самом деле были полностью ошибочными, что едва не привело к задержке лечения пациента. Еще один ученый обнаружил, что в обзоре литературы, написанном для него ИИ, названия, авторы и журналы многих «ключевых ссылок» были полностью вымышленными, хотя читались как настоящие.
Ещё более тревожно то, что эти «галлюцинации» часто появляются именно в самых «бегло» сформулированных ответах ИИ. Столкнувшись с неопределённым вопросом, он ни за что не признает: «Я не знаю». Вы всегда получаете ответ, который выглядит полным, связным и подкреплённым ссылками. Разрыв между беглостью изложения и точностью — типичный симптом отсутствия метапознания.
У этих систем есть одна общая черта: они не «знают», что они не знают. У них отсутствует внутренний механизм метакогнитивного мониторинга (metacognitive monitoring) для оценки надежности вывода. Они выдают правильные ответы и полную чепуху с одинаковой уверенностью, и для человеческого пользователя на первый взгляд их невозможно отличить.
Если человек утратит способность калибровать собственную уверенность, то, полагаясь на ИИ, он будет повторять одни и те же ошибки: принимать уверенность ИИ за свою собственную и считать границы ИИ границами знания.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.