Как мыслит искусственный интеллект и почему ошибается

А что происходит у ИИ?

Для современного языкового ИИ слово «яблоко» не связано с личным опытом.

Он не держал яблоко в руках.

Не чувствовал его запах.

Не пробовал его на вкус.

Не видел, как оно падает с дерева.

Его представление строится иначе.

Во время обучения модель многократно встречала слово «яблоко» рядом с другими словами:

дерево;

фрукт;

красный;

зеленый;

сад;

вкус;

сок;

пирог.

Постепенно она научилась учитывать такие закономерности и использовать их при создании ответов.

Важно не представлять это как набор карточек или словарь в человеческом смысле. Это результат обучения на огромном количестве примеров, а не хранение отдельных определений.

Человек постоянно проверяет мир

Представьте ситуацию.

Вы смотрите в окно.

Кажется, идет дождь.

Вы открываете окно.

Нет.

Это поливальная машина.

Вы сразу меняете свое мнение.

Ваш мозг непрерывно сверяет предположения с окружающим миром.

Современная языковая модель во время генерации ответа обычно не наблюдает мир напрямую.

Она работает с тем текстом, который получила в запросе, и с теми закономерностями языка, которым научилась ранее. Поэтому она может ошибаться в фактах или уверенно продолжать неверное предположение, если не получает новой информации.

Наш мозг экономит силы

Интересно, что между человеком и ИИ все же есть кое-что общее.

Ни человек, ни модель не анализируют каждый новый текст «с нуля».

Когда вы слышите начало фразы:

«Жили-были…»

Вы почти мгновенно ожидаете сказку.

Когда друг говорит:

«Ты не поверишь, что произошло сегодня…»

Вы готовитесь услышать необычную историю.

Мозг постоянно строит ожидания.

Языковые модели тоже используют закономерности, чтобы предсказывать наиболее вероятное продолжение текста.

Однако сходство заканчивается именно здесь.

Для человека такие ожидания связаны с опытом жизни.

Для модели — с закономерностями в данных обучения.

Почему ИИ иногда кажется живым

Есть простой эксперимент.

Представьте, что вам приходит сообщение:

«Мне сегодня грустно.»

Если это написал ваш друг, вы представляете его настроение.

Если то же самое написал ИИ, многие люди все равно начинают воспринимать сообщение как выражение настоящего чувства.

Почему?

Потому что наш мозг устроен так, чтобы видеть личность за словами.

Это качество помогает людям понимать друг друга.

Но оно же заставляет нас иногда приписывать человеческие свойства системам, которые их не имеют.

Психологи называют такую склонность антропоморфизмом — стремлением объяснять поведение нечеловеческих объектов через человеческие качества.

Что умеет человек, но пока не умеет ИИ

Человек способен:

проживать события;

чувствовать боль и радость;

формировать долговременные личные воспоминания;

самостоятельно ставить цели;

менять свои убеждения под влиянием жизненного опыта.

Современная языковая модель не обладает такими свойствами только потому, что умеет вести убедительный диалог. Она не имеет субъективного опыта, эмоций или сознания в человеческом смысле.

Тогда почему ИИ настолько полезен?

Потому что человеческий интеллект — это не одна способность.

Это целый набор разных навыков.

Некоторые из них современные модели освоили очень хорошо:

работать с текстами;

замечать языковые закономерности;

объяснять;

обобщать;

переводить;

помогать структурировать информацию.

Другие способности остаются принципиально человеческими или пока не реализованы в современных языковых моделях.

Главная мысль этой главы

Самая большая ошибка — пытаться понять ИИ, представляя внутри компьютера маленького человека.

Его там нет.

Есть совершенно иной способ обработки информации.

Именно поэтому искусственный интеллект одновременно способен поражать нас своими ответами и допускать ошибки, которые человеку кажутся невероятно странными.

Глава 5. Что значит «обучение» для ИИ

Когда человек слышит слово «обучение», он обычно представляет знакомую картину.

Ребенок идет в школу.

Студент читает книги.

Музыкант годами тренируется.

Художник делает тысячи набросков.

Человек учится через опыт.

Но когда мы говорим:

«Искусственный интеллект обучается»

— мы используем то же слово для совершенно другого процесса.

ИИ не сидит за партой.

Он не понимает объяснения учителя.

Он не запоминает уроки так, как человек.

Тогда что же происходит?

Обучение человека и обучение машины

Представьте ребенка, который впервые видит собаку.

Мама говорит:

— Это собака.

Ребенок смотрит.

Он видит четыре лапы.

Шерсть.

Хвост.

Слышит лай.

Потом встречает другую собаку.

Другую породу.

Другой размер.

Через некоторое время ребенок формирует понятие:

«Собака — это не конкретное животное, а целый класс объектов».

Он не просто запоминает картинку.

Он создает внутреннюю модель мира.

Теперь представьте искусственный интеллект.

Ему показывают миллионы примеров:

Фотографии собак.

Описания собак.

Тексты о собаках.

Разные контексты, где встречается слово «собака».

Но модель не формирует человеческое понятие.

У нее нет внутреннего образа животного, которое можно погладить.

Она выявляет закономерности:

какие элементы часто встречаются вместе;

какие слова связаны между собой;

какие структуры повторяются.

Учитель для ИИ выглядит иначе

У человека есть учитель.

Он может сказать:

— Ты ошибся.

— Попробуй иначе.

— Обрати внимание на это.

У модели обучения другой принцип.

Ей дают большое количество примеров.

Она пытается выполнить задачу.

Потом получает сигнал:

ответ был ближе к правильному или дальше от него.

И постепенно внутренние параметры модели изменяются.

Это похоже на настройку огромного музыкального инструмента.

Представьте пианино

Перед вами пианино.

Оно настроено неправильно.

Некоторые ноты звучат слишком высоко.

Другие слишком низко.

Музыкант играет.

Слушает.

Настраивает.

Снова играет.

Постепенно инструмент начинает звучать гармонично.

Обучение нейросети похоже на такую настройку.

Только вместо нескольких струн — огромное количество внутренних связей.

ИИ не учится как ребенок

Это очень важный момент.

Когда ребенок узнает слово «мама», за ним стоит огромный опыт:

голос;

лицо;

забота;

эмоции;

отношения;

память.

Для ребенка слово становится частью жизни.

Когда модель встречает слово «мама», она изучает его связи с другими словами и контекстами.

Она может прекрасно написать:

«Мама — самый близкий человек для многих людей»

Но у нее нет собственной матери.

Нет детства.

Нет воспоминаний.

Нет личной истории.

Почему тогда ИИ знает так много?

Потому что количество примеров имеет огромное значение.

Человек за всю жизнь прочитает тысячи книг.

Современные модели обучаются на объемах текстов, которые невозможно прочитать одному человеку за множество жизней.

Это дает им удивительную способность:

находить связи;

продолжать тексты;

создавать объяснения;

видеть повторяющиеся структуры.

Но количество информации не равно пониманию.

Библиотека без читателя

Представьте гигантскую библиотеку.

В ней собраны все книги мира.

Но внутри нет ни одного читателя.

Нет человека, который бы переживал истории.

Нет того, кто бы задавался вопросами:

— Почему этот герой поступил так?

— Что хотел сказать автор?

— Как это связано с моей жизнью?

Такая библиотека содержит огромное количество информации.

Но сама по себе она ничего не переживает.

Современный ИИ похож на очень сложную систему работы с информацией, а не на человека внутри библиотеки.

Что именно запоминает модель?

Здесь возникает интересный вопрос.

Многие думают:

«Если ИИ обучился на миллиардах текстов, значит внутри лежат все эти книги».

Это не совсем так.

Модель не является обычной базой данных.

Она не хранит все тексты в виде списка.

Во время обучения она изменяет свои внутренние настройки так, чтобы лучше работать с языком.

Можно представить это как художника.

После тысячи картин в его голове остается не каждая картина отдельно.

У него формируется чувство композиции.

Цвета.

Стиля.

Пропорций.

Способов изображения.

Так же модель не хранит мир как коллекцию страниц, а формирует сложную систему закономерностей.

Почему обучение требует огромных ресурсов

Чтобы обучить современную большую модель, нужны:

мощные компьютеры;

огромное количество данных;

много времени;

специалисты разных областей.

Это похоже на строительство огромного города.

Нужно создать фундамент.

Дороги.

Электричество.

Инфраструктуру.

Только вместо домов строится математическая система, способная работать с языком.

После обучения начинается другая жизнь

Интересно, что после завершения обучения модель уже не продолжает учиться так же, как человек.

Обычный человек каждый день получает новый опыт.

Он меняется.

У него появляются новые воспоминания.

Он пересматривает взгляды.

Модель без специального процесса обновления остается такой, какой ее создали.

Она может отвечать на новые вопросы, но это не означает, что у нее автоматически появляется жизненный опыт.

Самая большая загадка

Чем больше ученые изучают искусственный интеллект, тем больше возникает философских вопросов.

Если система может писать книги…

Создавать музыку…

Вести разговор…

Объяснять сложные идеи…

Что именно происходит внутри?

Это понимание?

Или очень сложное распознавание закономерностей?

Ответ на этот вопрос связан с тем, как ИИ вообще видит язык.

Для человека слово — это смысл.

Для машины прежде всего — структура.

И чтобы понять это, нам нужно отправиться в самое неожиданное место:

в мир токенов.

Глава 6. Как ИИ превращает текст в числа

Когда человек читает предложение, он видит слова.

Например:

«Художник пишет картину маслом.»

Для нас это не просто набор букв.

Мы сразу создаем образ.

Мы представляем художника.

Мастерскую.

Кисть.

Цвета.

Запах краски.

Движение руки.

Одно короткое предложение вызывает целый мир ассоциаций.

Но для искусственного интеллекта всё начинается иначе.

Прежде чем модель сможет работать с текстом, ей нужно перевести человеческий язык в форму, которую может обрабатывать компьютер.

И этой формой становятся числа.

Компьютер не видит слова

Это одна из самых важных идей для понимания ИИ.

Мы привыкли думать:

«Компьютер читает текст».

Но компьютер не читает так, как человек.

Он не видит буквы и не слышит внутренний голос.

Для него текст должен быть преобразован в математическое представление.

Можно представить это как перевод с одного языка на другой.

Человек говорит на языке слов.

Компьютер работает с языком чисел.

Что такое токены

Чтобы превратить текст в числа, современные языковые модели используют специальные единицы — токены.

Токен — это небольшой фрагмент текста.

Это может быть:

целое слово;

часть слова;

знак препинания;

сочетание букв.

Например, слово:

«искусственный»

может быть разделено на несколько частей.

Почему?

Потому что язык содержит огромное количество слов.

Если создать отдельный «значок» для каждого слова, система станет слишком громоздкой.

Кроме того, люди постоянно создают новые слова.

Появляются:

новые технологии;

новые имена;

новые термины;

новые выражения.

Поэтому удобнее работать не только со словами целиком, а с их частями.

Представьте конструктор

У ребенка есть коробка с деталями LEGO.

Он может построить тысячи разных объектов.

Ему не нужны отдельные детали для каждого возможного дома.

Есть:

кубики;

окна;

двери;

крыши.

Из небольшого набора элементов можно создавать бесконечное количество комбинаций.

Токены работают похожим образом.

ИИ не обязательно должен иметь отдельный элемент для каждого слова.

Он использует небольшие части, из которых можно собрать огромное количество выражений.

Но где здесь смысл?

Вот здесь возникает самый интересный вопрос.

Если слово превращается в число, не исчезает ли смысл?

На первый взгляд кажется:

«Ну хорошо, компьютер получил набор цифр. Но как он понимает, что это означает?»

Ответ сложнее, чем кажется.

ИИ не хранит значение слова как определение в словаре.

Например, у человека:

Солнце:

звезда;

тепло;

свет;

лето;

рассвет;

детские воспоминания.

У модели нет личных ощущений.

Но во время обучения она видит огромное количество примеров:

«солнце светит»;

«солнце восходит»;

«солнечный день»;

«солнце находится в центре Солнечной системы».

Постепенно она формирует математические связи между понятиями.

Карта смыслов

Представьте огромную карту.

В одном районе находятся слова:

море;

волна;

корабль;

берег;

путешествие.

В другом:

компьютер;

программа;

данные;

алгоритм.

Слова, которые часто встречаются вместе, оказываются ближе друг к другу.

Так появляется своеобразная карта языка.

Но важно понимать:

это не карта мира.

Это карта закономерностей языка.

Человек видит мир, ИИ видит связи

Представьте два человека.

Первый говорит:

— Я люблю море.

Для него море может означать:

детство;

отпуск;

свободу;

романтику;

воспоминания.

Второй человек никогда не был у моря.

Он прочитал миллионы описаний моря.

Он знает, какие слова обычно связаны с морем.

Он может прекрасно написать:

«Море символизирует бесконечность и свободу».

Но его отношение к морю построено не на опыте.

Так отличается человеческий смысл от статистической связи.

Почему это всё равно работает

Может возникнуть вопрос:

«Если ИИ не понимает слова как человек, почему его ответы настолько хорошие?»

Потому что язык сам по себе содержит огромное количество информации о человеческом мышлении.

Когда люди пишут:

книги;

статьи;

письма;

исследования;

рассказы;

они оставляют в языке следы своего опыта.

В языке отражаются:

логика;

культура;

эмоции;

знания;

способы объяснения мира.

ИИ учится видеть эти закономерности.

Аналогия с художником

Представьте художника, который никогда не видел настоящего леса.

Но у него есть миллион картин лесов.

Он изучает:

какие цвета обычно используют;

как изображают деревья;

как передают свет;

какие композиции встречаются чаще.

Он сможет создать картину леса.

Возможно, очень красивую.

Но его лес будет создан из изученных образов, а не из личного путешествия среди деревьев.

Почему перевод текста в числа — это революция

Потому что числа позволяют компьютеру работать с языком.

Модель может:

сравнивать слова;

находить закономерности;

учитывать контекст;

строить связи;

создавать новые комбинации.

То, что для человека является потоком смыслов, для машины становится сложной системой отношений между элементами.

Самый важный вывод

Когда вы пишете вопрос ИИ, происходит удивительный процесс.

Вы вводите:

мысль слова токены числа

А затем происходит обратное превращение:

числа закономерности токены слова ответ

Весь разговор с искусственным интеллектом — это путешествие туда и обратно между человеческим языком и математической системой.

Но возникает новый вопрос.

Если ИИ работает не со словами, а с числовыми представлениями, то как он понимает, какое слово должно появиться следующим?

Почему после одного слова появляется именно другое?

Почему ответ строится именно так?

Глава 7. Мир токенов: как ИИ видит язык

Когда человек смотрит на страницу книги, он видит слова.

Он видит буквы.

Предложения.

Абзацы.

Знаки препинания.

Но за этими символами у человека мгновенно возникает целый мир.

Фраза:

«Осенний парк после дождя»

может вызвать у одного человека воспоминание о детстве, у другого — образ будущей картины, у третьего — чувство спокойствия.

Человек воспринимает язык не просто как последовательность знаков.

Он воспринимает его как дверь в мир опыта.

ИИ смотрит иначе.

Для него предложение — это сложная структура взаимосвязанных элементов.

Чтобы понять, как работает искусственный интеллект, нужно ненадолго забыть привычное человеческое восприятие языка и попробовать посмотреть на него глазами машины.

Слово для человека и слово для ИИ

Возьмем слово:

«дом»

Для человека оно может означать:

место, где он вырос;

чувство безопасности;

семью;

воспоминания;

архитектуру;

пространство жизни.

Но для модели слово «дом» не является объектом опыта.

Она не представляет комнату.

Не чувствует запах дерева.

Не знает ощущения возвращения домой после долгой дороги.

Она видит огромное количество контекстов:

«строить дом»;

«родной дом»;

«дом культуры»;

«дом у моря»;

«дом как символ».

Из этих связей формируется математическое представление.

Язык как огромная сеть

Представьте город.

В нем есть миллионы дорог.

Одни улицы соединяют центр с окраинами.

Другие ведут к паркам.

Третьи — к промышленным районам.

Если вы знаете карту города, вы можете предсказывать:

куда ведет дорога;

какие места находятся рядом;

какой маршрут выбрать.

Язык тоже похож на город.

Слова соединены между собой огромным количеством связей.

Например:

слово «художник» связано с:

картиной;

кистью;

цветом;

мастерской;

творчеством;

выставкой.

Но оно также может быть связано с:

историей искусства;

стилем;

техникой;

вдохновением.

ИИ изучает не отдельные слова, а всю систему дорог между ними.

Почему одно слово может иметь разные значения

Возьмем слово:

«лук»

Для человека понятно:

это может быть овощ.

А может быть оружие.

Мы определяем значение благодаря контексту.

Фраза:

«Я добавил лук в суп»

и:

«Он натянул лук перед выстрелом»

имеют совершенно разные смыслы.

ИИ тоже должен научиться учитывать окружение слова.

Именно поэтому современные модели называются языковыми моделями.

Они работают не только с отдельными словами, а с отношениями между ними.

Контекст меняет всё

Представьте человека, который слышит только одно слово:

«ключ»

Что это?

Ключ от двери?

Родник?

Инструмент?

Музыкальный ключ?

Без контекста невозможно понять.

Но если сказать:

«Я потерял ключ от квартиры»

значение становится очевидным.

ИИ работает похожим образом.

Он анализирует не только отдельный элемент, но и его окружение.

Каждое новое слово меняет понимание предыдущих.

Как слова превращаются в координаты

Можно представить, что каждое слово получает свое место в огромном пространстве.