Вектор смысла: новый квадрант. Навигация в пространстве векторного поиска

Слова с похожим значением получали близкие векторы. «Король» оказывался рядом с «королевой», «принцем», «монархом». «Бежать» – рядом с «мчаться», «нестись», «спешить». «Париж» – рядом с «Лондоном», «Берлином», «Римом». Сеть никто не учил, что это столицы. Она сама обнаружила это, наблюдая за контекстами.

Но главное открытие было другим.

Миколов взял вектор слова «король». Вычел из него вектор слова «мужчина». Прибавил вектор слова «женщина». И получил вектор, ближайшим соседом которого оказалась «королева».

King – Man + Woman = Queen.

Стоит остановиться и подумать, что здесь произошло.

Это не метафора. Это буквальная арифметика над векторами. Вычитание и сложение чисел – сотен чисел, но всё равно просто чисел. И результат имеет смысл. Человеческий, интуитивно понятный смысл.

Никто не программировал это правило. Никто не говорил системе, что королева – это женский эквивалент короля. Никто не вводил понятия пола, статуса, власти. Сеть сама извлекла эти абстракции из текстов, наблюдая только за тем, какие слова стоят рядом.

Что это значит? Это значит, что разница между «королём» и «мужчиной» – это что-то вроде «королевскости», статуса, власти. Направление в пространстве, которое можно отделить от конкретных слов. Если добавить этот «королевский» компонент к «женщине», получится «королева». Математика поймала абстрактное понятие, которое, казалось, существует только в человеческом сознании.

Это работало не только для королей. «Париж» минус «Франция» плюс «Италия» давало «Рим». Столица минус страна плюс другая страна – столица той страны. «Москва» минус «Россия» плюс «Япония» – «Токио». Географические отношения закодированы в направлениях пространства.

«Плавать» минус «плавание» плюс «бег» давало «бежать». Инфинитив минус существительное плюс другое существительное – соответствующий инфинитив. Грамматические отношения тоже закодированы. Превращение глагола в существительное – это направление, которое можно применить к другим глаголам.

Сравнительная степень тоже оказалась направлением: «больше» минус «большой» плюс «хороший» давало «лучше». Применив то же направление к «маленький», получали «меньше».

Исследователи находили всё новые примеры. Антонимы оказывались связаны предсказуемым образом. Множественное число отличалось от единственного на один и тот же вектор для разных слов. Прошедшее время – на другой. Языковая структура проявлялась как геометрия пространства.

Векторы выучили грамматику. Выучили географию. Выучили семейные отношения: «отец» минус «мужчина» плюс «женщина» давало «мать». Выучили профессиональные: «доктор» и «медсестра» связаны так же, как «король» и «королева». Никто их этому не учил напрямую – они извлекли эти закономерности из того, как слова встречаются рядом друг с другом в текстах.

Момент стоит осознать. Десятилетиями лингвисты строили сложные теории значения. Философы спорили о природе смысла. А тут – простая нейросеть, обученная угадывать соседние слова, вдруг демонстрирует понимание абстрактных отношений между понятиями. Не идеальное понимание, не человеческое – но работающее. Измеримое. Вычислимое.

Почему это сработало? Потому что Фёрс был прав: слово определяется своим окружением. «Король» появляется в контекстах о власти, тронах, коронах, указах. «Королева» – в очень похожих контекстах. Нейросеть, пытаясь предсказать контекст, вынуждена поместить эти слова близко друг к другу во внутреннем пространстве. Иначе она не сможет делать правильные предсказания.

А «мужчина» и «женщина» появляются в контекстах, которые отличаются предсказуемым образом. Там, где про мужчину скажут «он», про женщину скажут «она». Где у мужчины «жена», у женщины «муж». Эта систематическая разница кодируется как направление в пространстве – вектор, который можно прибавить или вычесть.

Технически Word2Vec устроен просто – проще, чем можно было бы ожидать от такого открытия. Есть два варианта архитектуры. Первый – CBOW, Continuous Bag of Words: сеть получает на вход несколько слов вокруг пропуска и пытается угадать пропущенное слово. Контекст предсказывает центр. Второй – Skip-gram: сеть получает одно слово и пытается предсказать его окружение. Центр предсказывает контекст. Skip-gram работает лучше для редких слов и больших корпусов, CBOW быстрее обучается на небольших данных. Оба дают похожие результаты.

Сама нейросеть – всего два слоя. Входной слой, скрытый слой, выходной слой. Никаких глубоких архитектур, никаких десятков слоёв. Простота была осознанным выбором: Миколов хотел, чтобы модель можно было обучить на огромных данных за разумное время. Глубокие сети учатся медленно. Простая сеть на миллиарде слов побеждает сложную на миллионе.

Размерность векторов – параметр. Можно взять сто измерений, можно триста, можно тысячу. Больше измерений – больше нюансов можно уловить, но и больше данных нужно для обучения. На практике часто используют от ста до пятисот измерений. Каждое измерение – не какое-то конкретное свойство вроде «одушевлённость» или «размер». Это абстрактные оси, которые сеть создаёт сама. Человеку они не интерпретируемы напрямую, но в совокупности они кодируют смысл.

Обучение требует много данных – миллионы и миллиарды слов. Но само по себе обучение быстрое, потому что архитектура простая. На одном компьютере можно обучить модель за часы или дни. По меркам современных нейросетей – мгновенно.

Результат – таблица. Каждому слову из словаря соответствует строка чисел – его вектор. Словарь может содержать сотни тысяч слов. Эту таблицу можно сохранить, распространить, использовать где угодно. Обучение делается один раз, использование – бесконечно.

После публикации Миколова начался бум. Исследователи по всему миру воспроизводили эксперименты, находили новые примеры векторной арифметики, применяли Word2Vec к своим задачам. Статья набрала тысячи цитирований за первый год – редкость для академической работы.

Качество машинного перевода выросло. Раньше системы перевода работали с отдельными словами и фразами, не понимая связей между ними. Теперь переводчик мог использовать то, что «большой» и «огромный» близки, даже если точного перевода в словаре нет.

Поиск стал умнее. Запрос «как починить автомобиль» стал находить статьи про ремонт машин. Не потому что кто-то вручную добавил синоним – потому что векторы этих слов близки.

Системы рекомендаций научились понимать, что пользователю, который читал про «автомобили», может быть интересно и про «машины», и про «транспорт», и про «двигатели». Не потому что это прописано в правилах – потому что эти слова образуют кластер в пространстве смыслов.

Чат-боты стали чуть менее тупыми. Анализ тональности текстов стал точнее. Классификация документов улучшилась. Везде, где раньше приходилось вручную создавать словари и правила, теперь можно было использовать готовые векторы.

Но Word2Vec имел ограничения, и их важно понимать. Не для того чтобы принизить достижение – для того чтобы видеть, куда двигаться дальше.

Первое: один вектор на слово. «Банк» – финансовая организация или берег реки? У Word2Vec один вектор на слово «банк», усреднённый по всем контекстам. В нём смешаны оба значения. Это как средняя температура по больнице – формально верно, практически бессмысленно.

Для редких значений это особенно болезненно. Слово «мир» чаще означает вселенную или отсутствие войны, чем крестьянскую общину. Вектор сдвинут к частым значениям. Редкое значение почти невидимо.

Второе: вектор слова не зависит от контекста. «Холодный приём» и «холодный чай» используют слово «холодный» в разных значениях – метафорическом и буквальном. Но вектор у него один и тот же. «Тяжёлый рок» и «тяжёлый камень» – один вектор «тяжёлый». Word2Vec знает типичные контексты слова, но не адаптируется к конкретному употреблению.

Это фундаментальное ограничение. Смысл слова проявляется в контексте. Без контекста он неопределён. А Word2Vec игнорирует контекст при использовании – только при обучении.

Третье: только слова. Word2Vec работает с отдельными словами, не с фразами, не с предложениями, не с документами. Чтобы получить вектор предложения, нужно как-то скомбинировать векторы слов – усреднить, сложить, взять взвешенную сумму. Это работает, но грубо.

«Не люблю» – это не сумма «не» и «люблю». Отрицание меняет смысл полностью, а не складывается с ним. «Собака укусила человека» и «человек укусил собаку» состоят из одних слов, но означают разное. Порядок важен, а Word2Vec его теряет при переходе к фразам.

Четвёртое: статичность. Обученные векторы фиксированы. Если появилось новое слово или у старого слова появилось новое значение – нужно переобучать всю модель. «Ковид» в 2019 году не существовал. «Твитнуть» в 2005 году не существовало. Язык живёт и меняется, а векторы застывают в моменте обучения.

Эти ограничения будут преодолены позже – в следующих поколениях моделей. Но даже с ними Word2Vec изменил ландшафт. Он показал, что смысл можно вычислять. Что похожесть слов можно измерять расстоянием. Что математика способна ловить абстрактные отношения между понятиями.

Это был концептуальный сдвиг. До Word2Vec компьютеры работали с символами – последовательностями букв, которые нужно было точно сопоставлять. После Word2Vec компьютеры стали работать со смыслами – точками в пространстве, между которыми можно измерять расстояние.

До Word2Vec эмбеддинги были экзотикой – интересной идеей без практического воплощения. После Word2Vec они стали инструментом. Каждый мог скачать готовые векторы, обученные на миллиардах слов, и использовать их в своих приложениях. Барьер входа упал почти до нуля.

Google выложил предобученные векторы в открытый доступ. Три миллиона слов и фраз, трёхсотмерные векторы, обученные на корпусе Google News – сто миллиардов слов. Скачать, загрузить, использовать. Строчка кода – и у тебя есть вектор любого английского слова.

И что ещё важнее – Word2Vec показал направление. Если нейросеть может выучить смысл слов, предсказывая контекст, то почему бы не применить тот же принцип к чему-то ещё? К предложениям. К документам. К изображениям. К звукам. К видео. К чему угодно.

Принцип работал. Оставалось его обобщить.

Примечания