Расширенная реальность (VR / AR / MR)

В последние годы тема этой главы является широко и активно обсуждаемой в IT сообществе. Многие мировые технологические лидеры участвуют в 4-й волне развития вычислительных платформ, основанной на расширенной реальности (XR). Этой волне предшествовали: появление персональных компьютеров, изобретение интернета и повсеместное использование мобильных устройств (см. Рис. 1).

Рис. 1. Схема волн развития вычислительных платформ.

Расширенная реальность (Extended reality, XR) – международное сокращение, применяемое вместо VR/AR/MR, когда необходимо упомянуть весь набор данных технологий.

Виртуальная реальность (Virtual reality, VR) – созданный техническими средствами мир, передаваемый человеку через его ощущения: зрение, слух, обоняние, осязание и др.

Дополненная реальность AR (Augmented reality) – результат введения в поле восприятия любых сенсорных данных с целью дополнения сведений об окружении и улучшения восприятия информации.

Смешанная реальность MR (Mixed reality) – результат объединения реального и виртуального миров для создания новых окружений и визуализаций, где физический и цифровой объекты сосуществуют и взаимодействуют в реальном времени.

Рис. 2. Схема уровней реальности в разрезе цифровых технологий.

Основной причиной интереса бизнеса к XR является возможность переживания пользователем опыта в виртуальной среде или дополненной цифровыми объектами среде, что может быть использовано в B2B продуктах и решениях. Возможность этого переживания обеспечивается иммерсивностью виртуальной среды (от англ. immersive – «создающий эффект присутствия, погружения, вовлечения») или погружением в виртуальную среду – это восприятие физического присутствия в не-физическом мире. Восприятие создается техническим путем окружения пользователя системы VR изображениями, звуками или другими стимулами, которые обеспечивают общую среду.

Погружение – это состояние, когда субъект перестает осознавать свое физическое состояние. Оно зачастую сопровождается интенсивной концентрацией, потерей ощущения времени и физической реальности (окружающего пространства).

Степень погружения – уровень того, насколько человек ощущает себя в виртуальной реальности. XR-технологии стали прорывом именно благодаря тому, что они предлагают более глубокий уровень погружения, чем все предыдущие технологии.

Степень же погружения определяется согласованием испытываемых ощущений с теми, к которым привык человек в реальном мире (или воплощением его представлений о неких ощущениях и возможном реальном опыте).

В отличие от пассивного участия в фильме, созерцания картины или традиционного спектакля, виртуальная реальность позволяет взаимодействовать с виртуальной средой. Можно привести пример: в отличие от привычной компьютерной игры на экране, когда вокруг него обычное пространство, игрок в VR видит вокруг себя только интерактивный виртуальный мир.

В настоящее время выделяют три уровня погружения в XR.

• 

Неиммерсивная

. Неиммерсивная XR – это разновидность XR, которая предоставляет пользователям сгенерированную компьютером среду без ощущения погружения в виртуальный мир. Главная особенность неиммерсивной системы заключается в том, что пользователи могут сохранять контроль над физическим окружением, осознавая происходящее вокруг: звуки, визуальные и тактильные эффекты. Этот уровень часто игнорируется как категория XR, поскольку он уже так широко используется в повседневной жизни. Этот уровень обеспечивает созданную техническими средствами среду, но позволяет пользователю контролировать свое физическое окружение. Это кино, традиционный театр, видеоигры и т.д.

• 

Полуиммерсивная

. Полуиммерсивный виртуальный опыт предоставляет пользователям частично виртуальную среду. Она дает пользователям ощущение присутствия в другой реальности, но также позволяет оставаться на связи с физическим окружением. Эта категория обеспечивает реалистичность за счет более детализированной графики, позволяющей создать более полноценное ощущение среды. Полуиммерсивная XR часто используется в образовательных или учебных целях и опирается на дисплеи высокого разрешения, мощные компьютеры, проекторы или аппаратные симуляторы, которые частично повторяют дизайн и функциональность реальных устройств.

• 

Иммерсивная

. Данный уровень погружает пользователя в виртуальную среду так глубоко, что он теряет связь с физическим миром на время погружения. Чтобы ощутить и взаимодействовать с виртуальной средой, пользователю необходима соответствующая XR система. Просмотр сочетается с возможностью управления средой для создания иммерсивного опыта. Для не-развлекательных проектов XR дает возможность дешево (по сравнению с физическими альтернативами) тестировать проектные гипотезы, массово и безопасно учить, привлекать инвестиции и покупателей, виртуально демонстрируя продукты или концепты и т.д.

В науке и промышленности XR базируется на компьютерном моделировании, когда прямой натурный эксперимент долог, дорог, зачастую просто опасен, и, по сути, невозможен. Также эти технологии напрямую связаны с развитием технологий цифровых двойников (см. главу «Цифровые двойники»).

Далее в главе речь пойдет только об иммерсивной XR.

Термин «виртуальная реальность» впервые использовал французский писатель Антонен Арто в сборнике эссе «Театр и его двойник» в 1938 году. Под виртуальной реальностью он подразумевал созданный техническими средствами мир, в котором человек ощущает себя близко к тому, как он себя ощущает в реальном мире. Тогда, конечно, не было никаких шлемов или специальных очков. Люди смотрели театральные представления и кинофильмы на большом экране. Для них это погружение было достаточно глубоким.

Дополненная реальность впервые появилась в 1901 году в фантастическом романе автора «Волшебника страны Оз» Лаймана Фрэнка Баума «Главный ключ» где он описал некое устройство, способное помечать в режиме реального времени людей буквами, указывающими на их характер и уровень интеллекта.

Устройства виртуальной реальности, которые заложили основы всей индустрии, известны с 60-х годов. Но применялись они в первую очередь для научных целей, на дорогих военных тренажерах и в других малодоступных большинству компаний сегментах.

В 1978, Стив Манн придумал первое приспособление для AR – EyeTap. В нем использовалась камера и дисплей, дополняющий реальный мир в режиме реального времени.

Первое массовое использование дополненной реальности стало возможно благодаря Дену Рейтону, который в 1982 году использовал радар и камеры в космосе для того, чтобы показать движение воздушных масс, циклонов и ветров в телевизионных прогнозах погоды. AR до сих пор используется таким образом на телевидении.

В 1990-е довольно широкое распространение получили так называемые CAVE-системы, чья стоимость обычно начиналась от миллиона долларов. Также существовало большое количество виртуальных тренажеров, в которых использовался реальный объект обучения (например, самолет). Вместо стекол в таких тренажерах вставлялись экраны, отображающие компьютерную симуляцию, управляемую действиями обучаемого. Такие тренажеры существуют и сейчас, т.к. в ряде профессий с высоким уровнем ответственности даже малейшее отклонение может привести к наработке ложного навыка.

В 90-е поиск новых способов использования AR продолжился, а ученый Том Коделл впервые предложил термин «дополненная реальность». Перед ним и его коллегой поставили задачу: снизить затраты на дорогие диаграммы, которые использовали для разметки заводских зон по сборке самолетов Боинг. И решением стала замена фанерных знаков с обозначениями на специальные шлемы, которые отображали информацию для инженеров. Это позволило не переписывать обозначения каждый раз вручную, а просто изменять их в компьютерной программе.

В 1999 году Хироказу Като создал открытую библиотеку ARToolKit для написания AR-приложений. Она позволяла синхронизировать картинку реальной и виртуальной камер, что давало возможность накладывать компьютерную графику на специальные маркеры. Этот момент считается началом современного этапа развития дополненной реальности.

В 2012 году была представлена ранняя версия VR-шлема Oculus Rift, которая в дальнейшем собрала за 36 часов более 1 млн долларов с помощью краудфандинга. С этого начался бурный современный этап развития этой индустрии. Главной характеристикой этого этапа стала демократизация виртуальной реальности. Она стала доступна широким массам людей, а тем более компаниям. Ключевую роль в этом сыграла готовность аппаратных компонент, которые к этому моменту уже стали дешевыми и распространенными благодаря рынку мобильных устройств.

Сейчас на рынке существуют сотни XR-устройств, ряд из которых выпускается миллионными партиями. Именно у них есть шанс стать по-настоящему массовыми: они сравнимы по стоимости со смартфонами, обладают мощными вычислительными ресурсами, имеют большое количество сторонних разработчиков приложений и выглядят привлекательными потребительскими устройствами.

Одной из текущих проблем внедрения XR-технологий является опасение, что они в очередной раз прекратят свое существование, как уже было в 60-х и 90-х годах. Для того, чтобы XR получил массовое распространение, значительная часть человечества должна начать использовать эти технологии, как это произошло с персональными компьютерами, интернетом и мобильными устройствами. Это значит, что XR-технологии должны стать технологиями ежедневного потребления.

На текущий момент мы можем оперировать следующей статистикой:

• 

К концу 2022 года в мире было продано 51 миллион VR устройств;

• 

27,7 миллионов устройств продано по предварительным оценкам в 2023 году

• 

В мире насчитывается более 171 млн пользователей VR;

• 

65% продаж

VR

устройств пришлись на 2021 и 2022 годы

• 

70% потребителей, владеющих гарнитурами VR, покупали на них игры или программы;

• 

99,8% существующих мобильных устройств так или иначе поддерживают AR;

• 

Крупные технологические компании Microsoft, Google, Sony, Meta, HTC и другие развивают это направление и считают его следующим за мобильными устройствами этапом развития;

• 

Apple

, считающаяся компанией, устанавливающей тренды в области потребительской электроники, выпустила собственное устройство

Apple

Vision

Pro

.

• 

На данный момент практически каждый IT-гигант имеет собственное массово продаваемое XR-устройство или целую экосистему XR.

В долгосрочном прогнозе Statista предполагает, что общее количество проданных устройств достигнет 100 миллионов за 2024 год. На пути массового внедрения стоит достаточно много серьезных технических сложностей, о которых мы поговорим в следующих разделах этой главы.

Следует понимать, что массовое внедрение не происходит на уровне ежедневного использования технологии обывателем. Для бизнеса XR уже сейчас является доступной и применимой на практике технологией.

По итогам 2022 года выручка российских разработчиков технологий виртуальной и дополненной реальности (VR/AR) увеличилась на 83% по сравнению с 2021 годом и достигла 1,9 млрд руб.

Российская XR индустрия традиционно имеет сильный сегмент разработчиков программных продуктов и контента. Оборудование же используется преимущественно китайское, доступное на рынке (Pico, DPVR и т.д.).

Стоит обратить внимание на Рис. 3, что доля AR устройств растет и к 2027 года должна приблизиться к доле VR устройств. Скорее всего это произойдет за счет увеличения количества носимых устройств, поддерживающих AR режим.

На этом же рисунке мы видим, что резкого скачка индустрии не происходит. Индустрия XR нашла своих потребителей в самых разных секторах экономики, и происходит ее постепенное развитие, но пока она остается нишевой и не выходит на уровень распространения мобильных телефонов – которыми по прогнозам крупнейших вендоров индустрия XR должна была стать следующим шагом за ними.

Рис. 3. Прогноз количества XR устройств в мире (VR = Virtual Reality, AR = Augmented Reality). Источник: Statista Market Insights.

Распространение XR технологий по всему миру сталкивается с несколькими основными проблемами, которые необходимо решить для их повсеместного внедрения.

Технологические барьеры

• 

Аппаратное обеспечение: Высокая стоимость VR/AR гарнитур и других устройств ограничивает их доступность для широких слоев населения. Кроме того, некоторые устройства требуют мощных компьютеров или других технологий, что также повышает затраты.

• 

Технические ограничения: Ограничения в области разрешения экранов, производительности и удобства использования устройств могут негативно влиять на пользовательский опыт.

Финансовые барьеры

• 

Высокая стоимость разработки: Разработка качественного контента для XR (игры, приложения, обучающие программы) требует значительных финансовых вложений, что может быть проблематично для небольших компаний и стартапов.

• 

Экономическое неравенство: В странах с низким уровнем дохода и слабой экономикой доступ к XR-технологиям может быть сильно ограничен.

Инфраструктурные барьеры

• 

Доступ к интернету: для полноценного использования XR-технологий необходим быстрый и стабильный интернет, который доступен далеко не везде. В развивающихся странах и удаленных районах доступ к таким ресурсам может быть ограничен.

• 

Энергетические ресурсы: Высокие энергетические затраты на использование и зарядку XR-устройств могут стать препятствием в регионах с ограниченным доступом к электроэнергии.

Культурные и социальные барьеры

• 

Приемлемость технологий: в некоторых культурах может отсутствовать готовность принимать и использовать новые технологии, что может быть связано с консервативными взглядами, недоверием к инновациям или недостатком знаний о преимуществах XR.

• 

Образование и навыки: необходимость обучения пользователей и специалистов для работы с XR-технологиями также является барьером. Недостаток квалифицированных кадров и образовательных программ затрудняет распространение XR.

Правовые и этические барьеры

• 

Правовое регулирование: отсутствие четких правовых норм и стандартов для использования XR-технологий может создавать препятствия для их внедрения. Это касается вопросов конфиденциальности, безопасности данных и интеллектуальной собственности.

• 

Этические вопросы: возникают вопросы этического характера, связанные с воздействием XR на психику пользователей, особенно детей и подростков, а также с возможностью манипуляций и зависимости от виртуальных миров.

Медицинские и психологические барьеры

• 

Здоровье и безопасность: проблемы, связанные с физическим и психическим здоровьем, такие как укачивание в виртуальной реальности (motion sickness), зрительное напряжение и потенциальное привыкание, могут ограничивать использование XR.

• 

Социальная изоляция: увлечение виртуальными мирами может приводить к социальной изоляции и снижению реальных социальных взаимодействий, что вызывает беспокойство у специалистов по психическому здоровью.

Для преодоления этих барьеров необходимо комплексное решение, включающее:

• 

Снижение стоимости XR-устройств и повышение их доступности.

• 

Развитие инфраструктуры, включая доступ к высокоскоростному интернету и стабильным источникам электроэнергии.

• 

Создание образовательных программ для подготовки специалистов в области XR.

• 

Разработка правовых норм и этических стандартов для регулирования использования XR-технологий.

• 

Исследование и внедрение мер по минимизации негативного влияния XR на здоровье и психику пользователей.

Таким образом, решение этих проблем потребует усилий как со стороны технологических компаний и разработчиков, так и со стороны государственных органов и общества в целом.

Любая XR-система является программно-аппаратным комплексом, создаваемым для решения конкретной задачи путем интеграции различных компонентов.

Каждая XR-система включает в себя:

• 

Периферийное оборудование;

• 

Программное обеспечение;

• 

Контент;

• 

Вычислительную подсистему.

Оборудование в большинстве систем является типовым и коммерчески доступным, как и ПО для разработки. Уникальность XR-проекта при этом достигается путем создания контента в предметной области проекта, программирования бизнес-логики и человеко-машинного интерфейса.

Вышеперечисленные компоненты могут быть интегрированы в комплексные фреймворки под конкретные задачи. На Рис. 3.10.4 представлен пример такой системы для обучения рабочих промышленных предприятий.

Рис. 4. Архитектура интерактивной системы расширенной реальности (XR) для обучения рабочих промышленных предприятий.

Аудиовизуальное