От V2X к A2X
- -
- 100%
- +
Поскольку дороги общего пользования представляют собой места с возможностью доступа любого лица, не вызывает сомнений то, что состязательными атаками смогут воспользоваться злоумышленники для нарушения работы как беспилотных автомобилей или транспортной отрасли в частности, так и социума в целом для достижения своих неблаговидных целей [8]. Поэтому при реализации задачи доверия, которой является перевозка пассажиров или грузов по дорогам общего пользования, риск воздействия на системы компьютерного зрения беспилотных автомобилей должен быть существенно снижен до пренебрежимо малого значения.
Одним из методов снижения указанного риска является использование V2X-взаимодействия, о чём всё больше и больше начинают задумываться производители беспилотного транспорта после проработки этих вопросов в научной литературе. V2X-взаимодействие позволяет, в том числе, заранее передавать транспортным средствам информацию, которой они ещё не владеют, но которая потребуется им в самом ближайшем будущем для принятия оперативных решений по движению [9]. Вместе с тем само по себе V2X-взаимодействие между акторами на автомобильной дороге может рассматриваться в рамках более общего метода снижения целого комплекса рисков, существующих у беспилотного движения, а именно – мультисенсорной интеграции.
Мультисенсорная интеграция – это слияние информации, получаемой с датчиков разной модальности, а также взаимное обогащение такой информации для получения целостного описания картины окружающей реальности. Слияние и обогащение информации может осуществляться на нескольких уровнях представления – от низкого (телематические данные с сенсоров) до высокого (понятийная информация для принятия решений). С точки зрения математики мультисенсорная интеграция представляет собой использование всей доступной с сенсоров разной модальности информации, полученной в один временной срез, для построения абстрактного описания окружающей среды на каком-либо формальном языке – логике высказываний, логике первого порядка и т. п., либо в виде неявного знания, полученного в процессе машинного обучения.
Простейшим примером мультисенсорной интеграции является человек. При его взрослении и обучении такая интеграция осуществляется в таламусе для того, чтобы визуальные образы, получаемые через глаза, сопоставлялись с звуковыми, тактильными и другими образами того же объекта. Более того, мультисенсорная интеграция у человека играет важнейшую роль в изучении языка, и письменные символы познаются через своё звучание благодаря этому механизму [10].
Другим примером мультисенсорной интеграции у когнитивных агентов искусственной природы может быть использование голосовым помощником (чат-ботом) информации об общающихся с ним пользователях, которую он находит в различных источниках – непосредственно во время общения с пользователями, в социальных сетях, в источниках третьих сторон. В этом случае интеграция производится по источникам информации, хотя её модальность в основном одинакова. Тем не менее, это яркий пример технологии обогащения данных, которая всё чаще и чаще используется для обучения искусственных когнитивных агентов.
Если рассматривать системы управления беспилотными транспортными средствами, то здесь имеются широчайшие возможности по использованию технологии мультисенсорной интеграции. В качестве сенсоров могут использоваться следующие каналы получения информации об окружающей среде:
●
видеокамеры, осуществляющие панорамный наружный обзор и получение 2D-сцены окружающего автомобиль пространства;
●
радары и лидары, которые строят профиль свободного пространства вокруг беспилотного автомобиля, осуществляя замер расстояний до располагающихся вокруг объектов;
●
датчики геопозиционирования (ГЛОНАСС/GPS, триангуляция по базовым станциям сотовой сети), которые позволяют с определённой точностью расположить автомобиль на карте;
●
датчики V2X-взаимодействия для получения дополнительной информации об окружающем пространстве и динамике развития его состояния на ближайшее будущее;
●
датчики внутреннего состояния узлов и агрегатов автомобиля, которые требуются для моделирования собственного состояния беспилотного транспортного средства в ближайшем будущем.
Кроме того, дополнительным источником информации является база общих знаний об окружающем мире, которая представляет собой абстрактную модель того пространства, в котором функционирует беспилотный автомобиль. Эта база знаний, фактически, представляет собой набор правил и отношений между объектами, при помощи которых дедуктивным образом по косвенным признакам можно вывести или утверждения, или высоко достоверные предположения о том, что происходит или будет происходить в ближайшее время, даже если прямое наблюдение недоступно для датчиков беспилотного автомобиля.
Поскольку действовать беспилотному автомобилю приходится в быстро меняющейся динамической среде, в которой объекты перемещаются с высокими скоростями, одной из серьёзных задач является построение как можно более точной 3D-модели окружающего пространства и анализа сцены. Именно в этом поможет мультисенсорная интеграция, выведя возможности анализа видеопотоков на новый уровень.
Действительно, видеопоток предоставляет только двумерную информацию о сцене, воссоздать по которой 3D-сцену в динамике затруднительно. Интеграция и взаимное обогащение информации с видеокамер, радаров, GPS-датчика, V2X-каналов и внутренней базы данных модели позволит решить эту проблему.
Наличие 3D-модели наблюдаемой сцены и взаимодействующих агентов в ней позволяет не только оперативно принимать решения о том, какое действие выполнять прямо сейчас, но и прогнозировать развитие ситуации. Прогноз, в свою очередь, открывает набор возможностей по оптимизации будущих действий, планированию движения и предотвращению возникновения нежелательных ситуаций (в том числе ДТП). Кроме того, это позволит нивелировать морально-этические аспекты выбора действий в сложных ситуациях, известных как «проблема вагонетки». Это важнейшее предназначение такой модели, построение которой возможно только при помощи мультисенсорной интеграции и взаимного обогащения данных на всех уровнях рассмотрения.
Беглый анализ открытых источников, в которых описываются принципы построения систем управления беспилотным транспортом, показал, что вопросы мультисенсорной интеграции практически не рассматриваются. Среди российских производителей только одна компания всерьёз рассматривает вопросы низкоуровневого слияния данных с сенсоров разной модальности, однако, это всего лишь один из аспектов мультисенсорной интеграции. При анализе имеющихся открытых источников о технических характеристиках систем управления беспилотными автомобилями среди зарубежных производителей не обнаружено тех, кто в принципе рассматривает этот вопрос – каждый делает ставку на какую-то одну технологию обследования окружающего пространства для точного позиционирования.
Вместе с тем, как показано выше, мультисенсорная интеграция позволит вывести решение многих задач, которые стоят перед беспилотным транспортном, на качественно новый уровень. При этом важной частью описанной технологии является V2X-взаимодействие, о чём неоднократно писали и докладывали авторы. Моделирование среды и поведения в ней взаимодействующих агентов должно стать принципиальным требованием к функционированию автономных автомобилей на дорогах общего пользования, и V2X-взаимодействие при этом становится одной из главных модальностей восприятия для прогнозирования будущего.
Авторы продолжают работать в области построения интеллектуальных транспортных систем, в том числе и с учётом будущих внедрений беспилотного автомобильного транспорта, в связи с чем приглашают всех заинтересованных лиц к диалогу и сотрудничеству. Интеграционная платформа, разрабатываемая авторами в своём коллективе, уже сегодня предоставляет функциональность по обеспечению V2X-взаимодействия между всеми акторами на автомобильной дороге, а периферийное оборудование может включать модули такого взаимодействия.
Литература
Khrennikov, I. Russia’s Yandex Joins the Self-Driving Car Million-Mile Club // Bloomberg.Com., 18 October 2019. [Электронный ресурс]: https://www.bloomberg.com/news/articles/2019-10-17/russia-s-yandex-joins-the-self-drivingcar-million-mile-club. Доступ 19.03.2020.
Ramos, S., Gehrig, S., Pinggera, P., Franke, U., Rother, C. Detecting unexpected obstacles for self-driving cars: fusing deep learning and geometric modeling, 2016. [Электронный ресурс]: https://arxiv.org/pdf/1612.06573.pdf. Доступ 10.03.2020.
Hirz, M., Walzel, B. Sensor and object recognition technologies for self-driving cars. Computer-Aided Design and Applications, 2018, № 15 (4), pp. 501–508.
Шолле Ф. Глубокое обучение на Python. – СПб.: Питер, 2018. – 400 с.
Dodge, S., Karam, L. A study and comparison of human and deep learning recognition performance under visual distortions, 2017. [Электронный ресурс]: https://arxiv.org/pdf/1705.02498.pdf. Доступ 10.03.2020.
The handbook of brain theory and neural networks. Cambridge, MA, USA, MIT Press, 1998, pp. 255–258.
Андронов М. Г., Душкин Р. В. Проблема состязательных атак на системы компьютерного зрения при организации беспилотного движения // Дорожная держава. – 2019. – № 92. – С. 99–101.
Garfinkel, S. Hackers Are the Real Obstacle for Self-Driving Vehicles. MIT Technology review, 2017. [Электронный ресурс]: https://www.technologyreview.com 2017/08/22/242124/hackers-are-the-real-obstacle-for-self-driving-vehicles/. Доступ 19.03.2020.
Душкин Р. В. I2V-взаимодействие – основа беспилотного движения // Дорожная держава. – 2018. – № 85.
Душкин Р. В. К вопросу о распознавании и дифференциации философского зомби // Философская мысль. – 2020. – № 1. – С. 52–66.
Глава 2. Многоагентные системы для кооперативных ИТС
2
В настоящей статье представлено видение автора на проблему создания интеллектуальных транспортных систем в условиях использования высокоавтоматизированных транспортных средств, свободно перемещающихся по улично-дорожным сетям городов. Рассмотрены вопросы организации из таких транспортных средств многоагентной системы для решения задач более высокого уровня, нежели доступных для решения каждым отдельным агентом (в случае настоящей работы — транспортным средством). Также рассмотрены различные типы взаимодействия транспортных средств друг с другом и агентами иной природы, а кроме того приведено несколько примеров новых задач, в которых организация такого взаимодействия будет иметь решающее значение. Научная новизна представленной работы основана на применении отдельных методов и технологий теории многоагентных систем из области искусственного интеллекта к созданию интеллектуальных транспортных систем и организации безостановочного движения высокоавтоматизированных транспортных средств. Показано, что при помощи теории многоагентных систем можно решать более сложные задачи, чем доступно каждому отдельному агенту по отдельности и даже простой сумме невзаимодействующих агентов. Из этого следует возможности получения эмерджентных эффектов так называемого роевого интеллекта множества взаимодействующих агентов. Статья будет интересна всем, кто занят в транспортной отрасли и с интересом смотрит в будущее.
Ключевые слова: интеллектуальная транспортная система, кооперативная ИТС, многоагентная система, автономный агент, высокоавтоматизированное транспортное средство, автономность, взаимодействие, V2X, искусственный интеллект, безостановочное движение.
Развитие интеллектуальных транспортных систем (ИТС) закономерно приводит к появлению новых и инновационных методов организации и управления дорожным движением и дорожной деятельностью. Этому же способствует и появление высокоавтоматизированных транспортных средств (ВАТС), в том числе и обладающих полной автономностью подключённых беспилотных автомобилей [Жанказиев и др., 2016]. Вместе с тем выход ВАТС на автомобильные дороги общего пользования, причём как городские, так и региональные и межмуниципальные дороги, является серьёзным технологическим вызовом существующим практикам и инструментам управления дорожным движением [Приходько & Жанказиев, 2016].
Если говорить об устройстве и принципе функционирования ВАТС, то на самом верхнем уровне абстракции технология осуществления автономного управления транспортным средством основана на точном позиционировании автомобиля на детальной карте местности с нанесением на неё всех текущих статичных и динамичных препятствий, которые окружают автомобиль во время его движения. Для этого с высокой частотой автомобиль сканирует окружающее пространство при помощи своих сенсорных систем, выявляет препятствия, распознаёт и классифицирует их и наносит на карту. После этого осуществляется текущее тактическое целеполагание, планирование собственных действий и их осуществление [Galar et al., 2020].
Тем не менее, несмотря на целенаправленное развитие инструментария для беспилотного управления транспортными средствами, сегодня всё ещё остаётся ряд серьёзных проблем, среди которых необходимо отметить следующие:
Недетерминированное поведение самого ВАТС . Несмотря на то, что обычно технические средства, лежащие в основе ВАТС, делаются высоконадёжными, отдельные блоки и агрегаты могут иногда выполнять свои функции некорректно. Это приводит к некоторой степени недетерминированности поведения ВАТС, когда система управления им выдаёт управляющий сигнал на определённое действие, а ВАТС реагирует некорректно и выполняет другое действие (или не выполняет никакого). Существуют методы минимизации такой недетерминированности поведения, однако в целом задача остаётся нерешённой.
Недетерминированная и частично наблюдаемая среда . Информация, получаемая ВАТС из внешней среды, по своей природе с необходимостью является недетерминированной и неполной. Первое означает, что в одном и том же состоянии среды на обработку в систему управления ВАТС может прийти разная информация. Второе — то, что некоторые аспекты среды принципиально недоступны сенсорным системам ВАТС для наблюдения. Это серьёзная проблема, ставящая перед разработчиками ВАТС сложные задачи, для некоторых из которых до сих пор нет полноценного решения.
Непрогнозируемое поведение других агентов . Все другие агенты, которые действуют в той же среде, что и ВАТС (другие транспортные средства, велосипедисты, пешеходы и даже животные), обладает трудно прогнозируемым поведением. ВАТС, наблюдающее за окружающей обстановкой, может только предположить целый набор возможных вариантов траекторий других агентов с приписыванием каждому варианту некоторой вероятности, что в совокупности по ансамблю агентов ведёт к комбинаторному взрыву возможных интегральных вариантов развития событий в среде.
Отсутствие целостного описания воспринимаемого окружения . Разные сенсорные системы ВАТС поставляют в его систему управления данные различных сенсорных модальностей (видео, радар, лидар и т. д.), однако на основании этих данных не формируется целостного описания окружающего пространства, а как будто бы в одном «ящике» собрано несколько подсистем управления, работающих независимо друг от друга, и каждая из которых отвечает за какой-то определённый аспект функционирования ВАТС.
Разнообразные атаки на автомобиль . Наконец, нельзя не отметить возможность осуществления разнообразных атак на информационные и интеллектуальные системы автомобиля от традиционных кибератак на аппаратное и программное обеспечения до новых типов атак, направленных на интеллектуальную систему управления, работающую на методах искусственного интеллекта. Можно отметить так называемые атаки оптическими иллюзиями, когда система компьютерного зрения ВАТС подвергаются воздействию изображений, которые могут поменять поведение автомобиля на противоположное тому, которое требуется в текущей ситуации.
Само собой разумеется, что все перечисленные проблемы не представляют собой фундаментальных непреодолимых препятствий, поэтому в конечном итоге они будут разрешены. В частности, в работах [Душкин & Андронов, 2020] и [Душкин & Ильинский, 2019] предложены схемы решения проблем отсутствия целостного восприятия и атак на ВАТС соответственно. Целью настоящей работы является описать направление исследований для решения трёх первых из перечисленных проблем. И для этого пригодится теория многоагентных систем [Тарасов, 2002] из области искусственного интеллекта.
Основное положение теории многоагентных систем (МАС) заключается в том, что в некоторой среде взаимодействует множество автономных, независимых друг от друга агентов, которые могут быть различной природы и функционировать на основании различных принципов. Важный элемент МАС — именно взаимодействие агентов друг с другом. Само собой разумеется, что каждый агент, в свою очередь, тоже представляет собой систему, которая в то же самое время взаимодействует и со средой, в которой агент функционирует. И таким образом, в рамках МАС получается два вида взаимодействия — между агентами и средой, и среди агентов друг с другом. Так что МАС — это система более высокого уровня системной иерархии, которая может решать задачи, принципиально недоступные как одному агенту, так и простому их невзаимодействующему набору.
Теорема о необходимом разнообразии [Эшби, 1959] из области кибернетики говорит о том, что для успешного управления разнообразие системы управления должно быть не меньше, чем разнообразие объекта управления. Это может быть достигнуто принципиально двумя путями — при помощи повышения разнообразия системы управления или при помощи снижения разнообразия объекта управления.
Снижение разнообразия объекта управления достигается введением различных норм и правил поведения. Фактически, правила дорожного движения — это и есть мера по снижению разнообразия в условиях, когда воздействовать на среду и участников дорожного движения иными мерами не представляется возможным. Наличие оговорённых правил поведения на автомобильных дорогах обуславливает то, что от участников дорожного движения будут ожидаться определённые действия в заданных ситуациях. Использование нормативно-технического регулирования (различные ГОСТ на обустройство автомобильных дорог и придорожной инфраструктуры) позволяет снизить разнообразие окружающего ВАТС пространства.
Тем не менее, все перечисленные меры, являющиеся в целом достаточными для водителей-людей, недостаточны для полноценной организации беспилотного и безостановочного движения, в том числе и потому, что на автомобильных дорогах остаются транспортные средства, управляемые людьми — и это самый серьёзный источник недетерминированности и неопределённости ситуации в среде для ВАТС. Повышение уровня автоматизации транспортного средства чуть-чуть снижает уровень недетерминированности поведения агентов на дороге, но не исключает его полностью. К тому же, среда остаётся частично наблюдаемой, какой бы набор сенсоров не использовался в составе ВАТС.
Теория МАС даёт важную концепцию, которую можно использовать для развития ВАТС. Если рассмотреть всё множество ВАТС на дороге, то оно представляет собой именно МАС. Вместе с тем сами по себе ВАТС — это отдельные, автономные единицы, и множество таких транспортных средств представляет собой лишь простую совокупность агентов. В такой простой совокупности не возникает эмерджентных эффектов, которые возникают в МАС тогда, когда агенты взаимодействуют между собой. Другими словами, если МАС состоит из взаимодействующих друг с другом агентов, то такая МАС обладает намного большим разнообразием, чем простая совокупность невзаимодействующих агентов.
Вместе с тем разработка ВАТС предполагает возможность организации взаимодействия между подключённым автомобилем и другими агентами на автомобильной дороге и дорожной инфраструктуре. Все типы таких взаимодействий объединяют под названием «V2X-взаимодействие», от английского выражения «vehicle to everything» — «автомобиль со всем, что вокруг» [Kiela et al., 2020]. В современной практике выделяют следующие типы V2X- взаимодействия:
V2V — взаимодействие автомобилей друг с другом (V = vehicle, англ. «автомобиль»). Обычно такое взаимодействие осуществляется напрямую, но в некоторых случаях взаимодействие может происходить через пиринговую сеть VANET [Kugali & Kadadevar, 2020], либо через центральную систему управления по схеме V2C+C2V.
V2C и C2V — взаимодействие подключённого автомобиля с центральной системой управления (C = center, англ. «центр»). Если есть связь с общей сетью передачи данных, то взаимодействие с центральной системой управления позволяет как получать и передавать значимую информацию для конкретного транспортного средства, так и осуществлять все остальные типы взаимодействия через центр. В этом случае центральная система управления выступает V2X-платформой, транспортной средой, в которой и благодаря которой осуществляется взаимодействие, а также происходят все низкоуровневые технологические операции, типа контроля доступа, журналирования, информационного аудита и т. д.
V2I и I2V — взаимодействие транспортного средства с элементами инфраструктуры, обычно периферийным оборудованием ИТС (I = infrastructure, англ. «инфраструктура»). Один из важнейших типов прямого взаимодействия, когда подключённый автомобиль получает важную информацию непосредственно от технических средств организации дорожного движения (ТСОДД). В этом типе взаимодействия может быть огромное количество сценариев того, как движение оптимизируется из-за самого факта наличия такого взаимодействия. Ну и автомобили также могут передавать элементам ТСОДД разнообразную информацию, в том числе и для передачи далее в рамках организации VANET. То есть элементы ТСОДД также могут выступать узлами VANET.
V2P и P2V — это варианты взаимодействия автомобиля с устройствами пешеходов и пассажиров (P = pedestrian или passenger, англ. «пешеход» или «пассажир» соответственно). В основном это взаимодействие носит характер информационного оповещения людей, использующих транспорт, однако могут быть сценарии, когда, например, устройство пешехода оповещает приближающееся ВАТС о наличии человека на проезжей части. Другим примером такого класса взаимодействий может быть целеуказание для ВАТС с пассажирского гаджета.
V2D и D2V — наконец, это вариант двухстороннего взаимодействия с произвольными устройствами, не входящими в предыдущие классы (D = device, англ. «устройство»). Например, это могут быть периферийные устройства иных систем, располагающихся в непосредственной близости от автомобильной дороги. Обычно этот тип взаимодействия предназначен для организации стабильных VANET.
V2G — по объективной необходимости ВАТС является электромобилем, и этот тип взаимодействия предполагает непосредственное взаимодействие ВАТС с электроснабжающей сетью (G = grid, англ. «сеть», обычно имеется в виду сеть электроснабжения). Это довольно экзотический тип взаимодействий, который на практике не используется для организации многоагентной системы.
V2N — это также экзотический тип взаимодействия, при котором ВАТС взаимодействует непосредственно с сетью передачи данных как актором (N = network, англ. «сеть», и здесь имеется в виду именно сеть передачи данных). Под этим типом взаимодействия имеются в виду технологические низкоуровневые транзакции, которые обеспечивают сам факт подключения ВАТС к сети. Этот тип V2X-взаимодействия также не используется для организации МАС.
Все эти типы взаимодействия между агентами, функционирующими в рамках дорожного движения и дорожной деятельности, могут использоваться для создания эмерджентных эффектов в рамках многоагентной ИТС. В этом случае такая многоагентная ИТС может быть названа «кооперативной», поскольку взаимодействие агентов направлено на достижение общих целей ИТС. В качестве примера такой цели, которая может входить в противоречие с частными целями каждого конкретного ВАТС и других агентов, можно привести задачу достижения системного равновесия на улично-дорожной сети населённого пункта [Lien et al., 2019].
Важно отметить, что новые технологии открывают новые возможности по организации и управления дорожным движением с использованием ВАТС. Автоматизация старого порядка приводит только к тому, что остаётся старый порядок, только автоматизированный. Однако при использовании средств автоматизации всегда необходимо искать возможности по решению новых задач [Глушков, 1972].
В качестве примеров такой автоматизации новых задач можно привести следующие варианты применения V2X-взаимодействия:
Организация VANET. Сеть VANET — это пиринговая (одноранговая) автономная сеть передачи данных, которая может динамически создаваться на основе подключающихся друг к другу устройств, физически разнесённых в пространстве. Предназначением такой сети может быть как информационный обмен между подключёнными устройствами, так и организация передачи данных от устройства, у которого нет прямого доступа к общей сети связи. Таким образом, если у конкретного ВАТС нет связи с общей сетью и, соответственно, недоступно V2C-взаимодействие, то такое ВАТс может передать своё сообщение в центр через VANET-сеть из ближайших автомобилей и других устройств таким образом, чтобы сообщение попало в центральную систему управления через транспортное средство, которое в текущий момент имеет связь с общей сетью.