Определение положения в космосе на основе сопоставления изображения с 3D-цифровой моделью поверхности

Шахулов Никита Ренарьевич – специалист по геоинформационным системам и геомаркетингу, Инновационный-образовательный Центр космических услуг ОАО «НПК „РЕКОД“», г. Волгоград

Член – Русского Космического Общества, Американского геофизического союза

Аннотация:

Разработка точной оценки положения бортовой камеры является одной из основных задач спутниковых систем, и попытки улучшить точность положения камеры дистанционного зондирования никогда не прекращаются. Положение камеры может быть восстановлено путем выравнивания захваченного 2D-изображения и 3D-цифровой модели поверхности соответствующей сцены. В этой статье предлагается новый метод оценки положения камеры по захваченным изображениям с использованием более известных 3D-продуктов real scene для повышения точности определения положения камеры дистанционного зондирования. Целью этой оценки является определение положения камеры исключительно по изображению, основанному на известной 3D-модели, где 3D-продукты с очень высоким пространственным разрешением проецируются на пространство изображения системой виртуальной камеры с содержащимися в ошибках начальными параметрами внешней ориентации, и можно ли определить положение камеры. точно зависит от результата 2D—3D регистрации. Процесс состоит из двух этапов: извлечение признаков и измерение, и регистрация сходства. Кроме того, предлагаемый способ пересматривает матрицу вращения и вектор перемещения, используя формулировку, основанную на кватернионном представлении вращения, соответственно. Я оцениваю метод на сложных данных моделирования, и результаты показывают, что может быть достигнута приемлемая точность положения камеры.

Ключевые слова: спутник, физика, математика, астрофизика, 3D-модели, спутниковые снимки, кватернион, фотограмметрия, компьютерное зрение, AR, VR.

Вступление

1.1 Фон

Во многих областях, таких как автономная навигация, 3D-реконструкция и непрерывное моделирование города, можно извлечь выгоду из точной информации о местоположении и ориентации камер или датчиков. В частности, разработка точного положения бортовой камеры является одной из основных задач спутниковой системы, и поэтому некоторые исследователи посвятили себя этой области. Однако оценка положения камеры по-прежнему остается проблемой в области дистанционного зондирования. В качестве потенциального метода решения этой проблемы была разработана оптическая полезная нагрузка для определения ориентации спутника, которая может отвечать критическим требованиям к небольшим низкоорбитальным спутникам, таким как качество освещения, малый объем и низкое энергопотребление. Кроме того, вычислительная производительность бортового компьютера может быть значительно улучшена с помощью графического процессора (GPU). Взятые вместе, бортовой компьютер может обрабатывать изображение, полученное с помощью пульта дистанционного управления, зондирующая камера на орбите и определяет отклонение позы. В этом контексте была проведена структура регистрации изображения в модель с использованием контекстно-зависимого геометрического хэша [5, 6]. В [5] объекты с обрезными углами и контекстные объекты использовались для решения проблемы неоднозначности сопоставления при регистрации отдельных изображений с известными моделями 3D-зданий без текстуры. Это указывает на то, что фундаментальным шагом для облегчения позирования в космосе является согласованная регистрация данных дистанционного зондирования, полученных в разные эпохи, с существующими 3D-моделями. Авторы в [6] стремились оценить положение спутника путем сопоставления изображений наблюдения и известных изображений базовой карты.

В последнее время генерация крупномасштабных 3D-моделей получила значительный прорыв благодаря значительному развитию фотограмметрии и компьютерного зрения. Кроме того, постоянно развивающийся интернет высококачественных 3D-продуктов привел к разрушительным результатам [7]. В результате существует множество поставщиков высокоточных и высококачественных продуктов для создания 3D-моделей, таких как Google Earth, Maxar, Airbus и Microsoft Maps. На сегодняшний день самая точная 3D-модель, созданная на основе спутниковых снимков, может достигать точности 3 м@SE

(ошибка 3 м с SE90, что является аббревиатурой 90-го процентиля сферической ошибки) с ведущими компаниями, которые обеспечивают разрешение 0,5 м и абсолютную точность 3 м 3D-модель поверхности с текстурами со всех сторон. Высокое качество этих доступных продуктов обеспечивает прочную основу для этой работы. Это делает оценку положения камеры с помощью более известной 3D-модели поверхности реальной сцены многообещающим подходом в области дистанционного зондирования. Кроме того, новые технологии дополненной реальности (AR), виртуальной реальности (VR) и цифровых двойников позволяют использовать 3D-архитектурные модели в качестве интерактивных инструментов на компьютерах или мобильных устройствах.

1.2 Сопутствующая работа

Определенное внимание было уделено исследовательской работе, связанной с поиском способов сопоставления изображения с моделью для оценки положения камеры как в академических кругах, так и в промышленности. В этом разделе дается краткий обзор соответствующей структуры, которая в основном фокусируется на соответствующих методах оценки позы. Современные подходы к мультимодальной 2D-3D регистрации можно в целом разделить на два типа: (1) типичные методы, основанные на геометрии, и (2) методы регрессии позы, основанные на машинном обучении, которые подробно рассматриваются ниже.

Типичные методы, основанные на геометрии: Типичные методы, основанные на геометрии, реализуются путем установления соответствующей взаимосвязи между захваченным изображением и 3D-моделью. Как правило, процесс регистрации изображения в модель включает в себя три этапа: (1) извлечение признаков, (2) измерение сходства и сопоставление и (3) оценка положения камеры. Характерные особенности – это наиболее распространенные точки, которые обнаруживаются как на захваченном изображении, так и в 3D-модели, такие как края, контурные линии, точки пересечения и углы, а также используются в процессе сопоставления изображений [5, 8—12]. Необходимо проявлять особую осторожность, чтобы убедиться, что эти особенности различимы, хорошо распределены и могут быть надежно обнаружены в наборах данных изображений и 3D-моделей. В отличие от методов внешних датчиков, таких как инерциальные измерительные устройства (IMU), Cai и Ye [13] использовали предварительную информацию об ориентации изображения дистанционного зондирования в качестве ссылки, а положения захваченных изображений корректировались на основе отклонения ориентации между камерой запроса и эталонной камерой. На основе информации об ориентации спутника, которая была извлечена из спутникового изображения дистанционного зондирования, ориентация спутника была рассчитана на основе смещения между спутниковым изображением в реальном времени и эталонным изображением. Этот метод позволяет не только точно измерить ошибки ориентации осей крена и тангажа, но и измерить ось рыскания. Янг и Чен [14] предложили метод сопоставления изображений беспилотных летательных аппаратов (БПЛА) с данными лидара, в котором контур зданий сравнивался с величиной тензорного градиента на изображении для оценки параметров внешней ориентации (EOPs) изображения. Смещение между изображением в реальном времени и эталонным изображением было получено на основе таких методов, как обработка изображений. Этот метод обеспечивает точное измерение положения камеры на основе начальной внешней ориентации изображения. Была рассмотрена новая схема гибридного консенсуса случайной выборки (RANSAC) для улучшения оценки положения камеры как для 2D-3D, так и для 2D-2D совпадений [15], в которой подходящий решатель может быть автоматически выбирается из гибридных различных минимальных решателей на каждой итерации.

Крупномасштабное визуальное географическое местоположение было опубликовано в [16]. В этой работе подробно обсуждалась двунаправленная взаимосвязь между изображением и местоположением, были всесторонне рассмотрены новейшие технологии в области крупномасштабной визуальной географической локации, а также обсуждалась новая тенденция в этой области. В частности, регистрация 2D—3D является ключевым шагом для создания эталонной цифровой 3D-модели земли [17—19]. Использование прямых методов 2D—3D регистрации показало лучшую производительность с точки зрения улучшения производительности регистрации [20]. В [20], применяя квантование визуального словаря и приоритетный поиск соответствия, была изучена проблема быстрой локализации на основе изображений на основе эффективного прямого сопоставления 2D-3D. Стремясь решить такие проблемы, как масштабируемость и неоднозначность из—за прямого метода сопоставления 2D—3D, в [21] был исследован принципиальный подход глобального сопоставления 2D-3D, в котором для достижения локализации камеры использовалась глобальная контекстуальная информация из обоих наборов данных. Чжао и др. [22] представили надежный метод измерения сходства для сканирования 2D-изображения в 3D-диапазоне, собранного в городских сценариях с использованием недорогих и высококачественных датчиков путем вычисления измерений сходства между набором пар атрибутов 2D—3D. Автоматический и точный метод сопоставления изображения с моделью был предложен в [23], где для выполнения регистрации использовался алгоритм оптимизации роя частиц (PSO). PSO объединил разреженные и плотные объекты, чтобы значительно увеличить их сильные стороны, независимо от модальностей как изображения, так и 3D-модели. Однако качество регистрации, на которое влияют параметры PSO, нуждается в более детальном анализе. PSO также может быть использован для уточнения перевода между двумя различными представлениями [24]. Ли и др. [24] предложили автоматический и не требующий маркеров метод регистрации для точной регистрации, основанный на семантических признаках, извлеченных из панорамных изображений и облаков точек. Глобальная система позиционирования (GPS) и IMU использовались для предоставления некоторых вспомогательных средств для структуры из движения (SfM) для оценки точной матрицы вращения между панорамной камерой и лазерным сканером.

Для метода PSO параметры могут оказывать некоторое негативное влияние на оценку внешней ориентации камеры. Чтобы справиться с этим недостатком, был использован метод поиска глобальной оптимизации, основанный на ветвлении и привязке (BnB). Этот метод находит новые верхние и нижние границы целевой функции путем преобразования задачи сопоставления 2D-3D в задачу оптимизации. При решении задачи оценки позы такого типа могут быть сформированы две стратегии сопоставления набора точек, а именно: фиксация набора точек 3D и фиксация набора точек 2D и системы координат проекции. Первый находит оптимальную ориентацию и положение камеры в соответствии с полученными изображениями cam-era и набором 2D-точек. Последний приводит набор точек 2D-проекции, который был извлечен из проекции 3D-точки, в соответствие с набором точек 2D путем нахождения соответствующих внешних параметров камеры. Эти две стратегии сопоставления гарантируют глобальный оптимум без предварительной информации о позе [25, 26]. Однако у этого метода есть и свой недостаток: большое пространство поиска увеличивает временные затраты и вычислительную сложность.

Методы регрессии позы на основе машинного обучения изучают соответствующую взаимосвязь между изображениями и 3D-объектами сцены из обучающих выборок с различными ориентациями и положениями. Правила принятия решений и регрессионные функции обучения также применяются к выборкам, и полученные результаты используются в качестве оценки отношения тестовых выборок. Метод, основанный на обучении, может улучшить производительность позирования камеры при позиционировании монокулярных изображений с шестью степенями свободы (6DOF) и демонстрирует большие перспективы в области 3D-модели положения камеры. Было предложено несколько решений для работы с сквозной сетью. Кендалл и др. [27] представили сверточную нейронную сеть (CNN), основанную на монокулярной системе повторной локализации 6DOF в реальном времени, чтобы возвращать позу камеры из одного изображения RGB сквозным способом без каких-либо дополнительных вспомогательных условий. Обучающая метка CNN была сгенерирована автоматически из видеозаписи сцены с помощью SfM и многовидового стерео (MVS). Затем обучение передаче было использовано для определения перемещения в крупномасштабных наборах данных классификации, что стало первым применением CNN в сквозном позиционировании положения камеры 6DOF. Ву и др. [28] представили три технологии перемещения камеры на основе CNN и провели углубленное исследование и анализ CNN для перемещения камеры. Все методы, упомянутые выше, могут работать только тогда, когда информация о глубине недоступна, что является наиболее очевидным ограничением CNN в физической области.