Никита Шахулов - Определение положения в космосе на основе сопоставления изображения с 3D-цифровой моделью поверхности

В отличие от методов внешних датчиков, таких как инерциальные измерительные устройства (IMU), Cai и Ye [13] использовали предварительную информацию об ориентации изображения дистанционного зондирования в качестве ссылки, а положения захваченных изображений корректировались на основе отклонения ориентации между камерой запроса и эталонной камерой. На основе информации об ориентации спутника, которая была извлечена из спутникового изображения дистанционного зондирования, ориентация спутника была рассчитана на основе смещения между спутниковым изображением в реальном времени и эталонным изображением. Этот метод позволяет не только точно измерить ошибки ориентации осей крена и тангажа, но и измерить ось рыскания. Янг и Чен [14] предложили метод сопоставления изображений беспилотных летательных аппаратов (БПЛА) с данными лидара, в котором контур зданий сравнивался с величиной тензорного градиента на изображении для оценки параметров внешней ориентации (EOPs) изображения. Смещение между изображением в реальном времени и эталонным изображением было получено на основе таких методов, как обработка изображений. Этот метод обеспечивает точное измерение положения камеры на основе начальной внешней ориентации изображения. Была рассмотрена новая схема гибридного консенсуса случайной выборки (RANSAC) для улучшения оценки положения камеры как для 2D-3D, так и для 2D-2D совпадений [15], в которой подходящий решатель может быть автоматически выбирается из гибридных различных минимальных решателей на каждой итерации.

Крупномасштабное визуальное географическое местоположение было опубликовано в [16]. В этой работе подробно обсуждалась двунаправленная взаимосвязь между изображением и местоположением, были всесторонне рассмотрены новейшие технологии в области крупномасштабной визуальной географической локации, а также обсуждалась новая тенденция в этой области. В частности, регистрация 2D—3D является ключевым шагом для создания эталонной цифровой 3D-модели земли [17—19]. Использование прямых методов 2D—3D регистрации показало лучшую производительность с точки зрения улучшения производительности регистрации [20]. В [20], применяя квантование визуального словаря и приоритетный поиск соответствия, была изучена проблема быстрой локализации на основе изображений на основе эффективного прямого сопоставления 2D-3D. Стремясь решить такие проблемы, как масштабируемость и неоднозначность из—за прямого метода сопоставления 2D—3D, в [21] был исследован принципиальный подход глобального сопоставления 2D-3D, в котором для достижения локализации камеры использовалась глобальная контекстуальная информация из обоих наборов данных. Чжао и др. [22] представили надежный метод измерения сходства для сканирования 2D-изображения в 3D-диапазоне, собранного в городских сценариях с использованием недорогих и высококачественных датчиков путем вычисления измерений сходства между набором пар атрибутов 2D—3D. Автоматический и точный метод сопоставления изображения с моделью был предложен в [23], где для выполнения регистрации использовался алгоритм оптимизации роя частиц (PSO). PSO объединил разреженные и плотные объекты, чтобы значительно увеличить их сильные стороны, независимо от модальностей как изображения, так и 3D-модели. Однако качество регистрации, на которое влияют параметры PSO, нуждается в более детальном анализе. PSO также может быть использован для уточнения перевода между двумя различными представлениями [24]. Ли и др. [24] предложили автоматический и не требующий маркеров метод регистрации для точной регистрации, основанный на семантических признаках, извлеченных из панорамных изображений и облаков точек. Глобальная система позиционирования (GPS) и IMU использовались для предоставления некоторых вспомогательных средств для структуры из движения (SfM) для оценки точной матрицы вращения между панорамной камерой и лазерным сканером.

Для метода PSO параметры могут оказывать некоторое негативное влияние на оценку внешней ориентации камеры. Чтобы справиться с этим недостатком, был использован метод поиска глобальной оптимизации, основанный на ветвлении и привязке (BnB). Этот метод находит новые верхние и нижние границы целевой функции путем преобразования задачи сопоставления 2D-3D в задачу оптимизации. При решении задачи оценки позы такого типа могут быть сформированы две стратегии сопоставления набора точек, а именно: фиксация набора точек 3D и фиксация набора точек 2D и системы координат проекции. Первый находит оптимальную ориентацию и положение камеры в соответствии с полученными изображениями cam-era и набором 2D-точек. Последний приводит набор точек 2D-проекции, который был извлечен из проекции 3D-точки, в соответствие с набором точек 2D путем нахождения соответствующих внешних параметров камеры. Эти две стратегии сопоставления гарантируют глобальный оптимум без предварительной информации о позе [25, 26]. Однако у этого метода есть и свой недостаток: большое пространство поиска увеличивает временные затраты и вычислительную сложность.

Методы регрессии позы на основе машинного обучения изучают соответствующую взаимосвязь между изображениями и 3D-объектами сцены из обучающих выборок с различными ориентациями и положениями. Правила принятия решений и регрессионные функции обучения также применяются к выборкам, и полученные результаты используются в качестве оценки отношения тестовых выборок. Метод, основанный на обучении, может улучшить производительность позирования камеры при позиционировании монокулярных изображений с шестью степенями свободы (6DOF) и демонстрирует большие перспективы в области 3D-модели положения камеры. Было предложено несколько решений для работы с сквозной сетью. Кендалл и др. [27] представили сверточную нейронную сеть (CNN), основанную на монокулярной системе повторной локализации 6DOF в реальном времени, чтобы возвращать позу камеры из одного изображения RGB сквозным способом без каких-либо дополнительных вспомогательных условий. Обучающая метка CNN была сгенерирована автоматически из видеозаписи сцены с помощью SfM и многовидового стерео (MVS). Затем обучение передаче было использовано для определения перемещения в крупномасштабных наборах данных классификации, что стало первым применением CNN в сквозном позиционировании положения камеры 6DOF. Ву и др. [28] представили три технологии перемещения камеры на основе CNN и провели углубленное исследование и анализ CNN для перемещения камеры. Все методы, упомянутые выше, могут работать только тогда, когда информация о глубине недоступна, что является наиболее очевидным ограничением CNN в физической области.

Читать дальше