Никита Шахулов - Определение положения в космосе на основе сопоставления изображения с 3D-цифровой моделью поверхности

© Никита Шахулов, 2022

ISBN 978-5-0056-9958-9

Создано в интеллектуальной издательской системе Ridero

Шахулов Никита Ренарьевич – специалист по геоинформационным системам и геомаркетингу, Инновационный-образовательный Центр космических услуг ОАО «НПК „РЕКОД“», г. Волгоград

Член – Русского Космического Общества, Американского геофизического союза

Аннотация:

Разработка точной оценки положения бортовой камеры является одной из основных задач спутниковых систем, и попытки улучшить точность положения камеры дистанционного зондирования никогда не прекращаются. Положение камеры может быть восстановлено путем выравнивания захваченного 2D-изображения и 3D-цифровой модели поверхности соответствующей сцены. В этой статье предлагается новый метод оценки положения камеры по захваченным изображениям с использованием более известных 3D-продуктов real scene для повышения точности определения положения камеры дистанционного зондирования. Целью этой оценки является определение положения камеры исключительно по изображению, основанному на известной 3D-модели, где 3D-продукты с очень высоким пространственным разрешением проецируются на пространство изображения системой виртуальной камеры с содержащимися в ошибках начальными параметрами внешней ориентации, и можно ли определить положение камеры. точно зависит от результата 2D—3D регистрации. Процесс состоит из двух этапов: извлечение признаков и измерение, и регистрация сходства. Кроме того, предлагаемый способ пересматривает матрицу вращения и вектор перемещения, используя формулировку, основанную на кватернионном представлении вращения, соответственно. Я оцениваю метод на сложных данных моделирования, и результаты показывают, что может быть достигнута приемлемая точность положения камеры.

Ключевые слова:спутник, физика, математика, астрофизика, 3D-модели, спутниковые снимки, кватернион, фотограмметрия, компьютерное зрение, AR, VR.

Вступление

1.1 Фон

Во многих областях, таких как автономная навигация, 3D-реконструкция и непрерывное моделирование города, можно извлечь выгоду из точной информации о местоположении и ориентации камер или датчиков. В частности, разработка точного положения бортовой камеры является одной из основных задач спутниковой системы, и поэтому некоторые исследователи посвятили себя этой области. Однако оценка положения камеры по-прежнему остается проблемой в области дистанционного зондирования. В качестве потенциального метода решения этой проблемы была разработана оптическая полезная нагрузка для определения ориентации спутника, которая может отвечать критическим требованиям к небольшим низкоорбитальным спутникам, таким как качество освещения, малый объем и низкое энергопотребление. Кроме того, вычислительная производительность бортового компьютера может быть значительно улучшена с помощью графического процессора (GPU). Взятые вместе, бортовой компьютер может обрабатывать изображение, полученное с помощью пульта дистанционного управления, зондирующая камера на орбите и определяет отклонение позы. В этом контексте была проведена структура регистрации изображения в модель с использованием контекстно-зависимого геометрического хэша [5, 6]. В [5] объекты с обрезными углами и контекстные объекты использовались для решения проблемы неоднозначности сопоставления при регистрации отдельных изображений с известными моделями 3D-зданий без текстуры. Это указывает на то, что фундаментальным шагом для облегчения позирования в космосе является согласованная регистрация данных дистанционного зондирования, полученных в разные эпохи, с существующими 3D-моделями. Авторы в [6] стремились оценить положение спутника путем сопоставления изображений наблюдения и известных изображений базовой карты.

В последнее время генерация крупномасштабных 3D-моделей получила значительный прорыв благодаря значительному развитию фотограмметрии и компьютерного зрения. Кроме того, постоянно развивающийся интернет высококачественных 3D-продуктов привел к разрушительным результатам [7]. В результате существует множество поставщиков высокоточных и высококачественных продуктов для создания 3D-моделей, таких как Google Earth, Maxar, Airbus и Microsoft Maps. На сегодняшний день самая точная 3D-модель, созданная на основе спутниковых снимков, может достигать точности 3 м@SE

(ошибка 3 м с SE90, что является аббревиатурой 90-го процентиля сферической ошибки) с ведущими компаниями, которые обеспечивают разрешение 0,5 м и абсолютную точность 3 м 3D-модель поверхности с текстурами со всех сторон. Высокое качество этих доступных продуктов обеспечивает прочную основу для этой работы. Это делает оценку положения камеры с помощью более известной 3D-модели поверхности реальной сцены многообещающим подходом в области дистанционного зондирования. Кроме того, новые технологии дополненной реальности (AR), виртуальной реальности (VR) и цифровых двойников позволяют использовать 3D-архитектурные модели в качестве интерактивных инструментов на компьютерах или мобильных устройствах.

1.2 Сопутствующая работа

Определенное внимание было уделено исследовательской работе, связанной с поиском способов сопоставления изображения с моделью для оценки положения камеры как в академических кругах, так и в промышленности. В этом разделе дается краткий обзор соответствующей структуры, которая в основном фокусируется на соответствующих методах оценки позы. Современные подходы к мультимодальной 2D-3D регистрации можно в целом разделить на два типа: (1) типичные методы, основанные на геометрии, и (2) методы регрессии позы, основанные на машинном обучении, которые подробно рассматриваются ниже.

Типичные методы, основанные на геометрии: Типичные методы, основанные на геометрии, реализуются путем установления соответствующей взаимосвязи между захваченным изображением и 3D-моделью. Как правило, процесс регистрации изображения в модель включает в себя три этапа: (1) извлечение признаков, (2) измерение сходства и сопоставление и (3) оценка положения камеры. Характерные особенности – это наиболее распространенные точки, которые обнаруживаются как на захваченном изображении, так и в 3D-модели, такие как края, контурные линии, точки пересечения и углы, а также используются в процессе сопоставления изображений [5, 8—12]. Необходимо проявлять особую осторожность, чтобы убедиться, что эти особенности различимы, хорошо распределены и могут быть надежно обнаружены в наборах данных изображений и 3D-моделей.