模型与全景图的配准方法、系统、设备和介质以及地图技术方案

本发明专利技术涉及数据采集领域，特别涉及模型与全景图的配准方法、系统、设备和介质以及地图。本发明专利技术的三维模型与实景全景图的配准方法，包括：对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。本发明专利技术在三维模型质量较低、实景全景图存在遮挡、实景全景图和三维模型时空不匹配等不利情况下，仍可以自动化地达到较高的配置精度。本发明专利技术提出了在大规模采集数据之后的处理中自动地进行三维模型与实景全景图的配准的新方法，规避了异源图像之间特征点自动匹配失效的弊端，可以有效降低数据处理的时间与人力成本。

Registration method, system, equipment, medium and map of model and panorama

The invention relates to the field of data acquisition, in particular to the registration method, system, equipment, medium and map of model and panorama. The registration method of the three-dimensional model and the real panorama of the invention includes: rasterizing the three-dimensional model to generate the virtual panorama at the virtual panorama viewpoint; extracting the first contour line from the virtual panorama and the second contour line from the real panorama; registering the virtual panorama and the real panorama according to the first contour line and the second contour line. The invention can automatically achieve high configuration accuracy under the unfavorable conditions of low quality of 3D model, occlusion of real panorama, space-time mismatch between real panorama and 3D model. The invention proposes a new method of automatic registration of 3D model and real panorama in the processing after large-scale data acquisition, which avoids the defect of automatic matching failure of feature points between heterogeneous images, and can effectively reduce the time and labor cost of data processing.

【技术实现步骤摘要】
模型与全景图的配准方法、系统、设备和介质以及地图
本专利技术涉及数据采集领域，特别涉及模型与全景图的配准方法、系统、设备和介质以及地图。
技术介绍
目前地理信息系统(GeographicInformationSystem，GIS)应用中，数据是重要的组成部分，GIS数据的种类较多，包括GIS基础数据、卫星影像数据、倾斜摄影数据、实景三维全景数据、地形数据、三维模型数据、路网数据等。随着倾斜摄影测量软硬件技术的发展，以及快速构建大范围地形地貌的需要，可同时提供精细纹理与几何特征以及高精度定位的倾斜摄影测量产品，已经成为建立大规模地形地貌特别是城市区域中数字表面模型(DSM)与数字高程模型(DEM)的重要源数据。倾斜摄影测量基于被动光学测量方法，利用无人机密集拍摄的影像，通过空中三角测量和优化加密方法，获取地面目标的稠密高精度点云；在建模的同时获取了地物的色彩纹理信息，可输出地面不规则三角网模型。三维倾斜摄影模型呈现地表一定范围区域内位于基准坐标系内的三角面以及场景中精细纹理信息。高分辨率、高质量建模的三维倾斜摄影测量模型是对真实世界的高度近似。倾斜摄影测量在同等范围、同等精度要求下，其数据建模成本比激光测量方法要低很多。因此，高精度倾斜摄影测量在测绘和GIS领域都有重要的应用价值。然而，三维倾斜摄影模型有一些局限性。该模型是室外、静态、不透明目标的几何模拟，无法有效建模水面和玻璃面等透明反光目标；模型对较小尺度的目标建模能力有限，容易造成细节丢失和几何失真；模型反映的是拍摄时地物的纹理和几何信息，具有静态和瞬时性，缺少真实世界中的运动目标和实时信息；靠近地面附近的目标因为建筑物和树木遮挡等因素，出现模型细节缺失和变形等问题。球型实景全景图是拍摄瞬间对周围真实场景信息的记录。高分辨率全景数据可记录场景中色彩、光照、纹理和运动目标信息，为三维倾斜摄影模型等其他三维模型补充所需的细节内容。实景全景图是拍摄瞬间空间场景的真实投影，除了提供地物详实的色彩和纹理等属性信息，同时保留了拍摄时刻的场景事件、运动物体和目标空间关系等重要信息，这些都是三维模型中所欠缺的内容。综上，将三维模型和实景全景图结合起来，实现地面纹理与几何信息的准确融合，在发挥两种数据各自的优势、形成新型的地理信息数据和可视化展示、节约数据采集与加工成本、高效快速获取一定精度测绘成果等方面意义巨大。三维数据与全景数据的配准方面，目前主要是传统三维点云数据与全景的自动配准，其主要实现手段是：先依靠初步标定参数进行大致对齐，再通过点云模型和全景关键点的自动或半自动匹配优化配准参数，将全景和点云纳入统一坐标系中。传统配准模式中，点云和全景采集几乎同时进行，目标场景差异较小，因而经过深度图像化的点云数据和全景图像相关性较高；点云和全景配准初始参数可以通过简单的量测得出，且一经匹配，点云模型和全景空间关系是刚性变换，可推广到任一测站中以实现大范围数据的配准。然而，三维倾斜摄影模型等其他三维模型和实景全景之间的配准难度很大，主要表现有：时空分辨率不同，全景采集时间和精度与倾斜摄影模型有差异；全景定位精度与GPS采集相关，后者可能因为GPS信号弱或多路径干扰导致定位误差升高；实景全景图像和倾斜摄影模型图像属于异源图像，同名点在色彩、纹理、梯度等常规相似性度量上均较差，无法通过自动匹配点进行模型配准；遮挡和视差也会导致的相关性大幅度降低。
技术实现思路
本专利技术的目的在于提供模型与全景图的配准方法、系统、设备和介质以及地图，可以先利用实景全景图的粗精度位置和姿态信息，渲染三维模型的虚拟全景图；再利用虚拟全景图和实景全景图的轮廓线的相关性，通过随机优化方法，实现三维模型与实景全景图的高精度配准。本专利技术在三维模型质量较低、实景全景图存在遮挡、实景全景图和三维模型时空不匹配等不利情况下，仍可以自动化地达到较高的配置精度。本专利技术提出了在大规模采集数据之后的处理中自动地进行三维模型与实景全景图的配准的新方法，规避了异源图像之间特征点自动匹配失效的弊端，可以有效降低数据处理的时间与人力成本。本专利技术公开了一种三维模型与实景全景图的配准方法，包括：对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。可选地，对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图，包括：确定实景全景图的全景中心在三维模型的坐标系下的坐标，以得到虚拟全景视点；确定实景全景图的坐标系与三维模型的坐标系的旋转矩阵；在虚拟全景视点处，根据旋转矩阵，对三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的虚拟全景图，深度信息指示三维模型中的点到虚拟全景视点的距离。可选地，从虚拟全景图中提取第一轮廓线，包括：根据深度阈值，确定虚拟全景图的前景和背景，第一轮廓线为虚拟全景图的前景和背景的分割线。可选地，从实景全景图中提取第二轮廓线，包括：根据梯度阈值，确定实景全景图的前景和背景，第二轮廓线为实景全景图的前景和背景的分割线。可选地，根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准，包括：使用随机优化方法来确定旋转平移参数，旋转平移参数使得第一轮廓线和第二轮廓线的相关性最大；根据旋转平移参数，旋转平移虚拟全景图或实景全景图以进行配准。本专利技术公开了一种三维模型与实景全景图的配准系统，包括：虚拟全景图生成模块，用于对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；轮廓线提取模块，用于从虚拟全景图中提取第一轮廓线，并且从实景全景图中提取第二轮廓线；配准模块，用于根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准。可选地，虚拟全景图生成模块对三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图，包括：确定实景全景图的全景中心在三维模型的坐标系下的坐标，以得到虚拟全景视点；确定实景全景图的坐标系与三维模型的坐标系的旋转矩阵；在虚拟全景视点处，根据旋转矩阵，对三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的虚拟全景图，深度信息指示三维模型中的点到虚拟全景视点的距离。可选地，轮廓线提取模块从虚拟全景图中提取第一轮廓线，包括：根据深度阈值，确定虚拟全景图的前景和背景，第一轮廓线为虚拟全景图的前景和背景的分割线。可选地，轮廓线提取模块从实景全景图中提取第二轮廓线，包括：根据梯度阈值，确定实景全景图的前景和背景，第二轮廓线为实景全景图的前景和背景的分割线。可选地，配准模块根据第一轮廓线和第二轮廓线，对虚拟全景图和实景全景图进行配准，包括：使用随机优化方法来确定旋转平移参数，旋转平移参数使得第一轮廓线和第二轮廓线的相关性最大；根据旋转平移参数，旋转平移虚拟全景图或实景全景图以进行配准。本专利技术公开了一种三维模型与实景全景图的配准设本文档来自技高网...

【技术保护点】
1.一种三维模型与实景全景图的配准方法，其特征在于，包括：/n对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；/n从所述虚拟全景图中提取第一轮廓线，并且从所述实景全景图中提取第二轮廓线；/n根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准。/n

【技术特征摘要】
1.一种三维模型与实景全景图的配准方法，其特征在于，包括：
对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
从所述虚拟全景图中提取第一轮廓线，并且从所述实景全景图中提取第二轮廓线；
根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准。


2.根据权利要求1所述的方法，其特征在于，对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图，包括：
确定所述实景全景图的全景中心在所述三维模型的坐标系下的坐标，以得到所述虚拟全景视点；
确定所述实景全景图的坐标系与所述三维模型的坐标系的旋转矩阵；
在所述虚拟全景视点处，根据所述旋转矩阵，对所述三维模型中的可见三角面进行光栅化，以生成虚拟全景视点处的具有深度信息的所述虚拟全景图，所述深度信息指示所述三维模型中的点到所述虚拟全景视点的距离。


3.根据权利要求2所述的方法，其特征在于，从所述虚拟全景图中提取第一轮廓线，包括：根据深度阈值，确定所述虚拟全景图的前景和背景，所述第一轮廓线为所述虚拟全景图的前景和背景的分割线。


4.根据权利要求1至3中任一项所述的方法，其特征在于，从所述实景全景图中提取第二轮廓线，包括：根据梯度阈值，确定所述实景全景图的前景和背景，所述第二轮廓线为所述实景全景图的前景和背景的分割线。


5.根据权利要求4所述的方法，其特征在于，根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准，包括：
使用随机优化方法来确定旋转平移参数，所述旋转平移参数使得所述第一轮廓线和所述第二轮廓线的相关性最大；
根据所述旋转平移参数，旋转平移所述虚拟全景图或所述实景全景图以进行配准。


6.一种三维模型与实景全景图的配准系统，其特征在于，包括：
虚拟全景图生成模块，用于对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图；
轮廓线提取模块，用于从所述虚拟全景图中提取第一轮廓线，并且从所述实景全景图中提取第二轮廓线；
配准模块，用于根据所述第一轮廓线和所述第二轮廓线，对所述虚拟全景图和所述实景全景图进行配准。


7.根据权利要求6所述的系统，其特征在于，所述虚拟全景图生成模块对所述三维模型进行光栅化，生成虚拟全景视点处的虚拟全景图，包括：
确定所述实景全景图的全景中心在所述三维模型的坐标系下的坐标，以得到所述虚拟全景视点；
确定所述实景全景图的坐标系与所述三维模型的坐标系的旋转矩阵；

【专利技术属性】
技术研发人员：张小虎，
申请(专利权)人：上海霁目信息科技有限公司，
类型：发明
国别省市：上海;31