【技术实现步骤摘要】
本专利技术属于计算机应用，涉及一种城市实景三维建模方法，具体涉及一种基于空地影像一致性特征学习的城市实景三维精细建模方法。
技术介绍
1、城市实景三维建模是城市三维数字空间基底构建的基础。在广域范围城市实景三维重建中，基于倾斜摄影测量技术的三维重建是主流技术。但是，由于视角限制、重叠遮挡等因素的干扰，传统无人机倾斜摄影测量采集的数据用于实景三维建模时，在比较高效地重建出较为完整的大范围三维模型顶面和立面的同时，也会在三维模型的底部和遮挡区域产生扭曲或空洞，这极大的影响了城市实景三维模型的应用。与此同时，研究者注意到地面视角采集的街景图像用于三维重建，能够获得比较精细的立面和底部模型，但是由于无法获得顶面信息，重建的模型完整性较差。由于这两种模型提供了城市场景中互补的三维结构信息，目前，使用相机或者地面采集车来采集地面影像数据来辅助无人机采集的空中影像数据以进行联合三维重建已经被认为是一种改善上述问题的有效途径。然而，由于空中影像和地面影像视角相差较大，观察同一物体时的重叠区域有限并且因为拍摄距离和焦距的不同，同一物体在不同视角下的分辨率尺度差距明显，其中包含的信息量也不同。这种由于拍摄时摄像机光心之间距离相差过大而产生的宽基线问题会导致目前主流的基于图像的三维重建系统无法达到理想的重建效果。
技术实现思路
1、为了解决上述的技术问题，本专利技术提供了一种基于空地影像一致性特征学习的城市实景三维精细模型方法，完成实景空地影像匹配与空地三维重建的过程，建立精细的城市实景三维模型。>
2、本专利技术采用的技术方案是：一种基于空地影像一致性特征学习的城市实景三维建模方法，包括以下步骤：
3、步骤1：针对成对空地影像，采用上下文特征增强方法进行空地半稠密特征匹配；
4、步骤2：使用了基于运动轨迹的特征点联合优化的方式来精细化匹配点的位置；
5、步骤3：基于ransac对步骤2中的匹配结果进行几何验证，获得符合几何性质的可靠匹配对；将可靠匹配对构建为匹配轨迹，所有的匹配轨迹形成最终的关联图；
6、步骤4：选择关联图中最稳定的一对匹配对作为模型基础，依据关联信息循环进行新图像的位姿恢复和依据几何约束将二维特征点三角化为三维点；在迭代过程中使用光束法平差和几何一致性平差来不断优化整个三维模型，最终获得高精度的空地三维重建时空解算模型。
7、作为优选，步骤1的具体实现包括以下子步骤：
8、步骤1.1：输入成对图像，通过特征金字塔进行多层级特征提取；
9、步骤1.2：利用特征金字塔的第四层特征图作为基础特征图，通过粗粒度高维稠密特征匹配模块，在粗粒度高维稠密特征匹配模块中对特征进行位置编码，然后通过注意力机制对特征进行增强，然后对两幅增强图进行相关性计算，通过多次迭代最终获得稳定的粗匹配；
10、步骤1.3：利用特征金字塔的第一层特征图作为基础特征图，通过细粒度低维稠密特征优化模块，在细粒度低维稠密特征优化模块中将步骤1.2中的粗匹配映射到本层特征图上，以匹配点为中心，构建特征块，将特征块进行位置编码和特征增强，选择第一个特征块的中心像素对应的特征与对应特征块中的特征计算相似性关系，通过计算概率分布的期望，得到对应匹配块上的亚像素级特征匹配。
11、作为优选，步骤1.2中，获取基础特征图之后，使用特征位置编码将位置信息和上下文关联信息编码进局部特征提取的特征图，将二维的特征图通过图像展平与位置编码转换为一维的带有图像位置信息的输入序列；
12、特征位置编码公式如下：
13、
14、其中(x,y)为图像特征图中的每个特征的像素坐标，(4i+k)为输入像素在特征图展平序列中的位置，k＝0、1、2、3，d为通道数，pe代表一维的带有图像位置信息的输入序列，4i+k代表每四个为一组，i表示特征通道的索引。
15、作为优选，步骤1.2中，所述粗粒度高维稠密特征匹配模块，由顺序连接的位置编码融合层、nc个注意力层和匹配头层组成；
16、所述位置编码融合层，将特征的位置编码经过3个全连接层转换成和图像特征维度一样的向量，随后将其与展平后的特征相加，作为注意力层的输入；
17、所述注意力层，由自注意力模块和交叉注意力模块组成；
18、所述自注意力模块，对每一张影像的展平特征图f，首先经过一个正则化操作，再经过多头的线性transformer层操作，构造出三张特征图f、g和h；特征图f和特征图g再进行矩阵乘法和softmax操作，得到矩形特征图，之后与特征图h相乘得到权重值，该权重值再加到展平特征图f中后输出；
19、所述交叉注意力模块，对经过自注意力模块后得到的特征图f1,f2,首先分别进行正则化。再经过多头的线性transformer层操作。即再通过大小为1的卷积核构造出三张特征图f1、g1、h1和f2、g2、h2，与自注意力不同，利用f1和g2做矩阵乘法和softmax操作，得到矩形特征图，之后与特征图h2相乘得到权重值，该权重值再加到特征图f1中后输出；利用f2和g1做矩阵乘法和softmax操作，得到矩形特征图，之后与特征图h1相乘得到权重值，该权重值再加到特征图f2中后输出；
20、所述匹配头层，对单张影像每个输出的向量分别与另一张影像所有的输出向量做softmax，得到匹配的概率；随后对概率进行阈值筛选，符合阈值的认定为匹配。
21、作为优选，步骤1.3中，所述细粒度低维稠密特征优化模块，由顺序连接的位置编码融合层、nc个注意力层和匹配头层组成；
22、所述细粒度低维稠密特征优化模块，输入是经过粗粒度高维稠密特征匹配模块输出的“可匹配的粗像素”在大尺度特征图上的patch对应，再经过展平处理；
23、所述位置编码融合层，将特征的位置编码经过3个全连接层转换成和图像特征维度一样的向量，随后将其与展平后的特征相加，作为注意力层的输入；随后是经过nc个注意力层；
24、所述匹配头层，对单张影像每个输出的向量分别与另一张影像所有的输出向量做softmax，得到匹配的概率。
25、作为优选，步骤2的具体实现包括以下子步骤：
26、步骤2.1：使用特征提取器提取特征点，并将特征点与步骤1中提取的亚像素级特征点进行融合；
27、步骤2.2：使用浅层基础特征图来表征原影像所包含的图像特征信息，利用多张具有重叠区域的特征图的局部图像特征来优化匹配特征点的位置，获得特征点在图像中的精确位置；
28、步骤2.3：将每一个特征点运动轨迹视作为一个整体，利用多视图匹配信息进行特征点位置精细化，其中运动轨迹的含义是从多视图图像上获得的同一个三维点的二维投影点的集合；对于特征匹配中获得的每一条匹配轨迹，针对性地获得特征度量误差以建立代价函数，同时利用与光束法平差类似的最小二乘方法来获得代价函数的最小化，获得整条轨迹上特征点的精细化位置。
29、作本文档来自技高网...
【技术保护点】
1.一种基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于，步骤1的具体实现包括以下子步骤：
3.根据权利要求2所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于，步骤1.2中，获取基础特征图之后，使用特征位置编码将位置信息和上下文关联信息编码进局部特征提取的特征图，将二维的特征图通过图像展平与位置编码转换为一维的带有图像位置信息的输入序列；
4.根据权利要求2所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于：步骤1.2中，所述粗粒度高维稠密特征匹配模块，由顺序连接的位置编码融合层、Nc个注意力层和匹配头层组成；其中Nc是自定义的超参数；
5.根据权利要求2所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于，步骤1.3中，所述细粒度低维稠密特征优化模块，由顺序连接的位置编码融合层、Nc个注意力层和匹配头层组成；
6.根据权利要求1所述的基于空地影像一致性特征学习
7.根据权利要求6所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于：步骤2.1中，融合公式为：
8.根据权利要求6所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于：步骤2.2中，假设同一空间点的局部特征信息在各图像中是不变的，采用两个图像特征点间的特征度量误差e来表示两个特征点之间位置的差异：
9.根据权利要求6所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于：步骤2.3中，所述代价函数为：
10.根据权利要求1-9任意一项所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于：步骤4中，假设同一空间点的深度学习特征在各图像中是保持不变的，将三维点投影到二维图像后，基于深度学习特征图的直接法优化函数如下：
...【技术特征摘要】
1.一种基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于，步骤1的具体实现包括以下子步骤：
3.根据权利要求2所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于，步骤1.2中，获取基础特征图之后，使用特征位置编码将位置信息和上下文关联信息编码进局部特征提取的特征图，将二维的特征图通过图像展平与位置编码转换为一维的带有图像位置信息的输入序列；
4.根据权利要求2所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于：步骤1.2中，所述粗粒度高维稠密特征匹配模块，由顺序连接的位置编码融合层、nc个注意力层和匹配头层组成；其中nc是自定义的超参数；
5.根据权利要求2所述的基于空地影像一致性特征学习的城市实景三维建模方法，其特征在于，步骤1.3中，所述细粒度低维稠密特征优化模块，由顺序连接的位置编码融合...
【专利技术属性】
技术研发人员：郑先伟，李宏杰，马启源，刘奥楠，熊汉江，
申请(专利权)人：武汉大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。