基于多源影像融合的建筑建模方法、装置制造方法及图纸

本发明专利技术公开了一种基于多源影像融合的建筑建模方法、装置，所述方法包括：根据第一点云模型和第二点云模型，进而获得第一投影面和第二投影面，将点的颜色语义和几何语义投影至投影面，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面；进行线段识别和匹配，确定第一投影面和第二投影面上线段的对应关系；计算第一投影面和第二投影面上同名语义线段之间的变换特征数值；若变换特征数值之间的偏差在标准阈值范围内，则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系，根据对应关系进行融合建模。采用上述技术方案，有效建立了无人机影像和近景影像之间的准确对应关系，提高了三维融合建模的精度。合建模的精度。合建模的精度。

【技术实现步骤摘要】
基于多源影像融合的建筑建模方法、装置


[0001]本专利技术涉及摄影测量、三维建模和计算机视觉
，尤其涉及一种基于多源影像融合的建筑建模方法、装置。

技术介绍

[0002]近年来，摄影测量成为获取三维地理信息的重要手段之一，无人机摄影可快速获取目标场景的多视角影像，但因摄影盲区易导致建筑物底部的建模较差，数码相机的地面拍摄灵活性强，但缺乏高层建筑物上部和顶部的影像信息。
[0003]现有技术中，为了解决单一摄影手段带来的限制，采用无人机影像和地面近景影像的融合建模方案。但是其中存在的问题是，两种不同的影像数据源，拍摄视角差异较大，两者之间的匹配精度低，进而严重影响融合模型精度、准确度和对目标场景的还原度。

技术实现思路

[0004]专利技术目的：本专利技术提供一种基于多源影像融合的建筑建模方法，旨在将异源影像的点云模型中的点的特征映射至投影面上，将异源投影面按照线段进行匹配，匹配度满足的线段认定存在对应关系，由此进行异源影像的点云模型的融合建模，有效建立无人机影像和近景影像之间的准确对应关系，提高三维融合建模的精度。
[0005]技术方案：本专利技术提供一种基于多源影像融合的建筑建模方法，包括：获取飞行器拍摄的目标建筑的第一影像序列，获取拍摄装置拍摄的目标建筑的第二影像序列，基于第一影像序列和第二影像序列，分别计算得到第一点云模型和第二点云模型；确定第一点云模型和第二点云中的目标建筑的平面，以平面作为投影面，分别获得第一投影面和第二投影面，按照点云模型中的点与投影面上的点之间的对应关系，将点的颜色语义和几何语义投影至投影面，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面；对第一颜色投影面和第二颜色投影面进行线段识别和匹配，确定第一颜色投影面和第二颜色投影面上线段的对应关系；对第一几何投影面和第二几何投影面进行线段识别和匹配，确定第一几何投影面和第二几何投影面上线段的对应关系；计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值；所述同名语义线段指具有对应关系的两条线段；若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内，则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系，根据对应关系进行第一点云模型和第二点云模型的融合建模。
[0006]具体的，通过运动恢复结构和三维多视角立体视觉算法，基于第一影像序列和第二影像序列，分别计算得到第一密集点云模型和第二密集点云模型。
[0007]具体的，几何语义的计算方法，包括：逐个计算点云模型中各点的空间姿态，将各点与局部领域内其他点进行拟合，形成拟合面；以拟合面的垂直法向量投影在水平面坐标系中的角度作为倾角，以拟合面与水平面之间的夹角作为倾向，以拟合面的弯曲程度作为
曲率，计算得到拟合面的几何特征；同一拟合面上的点的几何特征相同。
[0008]具体的，使用法向量一致性检测得到第一点云模型和第二点云模型中目标建筑的多个平面，分别获得第一投影面和第二投影面；所述第一投影面和第二投影面均包括多个虚拟面，并且之间存在对应关系。
[0009]具体的，对第一颜色投影面和第二颜色投影面进行线段识别和匹配，包括：采用串联沙漏网络模型分别对第一颜色投影面和第二颜色投影面进行卷积操作，提取图像特征，输出节点图、热线图和描述符图；所述节点图用于描述像素点形成线段端点的概率，所述热线图用于描述像素点位于线段上的概率，所述描述符图用于构建像素级的局部描述符；对第一几何投影面和第二几何投影面进行线段识别和匹配，采用相同的步骤。
[0010]具体的，所述串联沙漏网络模型的训练包括：对于节点图，采用交叉熵函数计算节点损失，对于热线图，采用二进制交叉熵函数计算热线损失，对于描述符图，采用三重态损失函数计算描述符损失；通过动态加权的多任务学习，计算总损失，以总损失低于训练阈值作为训练条件对所述串联沙漏网络模型进行训练。
[0011]具体的，对第一颜色投影面和第二颜色投影面进行线段识别和匹配，包括：采用分数矩阵Score（m，n）优化线段匹配，所述分数矩阵如下：Score（m,n）=max（Score（m
‑
1,n）+gapScore（m,n
‑
1）+ gapScore（m
‑
1,n
‑
1）+D
mT
D
’
n
，其中，所述分数矩阵Score（m，n）为（a+1）
×
（a
’
+1）的网格，线段l包括a个点，线段l
’
包括a
’
个点，线段l来自第一颜色投影面，线段l
’
来自第二颜色投影面，D
mT
表示线段l前m个点的描述符D
m
的转置矩阵，D
’
n
表示线段l
’
前n个点的描述符，gap表示差距分数，gapScore表示在线段l和l
’
上的点没有匹配需要跳过时记的分数；利用最大匹配分数进行线段匹配；对第一几何投影面和第二几何投影面进行线段匹配，采用相同的步骤。
[0012]具体的，计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，采用如下公式计算：A
rgb
（a
11
，a
21
）=A T
rgb
（l1，l2）+ R
rgb
（l1，l2），其中，A表示用于度量匹配结果一致性的线段（a1，a2），A
rgb
（a
11
，a
21
）表示计算结果，T
rgb
（l1，l2）=（d
21
‑ꢀ
d
12
）/（d
11
‑ꢀ
d
22
），R
rgb
（l1，l2）=（d
11 d
12
‑ꢀ
d
21
d
22
）/（d
11
‑ꢀ
d
22
），（d
11
，d
12
）和（d
21
，d
22
）分别表示同名语义线段l1和l2的端点；所述计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值，采用与A
rgb
（a
11
，a
21
）相同的公式，代入第一几何投影面和第二几何投影面上同名语义线段，计算得到A
geo
（a
12
，a
22
）。
[0013]具体的，颜色变换特征数值和几何变换特征数值之间的偏差，采用以下公式计算：d（A
rgb
，A
geo...

【技术保护点】

【技术特征摘要】
1.一种基于多源影像融合的建筑建模方法，其特征在于，包括：获取飞行器拍摄的目标建筑的第一影像序列，获取拍摄装置拍摄的目标建筑的第二影像序列，基于第一影像序列和第二影像序列，分别计算得到第一点云模型和第二点云模型；确定第一点云模型和第二点云中的目标建筑的平面，以平面作为投影面，分别获得第一投影面和第二投影面，按照点云模型中的点与投影面上的点之间的对应关系，将点的颜色语义和几何语义投影至投影面，分别获得第一颜色投影面、第一几何投影面、第二颜色投影面和第二几何投影面；对第一颜色投影面和第二颜色投影面进行线段识别和匹配，确定第一颜色投影面和第二颜色投影面上线段的对应关系；对第一几何投影面和第二几何投影面进行线段识别和匹配，确定第一几何投影面和第二几何投影面上线段的对应关系；计算第一颜色投影面和第二颜色投影面上同名语义线段之间的颜色变换特征数值，计算第一几何投影面和第二几何投影面上同名语义线段之间的几何变换特征数值；所述同名语义线段指具有对应关系的两条线段；若颜色变换特征数值和几何变换特征数值之间的偏差在标准阈值范围内，则认定第一点云模型和第二点云模型中相应的点云线段之间具有对应关系，根据对应关系进行第一点云模型和第二点云模型的融合建模。2.根据权利要求1所述的基于多源影像融合的建筑建模方法，其特征在于，所述分别计算得到第一点云模型和第二点云模型，包括：通过运动恢复结构和三维多视角立体视觉算法，基于第一影像序列和第二影像序列，分别计算得到第一密集点云模型和第二密集点云模型。3.根据权利要求2所述的基于多源影像融合的建筑建模方法，其特征在于，所述几何语义的计算方法，包括：逐个计算点云模型中各点的空间姿态，将各点与局部领域内其他点进行拟合，形成拟合面；以拟合面的垂直法向量投影在水平面坐标系中的角度作为倾角，以拟合面与水平面之间的夹角作为倾向，以拟合面的弯曲程度作为曲率，计算得到拟合面的几何特征；同一拟合面上的点的几何特征相同。4.根据权利要求3所述的基于多源影像融合的建筑建模方法，其特征在于，所述确定第一点云模型和第二点云中的目标建筑的平面，以平面作为投影面，分别获得第一投影面和第二投影面，包括：使用法向量一致性检测得到第一点云模型和第二点云模型中目标建筑的多个平面，分别获得第一投影面和第二投影面；所述第一投影面和第二投影面均包括多个虚拟面，并且之间存在对应关系。5.根据权利要求4所述的基于多源影像融合的建筑建模方法，其特征在于，所述对第一颜色投影面和第二颜色投影面进行线段识别和匹配，包括：采用串联沙漏网络模型分别对第一颜色投影面和第二颜色投影面进行卷积操作，提取图像特征，输出节点图、热线图和描述符图；所述节点图用于描述像素点形成线段端点的概率，所述热线图用于描述像素点位于线段上的概率，所述描述符图用于构建像素级的局部描述符；对第一几何投影面和第二几何投影面进行线段识别和匹配，采用相同的步骤。
6.根据权利要求5所述的基于多源影像融合的建筑建模方法，其特征在于，所述串联沙漏网络模型的训练包括：对于节点图，采用交叉熵函数计算节点损失，对于热线图，采用二进制交叉熵函数计算热线损失，对于描述符图，采用三重态损失函数计算描述符损失；通过动态加权的多任务学习，计算总损失，以总损失低于训练阈值作为训练条件对所述串联沙漏网络模型进行训练。7.根据权利要求5所述的基于多源影像融合的建筑建模方法，其特征在于，所述对第一颜色投影面和第二颜色投影面进行线段识别和匹配，包括：采用分数矩阵Score（m，n）优化线段匹配，所述分数矩阵如下：Score（m,n）=max（Score（m
‑
1,n）+gapScore（m,n
‑
1）+ gapScore（m
‑
1,n
‑
1）+D
mT
D
’
n
，其中，所述分数矩阵Score（m，n）为（a+1）
×
（a
’
+1）的网格，线段l包括a个点，线段l
’
包括a
’
个点，线段l来自第一颜色投影面，线段l
’
来自第二颜色投影面，D
mT
表示线段l前m个点的描述符D
m
...

【专利技术属性】
技术研发人员：张荣春，何逸婷，杨立君，郭宇轩，张晨阳，刘兰法，衣雪峰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：