基于多视点图像特征的自适应匹配代价构建方法和系统技术方案

本发明专利技术公开了一种基于多视点图像特征的自适应匹配代价构建方法和系统，属于多视点图像的立体匹配及三维重建领域。方法包括：将多视点图像特征进行逐对匹配，并将两匹配视图在特征维度上进行拼接得到两匹配视图的图像特征组合；从图像特征组合中获取视图间的相似性特征；将每一对匹配视图间的相似性特征组合为一个相似性特征序列，通过soft

【技术实现步骤摘要】
基于多视点图像特征的自适应匹配代价构建方法和系统


[0001]本专利技术属于多视点图像的立体匹配及三维重建领域，更具体地，涉及一种基于多视点图像特征的自适应匹配代价构建方法和系统。

技术介绍

[0002]多视图立体匹配技术用于基于图像的场景三维重建。具体而言，通过同一个场景的多视点图像序列恢复出相应的场景三维结构。在相机的成像过程中，真实世界的三维点经过相机成像将会被映射为图像中的二维点，其中深度信息将会丢失。因此，从二维图像恢复出三维结构需要求解图像对应的深度信息。多视图深度信息求解的关键是场景中的同一个三维点在多个成像视图中的匹配关系。如果可以得到正确的匹配关系，那么通过成像位置的差异及相机参数等信息就可以求解出正确的深度。
[0003]目前基于深度学习的多视图立体匹配算法，例如MVSNet算法已经取得了良好的重建效果并且在速度上具有明显的优势。而基于深度学习的关键在于构建多视图匹配代价，然后通过三维卷积神经网络对匹配代价进行正则化从而预测得到正确的深度。目前的方法通过单应性变换在每两个视图间构建代价体，然后通过方差聚合(Variance Metric)的方法聚合多个两视图间的代价体从而构建得到匹配代价(Cost Volume)。这种方法是较为简便及灵活的，适用于任意数量的视图作为输入。它的出发点是认为所有视图间的匹配代价是均等的，因此通过方差计算消除不同视图间匹配代价的差异性。然而由于不同视图对应的相机位置及成像角度等差异，导致同一个三维点在不同视图间的成像是有差异性的。忽视这种视图间差异性所构建的匹配代价的鲁棒性是不足的，因此后续基于此匹配代价推断的深度图也是不够准确得，特别是在弱纹理(即大面积重复纹理)区域推断的深度将出现大面积的错误，影响最终重建的场景三维结构的质量。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于多视点图像特征的自适应匹配代价构建方法和系统，其目的在于解决由于忽视视图间差异性使得所构建的匹配代价鲁棒性不足，造成预测的深度不准确，影响最终重建的场景三维结构质量的技术问题。
[0005]为实现上述目的，按照本专利技术的一个方面，提供了一种基于多视点图像特征的自适应匹配代价构建方法，包括：
[0006]S1.将多视点图像特征进行逐对匹配，并将两匹配视图在特征维度上进行拼接得到两匹配视图的图像特征组合；
[0007]S2.从图像特征组合中获取视图间的相似性特征；
[0008]S3.将每一对匹配视图间的相似性特征组合为一个相似性特征序列，通过soft
‑
max操作计算得到不同的两匹配视图所对应的归一化权重；
[0009]S4.将多个匹配视图初始代价体利用其对应的归一化权重进行归一化加权求和，
生成多视图匹配代价。
[0010]进一步地，利用卷积神经网络从图像特征组合中获取视图间的相似性特征或计算两视图间的SSIM结构相似度。
[0011]进一步地，所述卷积神经网络为对称的U型结构，包括七个卷积层，每个卷积层之后连接批归一化层；第一卷积层及第二卷积层对特征进行下采样到1/4及1/16，在第四卷积层和第五卷积层对特征进行上采样到1/4及原尺寸，并对下采样的特征进行跳跃连接操作进行跨层次的特征融合。
[0012]进一步地，多视图匹配代价为：
[0013][0014]W
i
为源视点对应的聚合权重，V
i
为源视点对应的初始匹配代价，n表示源视点的个数。
[0015]按照本专利技术的另一方面提供了一种基于多视点图像特征的自适应匹配代价构建系统，包括：
[0016]匹配拼接模块，用于将多视点图像特征进行逐对匹配，并将两匹配视图在特征维度上进行拼接得到两匹配视图的图像特征组合；
[0017]相似性特征获取模块，用于从图像特征组合中获取视图间的相似性特征；
[0018]归一化权重计算模块，用于将每一对匹配视图间的相似性特征组合为一个相似性特征序列，通过soft
‑
max操作计算得到不同的两匹配视图所对应的归一化权重；
[0019]加权求和模块，用于将多个匹配视图初始代价体利用其对应的归一化权重进行归一化加权求和，生成多视图匹配代价。
[0020]进一步地，相似性特征获取模块利用卷积神经网络从图像特征组合中获取视图间的相似性特征或计算两视图间的SSIM结构相似度。
[0021]进一步地，所述卷积神经网络为对称的U型结构，包括七个卷积层，每个卷积层之后连接批归一化层；第一卷积层及第二卷积层对特征进行下采样到1/4及1/16，在第四卷积层和第五卷积层对特征进行上采样到1/4及原尺寸，并对下采样的特征进行跳跃连接操作进行跨层次的特征融合。
[0022]进一步地，多视图匹配代价为：
[0023][0024]W
i
为源视点对应的聚合权重，V
i
为源视点对应的初始匹配代价，n表示源视点的个数。
[0025]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
[0026]本专利技术的匹配代价构建方法综合考虑了不同视图间的差异性，对于越相似的视图自适应预测的聚合权重较大那么其匹配代价得到了增强，而对于相似性较低的视图自适应预测的权重较小那么其匹配代价得到了抑制。因此，最终构建的匹配代价鲁棒性将会得到增强，特别是在匹配较困难的弱纹理区域，基于此预测的深度及场景重建质量会有明显的提升。
附图说明
[0027]图1是本专利技术方法一种可选的实施流程图。
[0028]图2是本专利技术与现有方法的深度估计结果的可视化对比。
[0029]图3是本专利技术与现有方法的三维场景重建结果的可视化对比图。
具体实施方式
[0030]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0031]本专利技术提供了基于多视点图像特征的自适应匹配代价构建方法，包括：通过特征提取网络得到有效的多视点图像特征，之后多视点图像特征经过单应变换构建初始的匹配代价体；同时将多视点图像特征进行逐对地匹配并在特征维度上将两个匹配视图的特征进行拼接得到两个匹配视图的图像特征组合；再从图像特征组合中挖掘视图间的相似性；
[0032]为了从图像特征组合中挖掘视图间的相似性，作为一种优选的实施例，如图1所示，本专利技术设计一个典型的多层卷积神经网络结构，它的输入是多对源视图与参考视图图像特征的拼接，该网络一共由七个(转置)卷积层组成，卷积核的大小均为3
×
3，并且在每个卷积层之后加入一个批归一化层(Batch Normalization)以及修正线性单元(Rectified Liner Unit)作为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视点图像特征的自适应匹配代价构建方法，其特征在于，包括：S1.将多视点图像特征进行逐对匹配，并将两匹配视图在特征维度上进行拼接得到两匹配视图的图像特征组合；S2.从图像特征组合中获取视图间的相似性特征；S3.将每一对匹配视图间的相似性特征组合为一个相似性特征序列，通过soft
‑
max操作计算得到不同的两匹配视图所对应的归一化权重；S4.将多个匹配视图初始代价体利用其对应的归一化权重进行归一化加权求和，生成多视图匹配代价。2.根据权利要求1所述的一种基于多视点图像特征的自适应匹配代价构建方法，其特征在于，利用卷积神经网络从图像特征组合中获取视图间的相似性特征或计算两视图间的SSIM结构相似度。3.根据权利要求2所述的一种基于多视点图像特征的自适应匹配代价构建方法，其特征在于，所述卷积神经网络为对称的U型结构，包括七个卷积层，每个卷积层之后连接批归一化层；第一卷积层及第二卷积层对特征进行下采样到1/4及1/16，在第四卷积层和第五卷积层对特征进行上采样到1/4及原尺寸，并对下采样的特征进行跳跃连接操作进行跨层次的特征融合。4.根据权利要求1
‑
3任一项所述的一种基于多视点图像特征的自适应匹配代价构建方法，其特征在于，多视图匹配代价为：W
i
为源视点对应的聚合权重，V
i
为源视点对应的初始匹配代价，n表示源视点的个数。5.一种基于多视点图像特征的自适应匹配代价构建系统，其特征在于，包括：匹配拼接模块，用于将多视点图像特征进行逐对匹配，并将两匹配视图在特征维度上...

【专利技术属性】
技术研发人员：杨铀，黄良，刘琼，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：