本发明专利技术公开了一种基于稀疏点输入的邻域图像立体匹配重建方法，应用于三维重建技术领域，包括：构建包括自适应传播模块、可微变换模块、邻域图像贴图模块的网络模型；将源图像与稀疏点作为网络模型的输入进行迭代回归训练，并通过损失函数对训练结果进行优化与比较，直至训练次数达到设定阈值或损失函数的值到达设定范围内；将待测集输入至训练好的网络模型中，得到三维点云，进行融合匹配重建。本发明专利技术通过以稀疏点作为参考，应用邻域图像贴图，不仅大大减少了特征提取网络的运算量，并且有效的解决了深度信息的冗余，在提高效率的基础上，提高了匹配网络精度，同时损失函数的优化，去掉了参数冗余量，使得训练的网络鲁棒性更高，重建的精度更高。重建的精度更高。重建的精度更高。
【技术实现步骤摘要】
一种基于稀疏点输入的邻域图像立体匹配重建方法
[0001]本专利技术涉及三维重建
，特别涉及一种基于稀疏点输入的邻域图像立体匹配重建方法。
技术介绍
[0002]三维重建在军工测量、无人驾驶系统、智能机器人、医学诊断、数字城市建模、体感娱乐等方面被广泛的应用。邻域图像立体匹配是一种属于三维重建技术的端到端的学习方法，该方法引入迭代邻域图像的多尺度匹配，并且通过稀疏点的初始化来自适应传播，具有匹配速度快，稳定性高的特点。此外，为了后续点云融合的效果，对匹配的深度图进行优化是非常必要的。为了在更好的稠密重建中得到有效的深度信息，现有的多视图立体匹配重建方法中，大多是采用特征提取网络来提取图像的特征来作为输入和构建成本代价聚合来得到稠密的深度图，但计算过程耗时多并且精度较低。
[0003]中国专利公开号为“CN113066168A”，名称为“一种多视图立体网络三维重建方法及系统”，该方法首先获取待重建目标物体的参考图像以及多幅实际拍摄图像；接着，利用多尺度特征提取模块提取多幅实际拍摄图像的特征；然后，通过正则化操作，在粗略阶段采用固定深度间隔对深度图进行划分，在细化阶段利用深度预测的不确定性确定自适应间隔；最后，根据两阶段的深度预测区间通过级联深度架构推断出与参考图像分辨率相同的最终深度图，进而将深度图过滤融合成稠密的三维点云并重建；该方法采用的是特征网络提取特征图的方式，不仅内存占用较大，训练时间长，而且重建的精度也较低。
[0004]为此，如何提供一种耗时少、精度高的基于稀疏点输入的邻域图像立体匹配重建方法是本领域技术人员亟需解决的问题。
技术实现思路
[0005]有鉴于此，本专利技术提出了一种基于稀疏点输入的邻域图像立体匹配重建方法。使得到的深度图，更加平滑完整，对后续的点云融合具有更好的重建效果，更符合物体的细节观察，同时本专利技术采用的是邻域图像贴片的学习方法，实现过程简单，处理时间更少，重建后的精度更高。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于稀疏点输入的邻域图像立体匹配重建方法，包括：
[0008]步骤(1)：构建包括自适应传播模块、可微变换模块、邻域图像贴图模块的网络模型；可微变换模块对源图像特征进行扭转，与稀疏点共同输入至邻域图像贴图模块，邻域图像贴图模块将稀疏点作为参考，通过邻域帧的图像信息对特征点进行修补贴图，得到初始深度图，回归至自适应传播模块，自适应传播模块对回归的初始深度图阶段分析，输入至可微变换模块进行扭转。
[0009]步骤(2)：将源图像与稀疏点作为网络模型的输入进行迭代回归训练，并通过损失函数对训练结果进行优化与比较，直至训练次数达到设定阈值或损失函数的值到达设定范
围内。
[0010]步骤(3)：将待测集输入至训练好的网络模型中，得到三维点云，进行融合匹配重建。
[0011]可选的，步骤(1)中，自适应传播模块由一个卷积层和一个正则化层构成，用于自适应的在人为搭建的神经网络中传播，自适应传播模块从同一个表面收集回归深度图，在收集回归深度图的过程中，自适应传播模块学习二维偏移量来固定网格，通过卷积得到回归深度图的特征点信息并进行正则化操作来降低复杂度，最后与源视图整合输入至所述可微变换模块。
[0012]可选的，步骤(1)中，可微变换模块由四个卷积层和一个S型激活函数构成，用于将源图像特征进行扭转，通过卷积二、卷积三、卷积四网络将源视图中标定好的相机内参，来计算与回归深度图的特征点信息所对应的三维像素点；卷积一则是计算与回归深度图的特征点信息所对应的二维像素点，并一起经过S型激活函数使网络的训练趋于稳定，最后通过特征点的整合并利用得到的稀疏点映射到邻域图像贴图模块。
[0013]可选的，步骤(1)中，邻域图像贴图模块由六个卷积层、两个正则化层和两个S型激活函数构成，该过程分为两路完成，且操作相同，目的是为了信息的更好迭代，卷积一和卷积二将得到的深度信息简单的拉直处理；卷积三和卷积四与得到的稀疏点进行邻域贴图，每次的贴补由稀疏点和深度值进行相似对比，倘若相似值的误差范围较小则考虑贴补成功，反之则考虑贴补失败并去掉相似点；卷积五和卷积六则是对贴补操作的整合去掉冗余的信息，并将卷积三和卷积四的输出相乘，最后通过拼接操作整合到一起；正则化层和激活函数则是为了使网络的训练过程处于平衡的状态，最终得到初始深度图。
[0014]可选的，正则化层函数的表达式，如下：
[0015][0016]其中，X和y分别为训练样本和对应标签；ω为权重系数向量；J(.)为目标函数；Ω(ω)为惩罚项；α为控制正则化强弱，进而控制模型复杂度，减小过拟合的参数。
[0017]可选的，S型激活函数的表达式，如下：
[0018][0019]可选的，步骤(2)中，稀疏点为通过由源图像、深度图真值、相机内外参数构成的DTU数据集随机采集的有用特征点。
[0020]可选的，步骤(2)中，损失函数由光度相似性损失和鲁棒回归损失组成。
[0021]可选的，光度相似性损失表达式，如下：
[0022][0023][0024]L
bs
＝(1
‑
β)L
Smooth1
+βL
Smooth2
；
[0025]其中，为垂直于x平面的法向量梯度，为垂直于y平面的法向量梯度，并且均为连续的，x和y同为图像的像素点；β为相似性系数；L
Smooth1
和L
Smooth2
为稀疏点的相似性损失一和相似性损失二；L
bs
为光度相似性损失。
[0026]可选的，鲁棒回归损失表达式，如下：
[0027][0028]其中，当δ趋近于0时，L
H
收敛于0；当δ趋近于无穷时，L
H
收敛于(x
‑
y)2；L
H
的平均绝对误差段的斜率为δ；x和y同为图像的像素点；δ为函数参数；L
H
为鲁棒回归损失；参数β，默认为1。
[0029]经由上述的技术方案可知，与现有技术相比，本专利技术提出了一种基于稀疏点输入的邻域图像立体匹配重建方法。通过使用稀疏点来作为训练网络的输入，这大大减少了特征提取网络的运算量，将稀疏点对应像素反向投影的三维点，回归到三维世界中实际相遇的位置，增强网络的鲁棒性，且计算后的平滑深度图使得点云匹配重建的完整性较高，效果也更好；在骨干网络中使用邻域图像贴图的操作，改变了原多视图立体匹配中构建成本体积的方法，有效的解决深度信息的冗余，在提高效率的基础上，提高了匹配网络的精度；整个训练网络在邻域贴图网络上使用拼接操作，将有效深度信息进行混叠，使得网络对于两种不同深度图像的计算损失能力更强；在损失函数采用鲁棒回归损失，去掉了参数的冗余量，使得训练的网络鲁棒性更高，重建的精度更高。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于稀疏点输入的邻域图像立体匹配重建方法，其特征在于，包括：步骤(1)：构建包括自适应传播模块、可微变换模块、邻域图像贴图模块的网络模型；所述可微变换模块对源图像特征进行扭转，与稀疏点共同输入至邻域图像贴图模块，所述邻域图像贴图模块将所述稀疏点作为参考，通过邻域帧的图像信息对特征点进行修补贴图，得到初始深度图，回归至所述自适应传播模块，所述自适应传播模块对回归的初始深度图阶段分析，输入至所述可微变换模块，进行所述扭转；步骤(2)：将源图像与稀疏点作为所述网络模型的输入进行迭代回归训练，并通过损失函数对所述训练结果进行优化与比较，直至训练次数达到设定阈值或损失函数的值到达设定范围内；步骤(3)：将待测集输入至训练好的网络模型中，得到三维点云，进行融合匹配重建。2.根据权利要求1所述的一种基于稀疏点输入的邻域图像立体匹配重建方法，其特征在于，步骤(1)中，所述自适应传播模块由一个卷积层和一个正则化层构成，用于自适应的在人为搭建的神经网络中传播，所述自适应传播模块从同一个表面收集回归深度图，在收集回归深度图的过程中，所述自适应传播模块学习二维偏移量来固定网格，通过卷积得到回归深度图的特征点信息并进行正则化操作来降低复杂度，最后与源视图整合输入至所述可微变换模块。3.根据权利要求1所述的一种基于稀疏点输入的邻域图像立体匹配重建方法，其特征在于，步骤(1)中，所述可微变换模块由四个卷积层和一个S型激活函数构成，用于将源图像特征进行扭转，通过卷积二、卷积三、卷积四网络将源视图中标定好的相机内参，来计算与所述回归深度图的特征点信息所对应的三维像素点；卷积一则是计算与所述回归深度图的特征点信息所对应的二维像素点，并一起经过所述S型激活函数使网络的训练趋于稳定，最后通过特征点的整合并利用得到的稀疏点映射到所述邻域图像贴图模块。4.根据权利要求1所述的一种基于稀疏点输入的邻域图像立体匹配重建方法，其特征在于，步骤(1)中，所述邻域图像贴图模块由六个卷积层、两个正则化层和两个S型激活函数构成，该过程分为两路完成，且操作相同，目的是为了信息的更好迭代，卷积一和卷积二将得到的深度信息简单的拉直处理；卷积三和卷积四与得到的稀疏点进行邻域贴图，每次的贴补由稀疏点和深度值进行相似对比，倘若相似值的误差范围较小则考虑贴补成功，反之则考虑贴补失败并去掉相似点；卷积五和...
【专利技术属性】
技术研发人员：詹伟达，曹可亮，唐雁峰，郭人仲，郑廷源，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。