一种基于可变卷积深度网络的多视图三维重建方法及装置制造方法及图纸

本发明专利技术提供一种基于可变卷积深度网络的多视图三维重建方法，包括获取源图像及其对应的多个视角的参考图像；将源图像及所有参考图像全部导入由可变形卷积所构建的多尺度特征提取网络中，得到多个目标关键特征图；将多个目标关键特征图均导入基于学习的补丁匹配迭代模型中进行像素深度匹配及边缘处理的迭代优化计算，得到迭代优化后的深度图；将迭代优化后的深度图和源图像均导入深度残差网络中进行优化，得到最终深度图并进行三维建模，得到立体视觉图。实施本发明专利技术，通过边缘处理算法优化深度图的边缘，使得三维建模所需的深度图更完成和精确，从而克服现有立体视觉图像普适性不强、鲁棒性不高等问题。鲁棒性不高等问题。鲁棒性不高等问题。

【技术实现步骤摘要】
一种基于可变卷积深度网络的多视图三维重建方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种基于可变卷积深度网络的多视图三维重建方法及装置。

技术介绍

[0002]近年来，随着计算机技术和数字媒体技术的飞速发展，物体的图像变得更容易获取，但是图像只是简单的二维信息，它能传达的信息有限。因此，如何获取物体更多的信息，逐渐成为当前研究的重点。
[0003]于是，基于图像的三维重建技术应运而生，也逐渐应用于机器人、无人机、自动驾驶等领域。基于图像的三维重建技术能对特定几张图像信息进行处理，利用视觉几何技术建立起相应的三维模型，因此相对比传统借助昂贵额激光和雷达机器扫描获取有着无可比拟的优点，并且随着近些年深度学习的发展，无论是重建速度、精度和完整性都得到了很大增强。基于图像的三维重建技术也逐渐成为计算机视觉领域中的一个重要的研究领域，同时也是其他研究领域的基础。比如，机器人和无人驾驶中的路径识别与规划问题，虚拟现实技术中虚拟场景的搭建，电影和游戏中对现实场景和想象出来的空间的构建等。
[0004]基于图像的三维重建技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可变卷积深度网络的多视图三维重建方法，其特征在于，所述方法包括以下步骤：获取源图像及其对应的多个视角的参考图像；将所述源图像及所有的参考图像全部导入预先由可变形卷积所构建的多尺度特征提取网络中进行目标关键特征提取，得到多个目标关键特征图；将所述多个目标关键特征图均导入预先定义的基于学习的补丁匹配迭代模型中进行像素深度匹配及边缘处理的迭代优化计算，得到模型迭代优化计算结束之后输出的深度图；其中，在所述基于学习的补丁匹配迭代模型的迭代过程中，若迭代初始，则当前次单个目标关键特征图作为初始迭代的输入；若迭代已开始，则当前次单个目标关键特征图会与上一次迭代得到的深度图连接起来作为当前次迭代的输入；将所述模型迭代优化计算结束之后输出的深度图和所述源图像均导入预先定义的深度残差网络中进行优化，得到最终优化后的深度图，且进一步根据所述最终优化后的深度图，进行三维建模，以得到立体视觉图。2.如权利要求1所述的基于可变卷积深度网络的多视图三维重建方法，其特征在于，所述多尺度特征提取网络为可变形卷积网络，是通过对原有卷积层得到的特征图施加一个变形偏移量的卷积层来实现目标关键特征提取。3.如权利要求1所述的基于可变卷积深度网络的多视图三维重建方法，其特征在于，所述基于学习的补丁匹配迭代模型中的像素深度匹配是通过预设的匹配代价计算方法来实现的。4.如权利要求3所述的基于可变卷积深度网络的多视图三维重建方法，其特征在于，所述匹配代价计算方法是通过group
‑
wise相关性计算每个像素的每个depth假设值的代价来实现的，具体步骤如下：首先，计算出每个group的相似性；然后，通过一个带有3D卷积网络将每个group的代价被投影到参考帧的每个像素的每个depth上，即可得到每个像素的每个depth假设值的一个单独的代价值。5.如权利要求4所述的基于可变卷积深度网络的多视图三维重建方法，其特征在于，通过公式计算出每个group的相似性；其中，w
i
(p)表示像素P对参考图像I
i
的权重，且w
i
(p)＝max{P
i

【专利技术属性】
技术研发人员：李毅，陈轩，叶修梓，
申请(专利权)人：温州大学，
类型：发明
国别省市：