一种权衡立体匹配和视觉外形的三维重建方法技术

本发明专利技术公开了一种权衡立体匹配和视觉外形的三维重建方法。具体步骤如下：(1)制作样本数据库，包括立体匹配深度图、视觉外形深度图、多视点RGB图和真实深度图；(2)构建深度卷积神经网络；(3)用数据库训练神经网络，获取立体匹配与视觉外形的权重分配值，根据该值调整神经网络结构，直到获取效果较好的神经网络模型；(4)输入立体匹配深度图、视觉外形深度图和RGB图，通过神经网络模型获得新的深度图；(5)用新的深度图重建三维模型。本发明专利技术结合立体匹配与视觉外形两种方法，并通过深度神经网络分配权重值，既能改善立体匹配无法重建高光、无纹理区域的问题，又能避免视觉外形无法重建凹面的缺陷，实现对复杂对象的高质量重建。

Three dimensional reconstruction method for balancing stereo matching and visual appearance

The present invention discloses a three-dimensional reconstruction method for balancing stereo matching and visual appearance. The specific steps are as follows: (1) the sample database, including stereo matching, depth map, visual appearance of depth maps, multi view RGB map and actual depth map; (2) constructing convolutional neural network; (3) database for training the neural network, obtaining stereo matching and visual appearance of the distribution of weight value, the value is adjusted according to the the structure of neural network, the neural network model until it acquires good effect; (4) stereo matching depth map, visual appearance of depth map and RGB map input, depth map is obtained by a new neural network model; (5) the model with new depth map reconstruction. The invention combines stereo matching and visual appearance of the two methods, and through the depth distribution of neural network weights, can improve the stereo matching to rebuild the high light, no texture problem, and can avoid visual appearance to rebuild concave defects, to achieve high quality reconstruction of complex objects.

【技术实现步骤摘要】
一种权衡立体匹配和视觉外形的三维重建方法
本专利技术涉及计算机视觉、三维重建、人工智能等
，尤其涉及一种权衡立体匹配和视觉外形的三维融合方法。
技术介绍
三维重建技术是计算视觉领域的热门研究方向，可分为主动式和被动式两类重建方法。主动式重建方法利用探测器主动发射和接收信号获取真实物体的深度信息，如激光、红外扫描器，使用结构光或飞行时间原理。被动式重建方法是通过多幅二维图像恢复三维模型。对于被动式重建方法而言，立体信息可以通过多种方式获得，最主要的两类信息来源于立体匹配和视觉外形：立体匹配(stereomatch)是指提取不同视点的图像中的对应特征点，进而依据对极几何理论求解出每个特征点对应的三维坐标。具有代表性的算法包括：HongLi等人提出一种基于图片分割的立体匹配方法(ComputerVisionandPatternRecognition,2004:74-81.)，该方法均匀分割参考图片，利用解最小能量方程获取视差图；QingxiongYang等人用颜色加权和分层置信传播最小化能量方程(ComputerVisionandPatternRecognition,2006:2347-2354.)，恢复场景视差图，有效解决了非连续和阻塞问题。视觉外形(VisualHull)首先提取多视点图片中的目标轮廓，而后根据多视点轮廓重建目标的三维凸壳。具有代表性的算法包括：MatusikW等人提出了一种基于图片的方法IBVH(Image-BasedVisualHulls)(InternationalConferenceonComputerGraphicsandInteractiveTechniques,2000:369-374.)，该方法采用极线几何和增量计算的方法计算并渲染模型，克服了传统算法计算复杂度高，图片分辨率有限的问题；FrancoJ和BoyerE.两人利用少量的几何操作计算出单通道的多面体视觉外形(IEEETransactionsonPatternAnalysisandMachineIntelligence,2009,31(3):414-427)，恢复出具有良好拓扑结构的表面；英国萨里大学的GregorMiller和AdrianHilton提出了视觉外形可视交叉定理(InternationalConferenceonPatternRecognition，2006，10.1109/ICPR.2006.515)，应用交叉比来选择图片间的交叉部分。以上这两种三维重建的方法各具特点，可以相互补充：立体匹配算法在纹理充足、光照明暗明显的区域重建精度较高，但对缺乏纹理的区域重建效果极差，因此仅依靠立体匹配算法得到封闭的完整模型；视觉外形根据模型的轮廓信息重建结构，不受纹理的影响，可以稳定地得到完整的封闭模型。视觉外形算法的局限性在于无法重建凹状结构，因此需要立体匹配算法作为补充。传统三维重建算法通常使用视觉外形为立体匹配提供初值，或者在立体匹配结果基础之上再使用视觉外形算法进行纠正。如：YebinLiu等人提出了基于连续性的深度估算方法(ComputerVisionandPatternRecognition,2009:2121-2128.)，该方法融合轮廓信息和极线约束，在双目匹配阶段进行全局平滑调整，并且采用path-basedNCC方法对深度图进行优化。FurukawaY等人提出了使用一组离散的矩形面片表示三维模型的方法(IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,32(8):1362-1376.)，并在此基础之上加入局部光度约束和全局可见性约束，有效抑制了离群点和噪点；该方法生成的离散面片模型可进一步转化为封闭的网格模型。BeelerT等人在已有三维重建基础之上设计出高精度瞬时捕捉面部结构的算法(InternationalConferenceonComputerGraphicsandInteractiveTechniques,2010,29(4).)，该算法采用金字塔分层结构，建立由粗到精的立体匹配框架；针对人的面部特点，加入了连续性先验、顺序先验和对应先验，并引入微观结构的光照模型，模拟面部皮肤的细节结构。
技术实现思路
本专利技术提出了一种权衡立体匹配和视觉外形的三维重建方法，通过采用卷积神经网络计算立体匹配和视觉外形所生成的深度图的权重分配值，以获取更加准确的深度图，进而提高对复杂物体的重建效果。本专利技术采用的技术方案如下：一种权衡立体匹配和视觉外形的三维重建方法，包括以下步骤：步骤1：制作样本数据库，每组数据包括多视点RGB图像、立体匹配深度图、视觉外形深度图、以及物体真实深度图，并计算得到物体真实权重分配值α；步骤2：构建深度卷积神经网络，包括输入层、隐层和输出层，隐层包括卷积层、池化层和全连接层；卷积神经网络分三个通道输入，分别对应多视点RGB图像、立体匹配深度图和视觉外形深度图的输入，卷积神经网络的输出为视觉外形与立体匹配之间的权重分配值；步骤3：利用步骤2的深度卷积神经网络对步骤1的样本数据库进行训练，输出立体匹配与视觉外形的权重分配值β，将β值与物体的真值权重图进行对比，根据结果好坏调整神经网络模型，直到获取效果较好的神经网络模型；；步骤4：将新物体的立体匹配深度图、视觉外形深度图以及多视点RGB图像输入步骤3的深度网络模型，重新获取权重分配值γ，利用γ值得到新的物体深度图；步骤5：利用新的物体深度图重建成高精度的三维模型。所述步骤1中，样本数据库中每组数据的图片是同一物体的多视点RGB图片；立体匹配深度图和视觉外形深度图是根据多视点RGB图片，利用立体匹配算法和视觉外形算法计算得到的深度图。所述步骤2中，卷积神经网络的三个通道输入的数据是：在多视点RGB图像、立体匹配深度图和视觉外形深度图这三张图片的相同位置，取一个大小为M×M的窗口作为输入，M取值范围不定，一般取奇数。进一步地，所述步骤2中，深度卷积神经网络的三个输入通道中，输入立体匹配深度图和视觉外形深度图的两个通道含有相同的结构，均包括卷积层和池化层；所述三个输入通道通过全连接层连接到一起。同上述现有方法不同，本专利技术提出一种基于机器学习的权衡立体匹配和视觉外形的三维重建方法，实验证明该方法能够提升对复杂物体三维重建的鲁棒性和适应性，所得模型的精度高于立体匹配、视觉外形以及传统的深度融合算法。具体地，本专利技术具有以下的优势：(1)本专利技术结合视觉外形和立体匹配两种三维重建技术，根据两者深度置信度的高低来分配权重。视觉外形算法(VisualHull)和立体匹配算法(StereoMatching)具有天然互补的特性：前者以目标轮廓为依据，可靠地恢复出目标物体的外形，包括物体的凸状几何特，该方法的缺点是无法恢复目标物体中的凹陷部分的几何结构；后者以二维图像特征一致性作为依据，采用极线几何的知识重建出物体的几何结构，该方法的缺点在于对缺乏纹理及特殊材质(如半透明和反光材质)的重建效果极差，效果不稳定。传统的重建方法已尝试过将视觉外形和立体匹配结合，但仅限于将二者以串联的形式进行组合。如Furukawa等采用视觉外形的深度作为初值，驱动立体匹配算法；HaoZhu等在本文档来自技高网...

【技术保护点】
一种权衡立体匹配和视觉外形的三维重建方法，其特征在于，包括以下步骤：步骤1：制作样本数据库，每组数据包括多视点RGB图像、立体匹配深度图、视觉外形深度图、以及物体真实深度图，并计算得到物体真实权重分配值α；步骤2：构建深度卷积神经网络，包括输入层、隐层和输出层，隐层包括卷积层、池化层和全连接层；卷积神经网络分三个通道输入，分别对应多视点RGB图像、立体匹配深度图和视觉外形深度图的输入，卷积神经网络的输出为视觉外形与立体匹配之间的权重分配值；步骤3：利用步骤2的深度卷积神经网络对步骤1的样本数据库进行训练，输出立体匹配与视觉外形的权重分配值β，将β值与物体的真值权重图进行对比，根据结果好坏调整神经网络模型，直到获取效果较好的神经网络模型；步骤4：将新物体的立体匹配深度图、视觉外形深度图以及多视点RGB图像输入步骤3的深度网络模型，重新获取权重分配值γ，利用γ值得到新的物体深度图；步骤5：利用新的物体深度图重建成高精度的三维模型。

【技术特征摘要】
1.一种权衡立体匹配和视觉外形的三维重建方法，其特征在于，包括以下步骤：步骤1：制作样本数据库，每组数据包括多视点RGB图像、立体匹配深度图、视觉外形深度图、以及物体真实深度图，并计算得到物体真实权重分配值α；步骤2：构建深度卷积神经网络，包括输入层、隐层和输出层，隐层包括卷积层、池化层和全连接层；卷积神经网络分三个通道输入，分别对应多视点RGB图像、立体匹配深度图和视觉外形深度图的输入，卷积神经网络的输出为视觉外形与立体匹配之间的权重分配值；步骤3：利用步骤2的深度卷积神经网络对步骤1的样本数据库进行训练，输出立体匹配与视觉外形的权重分配值β，将β值与物体的真值权重图进行对比，根据结果好坏调整神经网络模型，直到获取效果较好的神经网络模型；步骤4：将新物体的立体匹配深度图、视觉外形深度图以及多视点RGB图像输入步骤3的深度网络模型，重新获取权重分配值γ，利用γ值得到新的物体深度图；步骤5：利用新的物体深度图重建成高精度的三维模型。2.根据权利要求1所述的一种权衡立体匹配和视觉外形的三维重建方法，其特征在于，所述步骤1中，样本数据库中每组数据的图片是同一物体的多视点RGB图片；立体匹配深度图和视觉外形深度图是根据多视点RGB图片，利用立体匹配算法和视觉外形算法计算得到的深度图。3.根据权利要求1所述的一种权衡立体匹配和视觉外形的三维重建...

【专利技术属性】
技术研发人员：曹汛，金威，朱昊，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32