【技术实现步骤摘要】
本专利技术属于三维重建，尤其涉及一种基于混合结构的多视图三维重建方法。
技术介绍
1、给定一组带有相机参数的多视角场景图像，多视图三维重建技术可以从中恢复出绝大部分像素点在三维空间中的位置，重建图像中的场景。该技术能有效辅助计算机通过二维图像认知三维世界，所以被广泛应用于无人驾驶、虚拟现实等领域，是近年来计算机视觉领域的研究热点之一。
2、基于深度图融合的稠密点云是三维重建结果常用的表示方式。由于三维空间中物体的相互遮挡与场景图像中弱纹理区域的匹配模糊性问题，以及实际应用场景中对场景重建速度的要求，如何精准快速地计算图像中每个点的深度成为三维重建算法的一大挑战。基于patchmatch的重建算法是目前多视图立体重建的主流算法，基于patchmatch的重建算法将深度计算从离散空间转移到连续空间，通过传播的方式进行深度估计，提高了算法效率和重建结果的质量。基于patchmatch的三维重建算法一般分为两阶段，第一阶段是采用光度一致性作为匹配代价计算输入图像的初始深度图，第二阶段使用将光度一致性与几何一致性约束结合的代价函数优化深度估计。但在计算深度图时，红黑棋盘格模式的传播方式并行计算效率高但对应的视图选择策略精度较差，且基于马尔可夫链的视图选择策略能获取更为准确的匹配结果但算法并行度较低。由于两阶段均采用相同的传播和视图选择策略，所以无法达成重建质量与重建速度间的平衡。
技术实现思路
1、针对现有技术的不足，本专利技术提供了一种基于混合结构的多视图三维重建方法，通过在两
2、本专利技术采用的技术方案包括以下步骤：
3、步骤1：在输入图像集中选取一副图像作为参考图像，对其进行预设次数和预设尺度的下采样操作，得到图像金字塔；
4、步骤2：从塔顶的最小尺寸图像开始，计算参考图像的深度图和法向图；
5、步骤3：对深度图和法向图进行上采样，扩展至下一层大图像的尺寸，并将其作为下一层层图像深度图与法向图计算的初始值，计算下一层图像的深度图和法向图；
6、步骤4：重复步骤3，直至参考图像恢复为原始尺寸；
7、步骤5：根据图像的几何一致性再次优化深度图与法向图，并采用棋盘格传播策略进行加速；
8、步骤6：根据图像的深度图与法向图进行融合，生成点云模型。
9、优选地，步骤1中所述具体如下：
10、若预设下采样次数为k，预设下采样尺度为0.5，则图像金字塔建立了一个k+1层的图像金字塔，塔顶图像的宽高为原始图像宽高的(0.5)k，塔底图像的宽高为原始图像宽高。
11、优选地，步骤2中所述具体如下：
12、步骤2-1：对参考图像的深度图与法向图进行随机初始化，即为参考图像中的每个像素赋予一个随机的深度θ和法向n；
13、步骤2-2：根据参考图像与源图像的相机参数，计算参考图像像素l处的图像块在源图像中的对应区域，再计算两个图像块的双边加权ncc(normalized crosscorrelation，归一化互相关)值最后计算像素l的最优深度与最优法向公式如下：
14、
15、其中s为根据pl(m)选取的源图像子集，pl(m)表示像素l处第m张源图像被选中的概率。
16、步骤2-3：生成随机深度和随机法向结合前一个像素的传播深度和法向nl-1、当前像素的深度扰动值和法向扰动值生成数组新的深度法向假设，形成最终的深度法向假设列表:
17、
18、步骤2-4：为步骤2-3假设列表中的每一对深度法向假设计算匹配代价，选取代价最小的深度法向值对作为像素l处的新值。
19、优选地，步骤3中所述具体如下：
20、由于下采样预设尺度为0.5，上采样时需将本层计算出的深度图和法向图宽高放大至2倍，并传递给下一层。在下一层的计算中，使用本层传递的深度图和法向图替代步骤2-1中的随机初始化，并重复步骤2-2至2-4进行下一层的深度图与法向图计算。
21、优选地，步骤5中所述具体如下：
22、步骤5-1：取步骤3中计算出的原始图像大小的深度图与法向图，作为初始深度与初始法向；
23、步骤5-2：将图像划分为红黑相间的棋盘网格，对每个像素点p，考虑其周围的4个正对长条区域以及4个v形区域，取上述区域中匹配代价最小的8个像素点作为采样点。计算8个采样点处参考图像与所有源图像的匹配代价cost＝{costn,m|n＝1,2,...,8,m＝1,2,...,m}，其中m为源图像总数。设定常数阈值τup和基于迭代次数t的变化阈值τ(t)。若第m张源图像与参考图像的匹配代价中,有n1个采样点的代价小于τup，且有n2个采样点的代价小于τ(t)，那么该源图像是参考图像在像素点p处的匹配视图。计算每一张匹配视图中各个采样点的置信度c(costn,m)，取采样点置信度的均值作为该匹配视图的权重。计算所有采样点对于匹配视图的加权匹配代价，选取加权匹配代价最小的采样点作为最终采样点。
24、步骤5-3：生成随机深度和随机法向结合步骤5-2中选取的采样点处像素值的传播深度和法向nsample、当前像素的深度扰动值和法向扰动值生成数组新的深度法向假设，形成最终的深度法向假设列表:
25、
26、步骤5-4：为步骤5-3假设列表中的每一对深度法向假设计算匹配代价，视图权重在选取代价最小的深度法向值对作为像素l处的新值。
27、本专利技术的有益效果如下：
28、本专利技术在三维重建的两阶段采取不同的传播方式和视图选择策略，在保持了重建结果质量的前提下提高了计算速度。在需要得到准确初值的第一阶段，链式的传播方式、基于马尔可夫链的视图选择和多层次的深度计算取得了精确度和完整度较高的初值；第二阶段则着眼于加快重建速度，代价函数中融入了几何一致性的衡量以优化估计，并采用棋盘格式的传播方式和基于投票的视图选择的高并行计算策略，加速了此阶段的计算过程，提高了效率。
本文档来自技高网...【技术保护点】
1.一种基于混合结构的多视图三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于混合结构的多视图三维重建方法，其特征在于，所述步骤(1)具体为：当预设下采样次数为k，预设下采样尺度为0.5，则图像金字塔建立了一个k+1层的图像金字塔，塔顶图像的宽高为原始图像宽高的(0.5)k，塔底图像的宽高为原始图像宽高。
3.根据权利要求1所述的一种基于混合结构的多视图三维重建方法，其特征在于，步骤(2)具体包括如下子步骤：
4.根据权利要求1所述的一种基于混合结构的多视图三维重建方法，其特征在于，步骤(3)中所述具体如下：
5.根据权利要求1所述的一种基于混合结构的多视图三维重建方法，其特征在于，步骤(5)中所述具体如下：
【技术特征摘要】
1.一种基于混合结构的多视图三维重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于混合结构的多视图三维重建方法，其特征在于，所述步骤(1)具体为：当预设下采样次数为k，预设下采样尺度为0.5，则图像金字塔建立了一个k+1层的图像金字塔，塔顶图像的宽高为原始图像宽高的(0.5)k，塔底图像的宽高为原始图像宽高。<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。