【技术实现步骤摘要】
本专利技术属于三维重建，具体涉及一种基于自适应多尺度窗口的多视图深度估计方法及应用。
技术介绍
1、多视图立体（multi-view stereo，mvs）是指在一个场景中采集多个视角的图像，然后根据不同视角图像之间的几何关系计算每个图像的深度图，最终得到场景的三维模型表示的一类算法，其可以运用到绘制城市地图、创建文化遗产数字图书馆、机器人导航等领域。其中，块匹配算法（patchmatch）由于其计算速度快、深度估计精度高等特点，成为多视图立体领域的代表性算法。块匹配算法分为四个步骤：深度图初始化、视图选择、深度传播和深度图融合。
2、现有多视图立体算法难以估计无纹理区域的深度，虽然目前出现很多方法采用多尺度深度估计方法能够提高无纹理区域深度估计的有效性，但更耗时。
3、例如，第一种观点将块匹配引入了多视图立体领域，并提出一种倾斜平面支持窗口代替平行平面窗口，这使得匹配过程更高效，因为在搜索匹配时，只需关注窗口内的一小部分像素，而不是整个窗口。这减少了计算的复杂性。在处理具有不同纹理属性的区域时表现良好，无论是纹理丰富区域还是低纹理区域，都能获得较好的匹配结果，但是视图选择和深度传播策略效果较差，其根据图像之间的共视关系进行视图选择，没有考虑到遮挡造成的影响。其深度传播策略采用从左向右的传播方式，传播的有效性较差。
4、第二种观点使用隐马尔可夫模型，联合光度和几何一致性改进了patchmatch的视图选择策略，首次引入了像素级视图选择策略，根据每个像素的可见性和一致性来选择最适合的视图，这有助
5、第三种观点提出了一种基于多假设联合和多尺度几何一致性的块匹配方法，先在粗糙尺度上计算可靠的深度图，然后指导精细尺度的深度图估计，更鲁棒地估计无纹理区域的深度。但在多个尺度上估计深度增加了块匹配算法的耗时，同时从粗糙尺度到精细尺度的深度图可能存在精度损失。
技术实现思路
1、本专利技术旨在至少解决现有技术中存在的技术问题之一，提供一种基于自适应多尺度窗口的多视图深度估计方法及应用的新技术方案。
2、根据本专利技术的第一方面，提供了一种基于自适应多尺度窗口的多视图深度估计方法，包括如下步骤：
3、步骤s100，在图像集合中确定参考图像和匹配图像；其中，通过计算参考图像与图像集合中其他图像共视的特征点数量，选取特征点数量大于第一阈值的图像作为匹配图像；
4、步骤s200，以参考图像的目标像素为中心建立参考窗口，计算参考图像的各个目标像素在参考窗口下的纹理系数，并将纹理系数与第二阈值进行比较；
5、步骤s300，当目标像素在参考窗口下的纹理系数大于等于第二阈值时，计算参考图像中的目标像素在匹配图像中的对应像素，并以参考图像中的目标像素为中心建立第一匹配窗口，以匹配图像的对应像素为中心建立第二匹配窗口，计算第一匹配窗口和第二匹配窗口之间的第一匹配代价；
6、步骤s400，根据第一匹配代价对参考图像的各个目标像素进行邻域优化，以获取各个目标像素的最优深度值；
7、步骤s500，对各个目标像素的最优深度值进行随机优化，以获取各个目标像素的最终深度值；
8、步骤s600，将参考图像的各个目标像素的参考窗口的尺度缩小，执行步骤s300至步骤s500，以对各个目标像素的最终深度值进行窗口优化。
9、可选地，将纹理系数与第二阈值进行比较之后，还包括：
10、当参考像素在参考窗口下的纹理系数小于第二阈值时，将当前窗口设置为原有窗口的两倍，重复步骤s200和步骤s300，直到纹理系数不小于第二阈值，执行后续步骤。
11、可选地，以参考图像的目标像素为中心建立参考窗口，计算参考图像的各个目标像素在参考窗口下的纹理系数，包括：
12、对于参考图像中的各个目标像素，以目标像素为中心建立一个n×n的参考窗口，计算参考窗口的纹理系数g：
13、
14、其中，为领域像素，表示邻域像素的强度值，表示目标像素的强度值，为参考窗口内参与计算的目标像素数量。
15、可选地，计算参考图像中的目标像素在匹配图像中的对应像素，包括：
16、为参考图像中的每个目标像素生成一个随机的初始深度值和法向量；根据参考图像中的每个目标像素的深度值、法向量以及参考图像和匹配图像之间的内参数、旋转矩阵和平移矩阵t；为法向量的转置向量；
17、采用如下公式计算参考图像中的目标像素在匹配图像中的对应像素：
18、 。
19、可选地，采用相关性匹配算法计算第一匹配窗口和第二匹配窗口之间的第一匹配代价。
20、可选地，根据第一匹配代价对参考图像的各个目标像素进行邻域优化，包括：
21、计算参考图像中的每个目标像素和其它图像之间的匹配代价，然后对于每个目标像素，在其邻域内选择匹配代价最小的邻域像素；根据邻域像素的深度值和法向量重新计算目标像素在匹配图像中的对应像素，然后计算第二匹配代价，如果满足，则将和赋值给目标像素的深度值和法向量。
22、可选地，对各个目标像素的最优深度值进行随机优化，包括：
23、对参考图像的每个目标像素进行随机优化，为参考图像中的每个目标像素的深度值和法向量添加一个高斯噪声，得到深度值和法向量，重新计算目标像素在匹配图像中的对应像素，然后计算第三匹配代价，如果满足，则将和赋值给目标像素的深度值和法向量。
24、可选地，将参考图像的各个目标像素的参考窗口的尺度缩小，再执行步骤s300至步骤s500，以对各个目标像素的最终深度值进行窗口优化，包括：
25、将参考图像的各个目标像素的参考窗口的尺度缩小为原来的二分之一，再执行步骤s300至步骤s500，重复上述过程两次，获取经过多尺度窗口优化的各个目标像素的深度值。
26、可选地，第二阈值为20。
27、根据本专利技术的第二方面，提供了一种基于自适应多尺度窗口的多视图深度估计方法的应用，包括：
28、根据窗口优化后的各个目标像素的最终深度值获取参考图像的深度图，将图像集合中每张图像都设为参考图像计算对应的深度图，以获取图像集合中各个图像的深度图；
29、将图像集合中各个图像的深度图的各个像素投影到公共的世界坐标系下获取三维点云模型。
30、本专利技术的一个技术效果在于：
31、在本申请实施例中，该基于自适应多尺度窗口的多视图深度估计方法及应用能够解决无纹理区域深度估计问题。由于参考窗口越大，则参考窗口内的纹理信息越丰富，因本文档来自技高网...
【技术保护点】
1.一种基于自适应多尺度窗口的多视图深度估计方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，将纹理系数与第二阈值进行比较之后，还包括：
3.根据权利要求2所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，以参考图像的目标像素为中心建立参考窗口，计算参考图像的各个目标像素在参考窗口下的纹理系数，包括：
4.根据权利要求3所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，计算参考图像中的目标像素在匹配图像中的对应像素，包括：
5.根据权利要求4所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，采用相关性匹配算法计算第一匹配窗口和第二匹配窗口之间的第一匹配代价。
6.根据权利要求5所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，根据第一匹配代价对参考图像的各个目标像素进行邻域优化，包括：
7.根据权利要求6所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，对各个目标像素的最优深度值进行随机优化，包括：
8.根据权利要求7所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，将参考图像的各个目标像素的参考窗口的尺度缩小，再执行步骤S300至步骤S500，以对各个目标像素的最终深度值进行窗口优化，包括：
9.根据权利要求8所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，第二阈值为20。
10.一种基于自适应多尺度窗口的多视图深度估计方法的应用，其特征在于，包括：
...【技术特征摘要】
1.一种基于自适应多尺度窗口的多视图深度估计方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，将纹理系数与第二阈值进行比较之后，还包括：
3.根据权利要求2所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，以参考图像的目标像素为中心建立参考窗口，计算参考图像的各个目标像素在参考窗口下的纹理系数，包括：
4.根据权利要求3所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，计算参考图像中的目标像素在匹配图像中的对应像素，包括：
5.根据权利要求4所述的基于自适应多尺度窗口的多视图深度估计方法，其特征在于，采用相关性匹配算法计算第一匹配窗口和第二匹配窗口之间的第一匹配代价。<...
【专利技术属性】
技术研发人员：严超，叶飞，龚烨飞，刘继承，朱培逸，程艳花，薛国强，
申请(专利权)人：常熟理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。