聚合多视角深度信息的单张光场影像深度估计方法及系统技术方案

本发明专利技术涉及图像处理分析技术领域，且公开了聚合多视角深度信息的单张光场影像深度估计方法及系统，本发明专利技术利用不同视角深度一致性，分别找出被遮挡和未被遮挡视角，分别进行不同视角深度值聚合，提高了遮挡区域和弱纹理区域的深度估计精度。区域的深度估计精度。区域的深度估计精度。

【技术实现步骤摘要】
聚合多视角深度信息的单张光场影像深度估计方法及系统


[0001]本专利技术涉及图像处理分析
，具体为聚合多视角深度信息的单张光场影像深度估计方法及系统。

技术介绍

[0002]与传统相机相比，光场相机不仅捕获到达某空间点所有方向光线的累积强度，而且捕获了每个方向光线的强度大小，因此可通过一次拍摄获取到多个视角的信息。目前的单张光场影像深度估计方法主要基于光场影像的三种可视化形式，包括：基于多视匹配、基于角度域影像（angular patch）和基于EPI的方法三类。但是，无论哪个哪种方法都仅利用了目标视角的深度信息，而忽略掉了其它视角的深度信息。

技术实现思路

[0003]本专利技术主要是提供聚合多视角深度信息的单张光场影像深度估计方法及系统。
[0004]为了解决上述技术问题，本专利技术采用如下技术方案：聚合多视角深度信息的单张光场影像深度估计方法，包括：基于光场影像计算多个均匀分布视角的深度代价量，获取多个不同视角的深度值；基于多个不同视角的深度值判断像素是否被遮挡；基于判断结果对多个不同视角的深度图进行聚合和优化。
[0005]进一步，所述基于光场影像计算多个均匀分布视角的深度代价量，获取多个不同视角的深度值，包括：将光场影像基于均匀分布的视角划分成为多个子视角区域；选取光场影像中所有视角中心的视角为中心视角，所述中心视角所在的区域为中心子视角区域，取中心子视角区域周围均匀分布的子视角区域为边缘子视角区域，所述边缘子视角区域为边缘视角所在区域；基于所述中心子视角区域和边缘子视角区域，分别计算所述中心视角和边缘视角的深度代价量，在基于所述深度代价量获取所述中心视角和边缘视角的深度值。
[0006]进一步，所述基于多个不同视角的深度值判断像素是否被遮挡，包括：将所述中心视角和边缘视角的深度值加和生成总和深度图；基于所述总和深度图加和过程中非遮挡像素和被遮挡像素的深度值分布的不同，确定所述总和深度图上具有最大梯度值的像素，进而确定被遮挡像素。
[0007]进一步，所述基于判断结果对多个不同视角的深度图进行聚合和优化，包括：对未被遮挡空间点，直接将所述中心视角和边缘视角的深度值进行加和，获取最终深度值；对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值；
将最终深度值的深度图作为初始深度图，并利用导向滤波进行优化，得到最终深度图。
[0008]进一步，所述对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值，包括：对中心视角的深度值和所有边缘视角的深度值进行聚类遍历，确定包含最多成员数的群组，将深度值差异小于某一阈值归为同一群组；判断所述群组的成员数是否大于预定阈值；若大于，则取所述群组的平均值作为最终深度值；若小于，则取中心视角的深度值作为最终深度值。
[0009]聚合多视角深度信息的单张光场影像深度估计系统，包括：多视角深度图获取模块，用于基于光场影像计算多个均匀分布视角的深度值代价量，获取多个不同视角的深度值；像素遮挡判断模块，用于基于多个不同视角的深度值判断像素是否被遮挡；多视角深度图聚合优化模块，用于基于判断结果对多个不同视角的深度图进行聚合和优化。
[0010]进一步，所述多视角深度图获取模块，包括：视角分割子模块，用于将光场影像基于均匀分布的视角划分成为多个子视角区域；视角选取子模块，用于选取光场影像中所有视角中心的视角为中心视角，所述中心视角所在的区域为中心子视角区域，取中心子视角区域周围均匀分布的子视角区域为边缘子视角区域，所述边缘子视角区域为边缘视角所在区域；视角深度值计算子模块，用于基于所述中心子视角区域和边缘子视角区域，分别计算所述中心视角和边缘视角的深度代价量，在基于所述深度代价量获取所述中心视角和边缘视角的深度值。
[0011]进一步，所述像素遮挡判断模块，包括：深度图加和子模块，用于将所述中心视角和边缘视角的深度值加和生成总和深度图；遮挡像素确定子模块，用于基于所述总和深度图加和过程中非遮挡像素和被遮挡像素的深度值分布的不同，确定所述总和深度图上具有最大梯度值的像素，进而确定被遮挡像素。
[0012]进一步，所述多视角深度图聚合优化模块，包括：未遮挡计算子模块，用于对未被遮挡空间点，直接将所述中心视角和边缘视角的深度值进行加和，获取最终深度值；被遮挡计算子模块，用于对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值；深度图优化子模块，用于将最终深度值的深度图作为初始深度图，并利用导向滤波进行优化，得到最终深度图。
[0013]进一步，所述被遮挡计算子模块，包括：群组确定单元，用于对中心视角的深度值和所有边缘视角的深度值进行聚类遍历，确定包含最多成员数的群组，将深度值差异小于某一阈值归为同一群组；阈值判断单元，用于判断所述群组的成员数是否大于预定阈值；最终深度值选取单元，用于若大于，则取所述群组的平均值作为最终深度值；若小于，则取中心视角的深度值作为最终深度值。
[0014]有益效果：本专利技术利用不同视角深度一致性，分别找出被遮挡和未被遮挡视角，分别进行不同视角深度值聚合，提高了遮挡区域和弱纹理区域的深度估计精度。
附图说明
[0015]图1为本专利技术聚合多视角深度信息的单张光场影像深度估计方法流程图；图2为步骤S1流程图；图3为步骤S2流程图；图4为步骤S3流程图；图5为步骤S32流程图；图6为本专利技术聚合多视角深度信息的单张光场影像深度估计系统的框图；图7为遮挡点在不同视角深度图；图8为被遮挡点的成像几何图。
具体实施方式
[0016]以下将结合实施例对本专利技术涉及的聚合多视角深度信息的单张光场影像深度估计方法及系统技术方案进一步详细说明。
[0017]如图1所示，本实施例的聚合多视角深度信息的单张光场影像深度估计方法，包括： S1~S3S1、基于光场影像计算多个均匀分布视角的深度值代价量，获取多个不同视角的深度值；其中，将目标深度值的范围划分为N份，分别计算不同深度值下的深度值代价量，最大深度值代价量对应的深度值即视该像素对应的深度值。而影像中所有像素的深度值排列总和在一起，即是深度图。
[0018]其中，例子如下所示：
其中，当中心视角的代价量为0.8、0.5、0.6时，深度值为1时0.8为最大的代价量，则最后得到深度值为1；当边缘视角的代价量为0.3、0.8、0.6时，深度值为2时0.8为最大代价量，则最后得到深度值为2；最终将深度值1和深度值2总和得到深度图。
[0019]S2、基于多个不同视角的深度值判断像素是否被遮挡；S3、基于判断结果对多个不同视角的深度图进行聚合和优化。
[0020]其中，在光场影像中，未被遮挡空间点在光场影像中所有视角的深度值应该是一致的；但是被遮挡空间点，在一些视角的深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.聚合多视角深度信息的单张光场影像深度估计方法，其特征在于，包括：基于光场影像计算多个均匀分布视角的深度代价量，获取多个不同视角的深度值；基于多个不同视角的深度值判断像素是否被遮挡；基于判断结果对多个不同视角的深度图进行聚合和优化。2.根据权利要求1所述的方法，其特征在于，所述基于光场影像计算多个均匀分布视角的深度代价量，获取多个不同视角的深度值，包括：将光场影像基于均匀分布的视角划分成为多个子视角区域；选取光场影像中所有视角中心的视角为中心视角，所述中心视角所在的区域为中心子视角区域，取中心子视角区域周围均匀分布的子视角区域为边缘子视角区域，所述边缘子视角区域为边缘视角所在区域；基于所述中心子视角区域和边缘子视角区域，分别计算所述中心视角和边缘视角的深度代价量，在基于所述深度代价量获取所述中心视角和边缘视角的深度值。3.根据权利要求2所述的方法，其特征在于，所述基于多个不同视角的深度值判断像素是否被遮挡，包括：将所述中心视角和边缘视角的深度值加和生成总和深度图；基于所述总和深度图加和过程中非遮挡像素和被遮挡像素的深度值分布的不同，确定所述总和深度图上具有最大梯度值的像素，进而确定被遮挡像素。4.根据权利要求3所述的方法，其特征在于，所述基于判断结果对多个不同视角的深度图进行聚合和优化，包括：对未被遮挡空间点，直接将所述中心视角和边缘视角的深度值进行加和，获取最终深度值；对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值；将最终深度值的深度图作为初始深度图，并利用导向滤波进行优化，得到最终深度图。5.根据权利要求4所述的方法，其特征在于，所述对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值，包括：对中心视角的深度值和所有边缘视角的深度值进行聚类遍历，确定包含最多成员数的群组，将深度值差异小于某一阈值归为同一群组；判断所述群组的成员数是否大于预定阈值；若大于，则取所述群组的平均值作为最终深度值；若小于，则取中心视角的深度值作为最终深度值。6.聚合多视角深度信息的单张光场影像深度估计系统，其特征在于，包...

【专利技术属性】
技术研发人员：刘玉轩，许彪，孙钰珊，莫凡，韩晓霞，王保前，樊仲藜，
申请(专利权)人：中国测绘科学研究院，
类型：发明
国别省市：