基于能量增强散焦响应的改进光场深度估计算法制造技术

本发明专利技术属于光场图像处理及深度估计领域，特别是公开了一种基于能量增强散焦响应的改进光场深度估计算法，针对现有的DCDC算法在建立散焦响应函数时，所采用的拉普拉斯算子存在求取二阶导方向有限、且所有二阶导求和能量相互抵消的问题，对散焦响应函数进行了改进，提出基于能量增强散焦响应的光场深度估计算法，该算法充分考虑了周边像素点对当前位置散焦度的影响，通过增加具有权重差异的二阶导的个数和方向来实现能量增强，实验验证了该方法的有效性，针对一些深度信息复杂的光场图像，本发明专利技术算法获取的深度图视觉效果更好，与散焦评价结合相关性评价算法相比，改进算法获得深度图像的均方误差平均下降3.95％。

An improved depth estimation algorithm based on energy enhanced defocusing response

【技术实现步骤摘要】
基于能量增强散焦响应的改进光场深度估计算法
本专利技术属于光场图像处理及深度估计领域，特别是涉及一种基于能量增强散焦响应的改进光场深度估计算法。
技术介绍
光场渲染理论的不断发展及全光函数的不断演化，光场成像成为现代计算摄影学的一个热点话题。与传统相机的结构设计不同，微透镜光场相机基于光场双平面表示模型，通过主透镜与成像面中间增加微透镜阵列来实现4维(4D)光场数据的获取。该4D光场不仅记录了传统成像获得的空间光线的位置信息(x,y)，同时记录了光线的方向信息(s,t)。单次曝光完成多维空间光线信息的记录使得光场图像在后期具有更为广泛的应用价值，如基于光场图像进行数字重聚焦、多视点图像的提取、全聚焦图像融合等。在此基础上发展起来的深度估计算法，凭借只需一张光场图像即可完成深度图估计的优势，近年来引起光学三维传感领域诸多学者的普遍关注。目前，基于光场图像的深度估计算法主要分为三类：立体匹配法、EPI(Epipolar-PlaneImage)图像法和散焦法(DepthfromDefocus,DFD)。立体匹配法主要基于光场子孔径图像的视差求取，通过视差与深度信息的对应关系完成深度图像估计，如Jeon等提出的基于子孔径图像相位亚像素位移计算的深度获取法基于此原理，受微透镜光场相机结构设计的限制，解码出来的子孔径图像的视点数有限且分辨率有限等问题限制了该算法的深度获取精度。EPI算法将多幅存在单一方向视差的子孔径图像堆叠形成立方体，沿一定方向切割立方体形成EPI截面，利用EPI图像极线斜率与目标场景深度成比例的关系完成深度估计，如Li等通过EPI图像结构张量计算、解稀疏线性系统完成平滑深度图像的获取，Zhang等采用自旋转平行四边形来获得EPI的斜率，对于不连续区域有较好的深度重建效果。该类算法由于需要准确估计EPI图像每一像素点所在极线的斜率，图像特征局部不完备是导致算法复杂度高、实时性差的主要原因。DFD是通过对同一目标场景聚焦深度不同的多张多聚焦图像进行散焦度对比来完成深度估计，Favaro提出的基于非局部均衡化滤波正则化深度估计基于此原理。针对光场图像特性，在充分分析各类深度获取算法的优缺点后，Tao提出了基于散焦评价结合相关性评价的深度获取算法(Depthfromcombiningdefocusandcorrespondence，DCDC)，该算法充分利用了散焦深度图局部抗噪声能力强及相关性深度图全局边界准确的优点，采用马尔可夫优化理论完成了最终深度图的优化。但是该方法在进行散焦评价获取深度时，所采用的拉普拉斯算子只考虑了空间信息水平、垂直方向的二阶导，且存在二阶导求和时能量相互抵消的问题，影响了算法应用于复杂拍摄场景中的深度获取精度。基于此，本专利技术对散焦评价函数进行改进，提出了基于能量增强散焦评价方法来提高散焦法获得深度图的质量，进而提高最终深度图的获取精度。
技术实现思路
本专利技术旨在克服现有技术不足，解决了现有的DCDC算法在建立散焦响应函数时，所采用的拉普拉斯算子存在求取二阶导方向有限、且所有二阶导求和能量相互抵消的问题，提供一种基于能量增强散焦响应的改进光场深度估计算法，本算法充分考虑了周边像素点对当前位置散焦度的影响，通过增加具有权重差异的二阶导个数和方向来实现能量增强，在复杂场景的深度获取中具有更强的鲁棒性。为解决上述技术问题，本专利技术保护的技术方案为：基于能量增强散焦响应的改进光场深度估计算法，按照以下步骤进行：1)对光场相机进行微透镜中心标定后，从光场原图像中解码出4D光场L0(x0,y0,s0,t0)，根据光场双平面表示模型及数字重聚焦理论，当改变光场相机成像平面(像距)的位置时，由相机记录的新的成像深度处(物距)的光场与原光场L0(x0,y0,s0,t0)的坐标存在以下关系：其中，αn表示像平面移动距离的比例系数，且n＝0,1,2，······255，表示不同αn值对应的索引值，将分别沿着s、t方向进行二重积分，得到不同αn值对应的重聚焦图像：其中Ns，Nt表示4D光场角度分辨率的大小；2)不同聚焦深度处的4D光场的散焦响应通过增加具有权重差异的二阶导个数和方向，来实现能量增强，散焦响应函数的表达式如下：其中，ω'D是围绕当前像素的窗口大小，表示基于能量增强的二阶导算子，其表达式如下：其中，s、t表示水平垂直方向二阶导步长，表示权重因子，距离中心点越近的点，权重因子越大，对拉普拉斯算子值贡献越大，反之，距离中心点越远，对拉普拉斯算子值贡献越小，S、T只能取奇数，S×T表示重聚焦图像与该二阶导算子卷积的窗口大小；3)不同聚焦深度处的4D光场的相关性响应通过计算4D光场角度方差来实现：4)取散焦响应最大时αn的索引值n形成散焦深度图D1(x,y)，取相关性响应最小时αn的索引值n形成相关性深度图D2(x,y)，具体表达式如下：5)使用马尔可夫优化理论来实现散焦深度图和相关性深度图的融合，先计算不同深度图对应的置信度：C1(x,y)＝D1(x,y)/D′1(x,y)(8)C2(x,y)＝D2(x,y)/D′2(x,y)(9)其中，D′1(x,y)表示散焦响应取次大值时由公式(6)得到的深度图，D′2(x,y)表示取散焦响应取次小值时由公式(7)得到的深度图；最终融合后的深度图D(x,y)通过解以下优化问题得到：与现有技术相比，本专利技术对现有的散焦深度获取算法中的散焦响应函数进行改进，提出基于能量增强的改进散焦响应函数，该函数充分考虑了周边像素点对当前位置散焦度的影响，通过增加具有权重差异的二阶导个数和方向来实现能量增强。通过实验验证了本专利技术所提方法的有效性：针对一些深度信息复杂的光场图像，本专利技术所提算法获取的深度图视觉效果更好；与散焦评价结合相关性评价算法相比，改进后算法获得深度图像的均方根误差平均下降3.95％。附图说明下面结合附图对本专利技术做进一步详细的说明。图1为本专利技术基于能量增强散焦响应的改进光场深度估计算法数据处理流程。图2中(a)为传统拉普拉斯算子，(b)为本专利技术提出的能量增强的二阶导算子。图3为基于“shoe”图像的深度估计效果对比，其中(a)为光场原图像，(b)为现有DCDC算法获取的深度图，(c)为本专利技术算法获取的深度图。图4为基于“stapler”图像的深度获取效果对比，其中(a)为去冗余光场原图像，(b)为DCDC算法获取的深度图，(c)为本专利技术算法获取的深度图。图5为“benchmark”数据集样本图，其中(a)为“boxes”场景，(b)为“dino”场景。图6为“boxes”场景的深度获取效果对比，其中(a)为真实深度图，(b)为DCDC算法获取的深度图，(c)为本专利技术算法获取的深度图。图7为“dino”场景的深度获取效果对比，其中(a)为标准深度图，(b)为DCDC算法获取的深度图，(c)为本专利技术算法获本文档来自技高网...

【技术保护点】
1.基于能量增强散焦响应的改进光场深度估计算法，其特征在于，按照以下步骤进行：/n1)对光场相机进行微透镜中心标定后，从光场原图像中解码出4D光场L

【技术特征摘要】
1.基于能量增强散焦响应的改进光场深度估计算法，其特征在于，按照以下步骤进行：
1)对光场相机进行微透镜中心标定后，从光场原图像中解码出4D光场L0(x0,y0,s0,t0)，根据光场双平面表示模型及数字重聚焦理论，当改变光场相机成像平面(像距)的位置时，由相机记录的新的成像深度处(物距)的光场与原光场L0(x0,y0,s0,t0)的坐标存在以下关系：



其中，αn表示像平面移动距离的比例系数，且n＝0,1,2，······255，表示不同αn值对应的索引值，将分别沿着s、t方向进行二重积分，得到不同αn值对应的重聚焦图像：



其中Ns，Nt表示4D光场角度分辨率的大小；
2)不同聚焦深度处的4D光场的散焦响应通过增加具有权重差异的二阶导个数和方向来实现能量增强，散焦响应函数的表达式如下：



其中，ω′D是围绕当前像素的窗口大小，表示基于能量增强的二阶导算子，其表达式如下：



其中，s、t表示水平垂直方向二阶导步长，表示权重...

【专利技术属性】
技术研发人员：武迎春，程星，张娟，李素月，宁爱平，王安红，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：山西;14