基于纹理信息引导的光场深度图优化算法制造技术

本发明专利技术一种基于纹理信息引导的光场深度图优化算法属于光场深度估计领域，解决了大多深度估计算法获得的深度图存在边缘模糊、精度有限的问题，结合引导滤波器边缘保持局部平滑特性，提出基于纹理信息引导的光场深度图优化算法，该算法以纹理信息丰富的光场中心孔径图像作为引导图像，建立了基于多评价函数的混合引导滤波参数寻优模型，以获得合理滤波器参数实现深度图引导滤波优化，最终使得优化后的深度图边缘的视觉效果更好，与标准深度图更为接近。

【技术实现步骤摘要】
基于纹理信息引导的光场深度图优化算法
本专利技术属于光场深度估计领域，特别是涉及一种基于纹理信息引导的光场深度图优化算法。
技术介绍
深度信息在智能医疗、无人驾驶、人脸识别、目标检测跟踪、3D视频制作等领域有着广泛的应用价值，基于光场相机的深度估计是近年来国内外诸多学者研究的热点。光场相机由光场成像理论发展而来，基于光场双平面表示模型，光场相机可实现空间光线位置信息与角度信息的同步记录，将这些信息进行变换处理，可实现场景深度估计。目前，主流的光场深度估计技术主要包括散焦法、立体匹配法、EPI(Epipolar-PlaneImage)斜率法以及基于深度学习的方法。散焦法以光场相机数字重聚焦得到的多张重聚焦图像为输入，通过图像间清晰度比较获得深度图，受清晰度评价函数敏感度的限制，该算法获得的深度图存在边缘不准确的问题。立体匹配法通过计算多幅子孔径图像的视差来确定深度图，子孔径图像间基线距离较短限制了该算法的精度。EPI斜率法利用极线图的特殊结构计算每个像素点对应的视差信息，将视差信息转化得到深度图，该算法在平滑区域鲁棒性较差。相比较于以上方法，基于深度学习的方法获取的深度图精度较高，但需要大量的训练数据，并且存在输出的深度图与光场空间分辨率不匹配的问题。
技术实现思路
为解决上述技术问题，提高传统光场深度估计算法获得的深度图的精度，本专利技术利用引导滤波器可实现引导图像边缘保持及被引导图像局部平滑特性，采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，以获得噪声更低和边缘更为准确的深度图。本专利技术保护的技术方案为：基于纹理信息引导的光场深度图优化算法，采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，引导滤波的过程可简单用式(1)描述：其中，O是输出图像，即优化后的光场深度图；I是引导图像，即携带纹理信息的光场中心孔径图像，其特征为边缘信息明显；i和k是像素索引；ak和bk是以像素k为中心的引导滤波器窗口ωk中恒定的线性系数，ωk的窗口大小为(2r+1)(2r+1)；对式(1)两边求导，有该局部线性模型保证了只有当中心孔径图像I有边缘时优化后的深度图O才有边缘，ak和bk的表达式分别为：其中，|ω|表示ωk中所有像素的个数；P为输入图像，即边缘模糊的原始光场深度图；为P在窗口ωk中的均值；μk和分别为中心孔径图像I在窗口ωk中的均值和方差；ε表示滤波器的一个正则化参数，它的取值大于等于0，当中心孔径图像在滤波窗口ωk中的方差远大于ε时，优化后的深度图在该区域保留中心孔径图像的丰富边缘信息；当中心孔径图像在滤波窗口ωk中的方差远小于ε时，优化后的深度图在该区域相当于对原始深度图做均值滤波；因此，寻找合适的滤波窗口r以及正则化参数ε，可使得引导滤波器在平滑原始深度图像噪声的同时保持中心孔径图像的边缘；为了寻找合适的滤波窗口r以及正则化参数ε，建立了基于多评价函数的混合引导滤波参数寻优模型，该模型可表示为：其中，En表示归一化的评价指标值；代表随着r或ε的增大，反映图像质量逐步变好的指标，其个数为M；为随着r或ε的增大，反映图像质量逐步变差的指标，其个数为N；λα、λβ表示各评价指标的权值，λα、λβ的正负由各指标的特性决定，若评价值越大图像质量越高，λα、λβ的值为正，若评价值越小图像质量越高，λα、λβ的值为负，寻优的过程即为寻找合适的滤波参数r、ε，使得y值最大。进一步的，选取峰值信噪比PSNR、均方误差MSE、坏像素率BP、绝对相对误差ARE和细化Thining5个性能评价函数，对不同的滤波参数r、ε获得的优化深度图进行评价；固定ε＝10-4，滤波器的窗口半径r从1变到10，获得的深度图的归一化PSNR、MSE、BP、ARE和Thining的值随r的变化曲线图如图1(a)所示；固定r＝5，ε从初值10-7以指数形式递增，获得的深度图的归一化PSNR、MSE、BP、ARE和Thining的值随ε的变化曲线图如图1(b)所示；随着r的增大，PSNR曲线呈上升趋势，反映图像质量变好；MSE、BP曲线呈下降趋势，反映图像质量变好；ARE、Thining曲线呈上升趋势；反映图像质量变差；结合公式(4)给出的混合引导滤波参数寻优模型可得M＝3、N＝2，由于PSNR的值越大，代表深度图质量越高，其权重取正值，MSE、BP、ARE和Thining的值越小，代表深度图的质量越高，其权重取负值，因此参数r的寻优模型可具体表示为：同理，参数ε的寻优模型可具体表示为：固定ε＝10-4，绘制yr随r的变化曲线图如图1(c)所示，固定r＝5，绘制yε随ε的变化曲线图如图1(d)所示，从曲线图中可以看出，r＝5时，yr取最大值，ε＝10-4时，yε取最大值，因此，本专利技术最终确定引导滤波的参数r＝5、ε＝10-4。本专利技术算法以纹理信息丰富的光场中心孔径图像作为引导图像，建立了基于多评价函数的混合引导滤波参数寻优模型，以获得合理滤波器参数实现深度图引导滤波优化。实验结果表明，优化后的深度图边缘的视觉效果有明显改善，与散焦结合相关性评价算法获得的原始深度图相比，优化后深度图的均方误差平均降低1.13％。附图说明下面结合附图对本专利技术做进一步详细的说明。图1为引导滤波参数优化，其中(a)为ε＝10-4时，各指标随r的变化曲线图，(b)为r＝5时，各指标随ε的变化曲线图，(c)为yr随r的变化曲线图，(d)为yε随ε的变化曲线图。图2为“cotton”场景实验效果对比图，其中(a)为光场原图，(b)为标准深度图，(c)为DCDC算法深度图，(d)为优化后的深度图。图3为“dino”场景实验效果对比图，其中(a)为光场原图，(b)为标准深度图，(c)为DCDC算法深度图，(d)为优化后的深度图。具体实施方式为使本专利技术的目的、特征和优点能够明显易懂，下面结合附图对本专利技术的具体实施方式做详细说明。为了提高传统光场深度估计算法获得的深度图的精度，本专利技术利用引导滤波器可实现引导图像边缘保持及被引导图像局部平滑特性，采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，以获得噪声更低和边缘更为准确的深度图。引导滤波的过程可简单用式(1)描述：其中，O是输出图像，即优化后的光场深度图；I是引导图像，即携带纹理信息的光场中心孔径图像，其特征为边缘信息明显；i和k是像素索引；ak和bk是以像素k为中心的引导滤波器窗口ωk中恒定的线性系数，ωk的窗口大小为(2r+1)(2r+1)；对式(1)两边求导，有因此该局部线性模型保证了只有当中心孔径图像I有边缘时优化后的深度图O才有边缘，ak和bk的表达式分别为：其中，|ω|表示ωk中所有像素的个数；P为输入图像，即边缘模糊的原始光场深度图；为P在窗口ωk中的均值；μk和分别为中心孔径图像I在窗口ωk中的均值和方差；ε表示滤波器的一个正则化参数，它的取值本文档来自技高网...

【技术保护点】
1.基于纹理信息引导的光场深度图优化算法，其特征在于：/n采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，其引导滤波的过程可简单用式(1)描述：/n

【技术特征摘要】
1.基于纹理信息引导的光场深度图优化算法，其特征在于：
采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，其引导滤波的过程可简单用式(1)描述：



其中，O是输出图像，即优化后的光场深度图；I是引导图像，即携带纹理信息的光场中心孔径图像，其特征为边缘信息明显；i和k是像素索引；ak和bk是以像素k为中心的引导滤波器窗口ωk中恒定的线性系数，ωk的窗口大小为(2r+1)(2r+1)；
对式(1)两边求导，有▽O＝a▽I，该局部线性模型保证了只有当中心孔径图像I有边缘时优化后的深度图O才有边缘，ak和bk的表达式分别为：






其中，|ω|表示ωk中所有像素的个数；P为输入图像，即边缘模糊的原始光场深度图；为P在窗口ωk中的均值；μk和分别为中心孔径图像I在窗口ωk中的均值和方差；ε表示滤波器的一个正则化参数，它的取值大于等于0，当中心孔径图像在滤波窗口ωk中的方差远大于ε时，优化后的深度图在该区域保留中心孔径图像的丰富边缘信息；当中心孔径图像在滤波窗口ωk中的方差远小于ε时，优化后的深度图在该区域相当于对原始深度图做均值滤波；因此，寻找合适的滤波窗口r以及正则化参数ε，可使得引导滤波器在平滑原始深度图像噪声的同时保持中心孔径图像的边缘；
为了寻找合适的滤波窗口r以及正则化参数ε，建立了基于多评价函数的混合引导滤波参数寻优模型，该模型可表示为：



其中，En表示归一化的评价指标值；代表随着r或ε的增大，反映图像质量逐步变好的指标，其个数为M；为随着r或ε的增大，反映图像质量逐步变差的指标，其个数为N；λα、λβ表示各评价指标的权值...

【专利技术属性】
技术研发人员：武迎春，赵志浩，王玉梅，张彧龙，王安红，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：山西;14