针对光场阵列相机重聚焦图像的全景深融合方法及系统技术方案

本发明专利技术公开了一种针对光场阵列相机重聚焦图像的全景深融合方法及系统，对所有待融合的多聚焦图像进行静态小波分解；对于细节小波系数，对一系列的细节系数取绝对值，将绝对值最大的系数作为最终用来重构融合图像的细节小波系数；对于近似小波系数，求取一系列对应位置近似小波系数的平均值，将平均值作为最终用来重构融合图像的近似小波系数；对上述用来重构融合图像的小波系数采取静态小波逆变换，最终得到全景深的融合图像。采用本发明专利技术的方法，可以使大量具有浅景深的多聚焦图像较好地融合成为一幅全景深图像，很好的抑制了传统融合方法导致的振铃效应以及色彩失真。

Panoramic deep fusion method and system for refocused image of optical field array camera

The invention discloses a method for light field heavy focus image array camera panoramic depth fusion method and system of all fusion multi focus image of stationary wavelet decomposition; for detail wavelet coefficients, the absolute value of the coefficients of a series, the absolute value of the largest wavelet coefficients are used to reconstruct the final details as image fusion; wavelet coefficients for approximation, the average take a series of corresponding approximate wavelet coefficient values, the average value as the final approximation of wavelet coefficients for the fused image of the wavelet coefficients; used to reconstruct the fused image by using static wavelet transform, finally obtained deep panoramic image fusion. By adopting the method of the invention, a large number of multi focus images with shallow depth of field can be well integrated into a panoramic deep image, which effectively inhibits the ringing effect and color distortion caused by traditional fusion methods.

【技术实现步骤摘要】
针对光场阵列相机重聚焦图像的全景深融合方法及系统
本专利技术涉及图像处理，图像融合，计算成像领域，特别是一种针对光场阵列相机重聚焦图像的全景深融合方法及系统。
技术介绍
近年来，光场相机在工业领域和学术领域获得越来越多的关注。在过去的几年里，高校和科研部门研制了各式各样的光场相机[1][2][3][4]。相比于传统数码相机，光场相机可以在一次曝光成像中获取当前场景的三维信息，具有拍照后重聚焦[5]等诸多功能。计算重聚焦技术在实际应用中，往往通过不断调节参数，得到聚焦到不同深度的一系列图像，从而覆盖当前场景的所有深度，利用多聚焦图像融合技术可以将一系列聚焦到不同深度的图像融合成为当前场景的全聚焦图像。然而与传统光学相机相比，光场相机等效孔径较大，导致计算重聚焦得到的图像景深较浅，只有小部分深度的物体处于聚焦状态，其余大部分深度的物体都处于离焦的模糊状态。因此要想获得一幅当前场景的全景深图像，就需要大量的重聚焦图像。现有的多聚焦图像融合算法主要有基于空域的融合算法与基于变换域的融合算法。空域算法往往会导致融合结果对比度较低，发生块状失真[6]，如图1(A)以及图2(A)所示。变换域图像融合算法的主要思想是将待融合图像进行多尺度分解，从不同的尺度层中提取相应的细节信息，根据不同的规则将提取出来的信息进行整合。现有的应用最广泛的就是基于离散小波变换(DWT)的算法[7]。然而由于其在分解过程中存在下采样环节，导致在处理大数量浅景深的源图像时效果不理想，容易发生振铃效应(图1(B))以及色彩失真(图2(B))。相关引用文献：[1]R.Ng,M.Levoy,M.Bredif,G.Duval,M.Horowitz,andP.Hanrahan,“Lightfieldphotographywithahand-heldplenopticcamera,”CSTR,vol.2,2005.[2]A.Veeraraghavan,R.Raskar,A.Agrawal,A.Mohan,andJ.Tumblin,“Dappledphotography:Maskenhancedcamerasforheterodynedlightfieldsandcodedaperturerefocusing,”ACMTrans.Graph.,vol.26,no.3,July.2007.[3]C.-K.Liang,T.-H.Lin,B.-Y.Wong,C.Liu,andH.H.Chen,“Programmableaperturephotography:Multiplexedlightfieldacquisition,”ACMTrans.Graph.,vol.27,no.3,pp.55:1–55:10,Aug.2008.[4]B.Wilburn,N.Joshi,V.Vaish,E.-V.Talvala,E.Antunez,A.Barth,A.Adams,M.Horowitz,andM.Levoy,“Highperformanceimagingusinglargecameraarrays,”ACMTrans.Graph.,vol.24,no.3,pp.765–776,Jul.2005.[5]WangY,HouG,SunZ,“Asimpleandrobustsuperresolutionmethodforlightfieldimages,”IEEEInternationalConferenceonImageProcessing.IEEE,1459-1463,(2016)[6]BaiX,LiuM,ChenZ,“Multifocusimagefusionthroughgradient-baseddecisionmapconstructionandmathematicalmorphology,”IEEEAccess,4,4749-4760,(2016)[7]WangH,JingZ,LiJ,“Animagefusionapproachbasedondiscretewaveletframe,”InformationFusion,2003.ProceedingsoftheSixthInternationalConferenceof.IEEE,1490-1493,(2003)
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术不足，提供一种针对光场阵列相机重聚焦图像的全景深融合方法及系统，解决传统多聚焦图像融合方法在处理大数量浅景深的源图像时效果不理想的问题。为解决上述技术问题，本专利技术所采用的技术方案是：一种针对光场阵列相机重聚焦图像的全景深融合方法，包括以下步骤：1)对所有待融合的多聚焦图像进行静态小波分解；2)对于细节小波系数，对一系列的细节系数取绝对值，将绝对值最大的系数作为最终用来重构融合图像的细节小波系数；对于近似小波系数，求取一系列近似小波系数对应位置的平均值，将平均值作为最终用来重构融合图像的近似小波系数；3)对上述小波系数或近似小波系数采取静态小波逆变换，最终得到全景深的融合图像。步骤1)中，采用swt2()函数实现静态小波分解。步骤2)中，所述细节小波系数包括水平细节系数、垂直细节系数和对角细节系数；第k层的水平细节系数Hk的表达式为：其中，N是多聚焦图像的总数量；n为当前图像，取值从1至N；(i,j)代表分解系数图像的坐标；k为分解层数；代表第n幅图像第k层分解的水平细节系数。步骤2)中，第k层近似小波系数Ak的计算式为：其中，为第n幅图像第k层分解的近似系数；N是多聚焦图像的总数量；n为当前图像，取值从1至N；(i,j)代表分解系数图像的坐标；k为分解层数。使用iswt2()函数实现静态小波逆变换。相应地，本专利技术还提供了一种针对光场阵列相机重聚焦图像的全景深融合系统，包括：分解模块，用于对所有待融合的多聚焦图像进行静态小波分解；整合模块，对于细节小波系数，对一系列的细节系数取绝对值，将绝对值最大的系数作为最终用来重构融合图像的细节小波系数；对于近似小波系数，求取一系列近似小波系数对应位置的平均值，将平均值作为最终用来重构融合图像的近似小波系数；融合模块，用于对上述小波系数或近似小波系数采取静态小波逆变换，最终得到全景深的融合图像。与现有技术相比，本专利技术所具有的有益效果为：采用本专利技术的方法，可以使大量具有浅景深的多聚焦图像较好地融合成为一幅全景深图像，很好的抑制了传统融合方法导致的振铃效应以及色彩失真，操作简单，易于编程实现，并且对小波分解层数具有一定的鲁棒性，随着光场相机的不断推广，本专利技术方法具有较大的实用价值。附图说明图1中，(a)～(u)为阵列相机聚焦到不同深度的重聚焦图像，(A)为空域融合方法获得的融合结果，(B)为基于传统小波变换的融合方法获得的融合结果，(C)为本专利技术的方法获得的融合结果。图2中，(a)～(n)为阵列相机聚焦到不同深度的重聚焦图像，(A)为空域融合方法获得的融合结果，(B)为基于传统小波变换的融合方法获得的融合结果，(C)为本专利技术的方法获得的融合结果。图3为基于静态小波分解的多聚焦图像融合框架图。设待分解的多聚焦源图像为In(n＝1,2,...,N)，经过静态小波分解为k层,每层均包含有近似系数A,水平细节系数H,垂本文档来自技高网...

【技术保护点】
一种针对光场阵列相机重聚焦图像的全景深融合方法，其特征在于，包括以下步骤：1)对所有待融合的多聚焦图像进行静态小波分解；2)对于细节小波系数，对一系列的细节系数取绝对值，将绝对值最大的系数作为最终用来重构融合图像的细节小波系数；对于近似小波系数，求取一系列对应位置近似小波系数的平均值，将平均值作为最终用来重构融合图像的近似小波系数；3)对上述用来重构融合图像的小波系数采取静态小波逆变换，最终得到全景深的融合图像。

【技术特征摘要】
1.一种针对光场阵列相机重聚焦图像的全景深融合方法，其特征在于，包括以下步骤：1)对所有待融合的多聚焦图像进行静态小波分解；2)对于细节小波系数，对一系列的细节系数取绝对值，将绝对值最大的系数作为最终用来重构融合图像的细节小波系数；对于近似小波系数，求取一系列对应位置近似小波系数的平均值，将平均值作为最终用来重构融合图像的近似小波系数；3)对上述用来重构融合图像的小波系数采取静态小波逆变换，最终得到全景深的融合图像。2.根据权利要求1所述的针对光场阵列相机重聚焦图像的全景深融合方法，其特征在于，步骤1)中，采用swt2()函数实现静态小波分解。3.根据权利要求1所述的针对光场阵列相机重聚焦图像的全景深融合方法，其特征在于，步骤2)中，所述细节小波系数包括水平细节系数、垂直细节系数和对角细节系数；第k层的水平细节系数Hk的表达式为：其中，N是多聚焦图像的总数量；n为当前图像，取值从1至N；(i,j)代表分解系数图像的坐标；k为分解层数；代表第n...

【专利技术属性】
技术研发人员：杨俊刚，王应谦，肖超，李骏，安玮，
申请(专利权)人：杨俊刚，王应谦，肖超，
类型：发明
国别省市：湖南,43