基于边缘增强引导滤波的光场全聚焦图像融合方法技术

本发明专利技术属于图像处理技术领域，具体技术方案为：基于边缘增强引导滤波的光场全聚焦图像融合方法，通过对光场数字重聚焦得到的多幅重聚焦图像进行多尺度分解、特征层决策图引导滤波优化来获得最终全聚焦图像，本方法对4D光场标定误差带来的边缘信息损失进行了补偿，在重聚焦图像多尺度分解过程中增加了边缘层的提取来实现图像高频信息增强，并建立多尺度图像评价模型实现边缘层引导滤波参数优化，可获得更高质量的光场全聚焦图像，在不明显降低全聚焦图像与原始图像相似性的前提下，该方法可使全聚焦图像的图像感知清晰度平均提高18.4％。

An image fusion method based on edge enhanced guided filtering

【技术实现步骤摘要】
基于边缘增强引导滤波的光场全聚焦图像融合方法
本专利技术属于图像处理
，具体涉及一种基于边缘增强引导滤波的光场全聚焦图像融合方法。
技术介绍
全聚焦图像融合是指将同一场景不同深度处多幅局部聚焦的图像融合成一幅整体聚焦的清晰图像，使其具备更完整的空间信息。传统图像的全聚焦融合基于相机多次调焦得到的多聚焦图像，调焦过程中成像几何关系的变化及机械抖动等问题会造成不同时刻拍摄图像中物体的大小及视点位置发生变化，对后期图像融合方法的鲁棒性要求更高。光场相机可以在单次曝光后经数字重聚焦技术得到多张重聚焦图像，不涉及物理调焦过程中引入的场景成像范围及成像角度变化的限制，为全聚焦图像的融合提供了更多的便利。全聚焦图像融合方法分为变换域和空间域，变换域方法将被融合图像转化到其他特征域来完成图像融合，典型的方法以小波变换法为代表。空间域方法包括基于像素和基于区域的，如ZhangYu提出的通过多尺度形态学聚焦测量实现边界划分的方法即为最典型的基于区域的空间融合方法。相对于基于区域的融合方法，基于像素的融合方法不需要将被融合图像分区，具有方法简单且时间复杂度低的优势，典型方法包括拉普拉斯评价法、主成分分析法及引导滤波法等。该类方法的精度主要取决于决策图的计算，如引导滤波法首先将源图像双尺度分解为不同特征层，通过引导滤波对初步融合决策图进行优化得到每一特征层的决策图，将决策图与对应特征层加权平均得到各特征层融合图像后再组成最终融合图像。将引导滤波方法用于光场全聚焦图像的计算时，光场相机微透镜中心几何标定误差使得解码得到的4D光场信息在角度方向上存在微小误差，导致积分后的重聚焦图像边缘信息损失，降低了全聚焦图像融合的精度。
技术实现思路
为解决现有技术存在的技术问题，本专利技术提供了一种基于边缘增强引导滤波的光场全聚焦图像融合方法，该方法在对重聚焦图像进行尺度分解时，增加了边缘层的提取，并根据边缘信息特征选取引导滤波参数实现了边缘层的决策图优化，来最终达到提高全聚焦融合质量的效果。为实现上述目的，本专利技术所采用的技术方案为：基于边缘增强引导滤波的光场全聚焦图像融合方法，具体步骤如下：步骤一、光场原图经光场解码、数字重聚焦后得到N幅重聚焦图像；步骤二、采用拉普拉斯算子计算各重聚焦图像融合的初步融合决策图；步骤三、将N幅重聚焦图像3尺度分解为不同的特征层，即边缘层、基础层和细节层；步骤四、通过引导滤波优化各特征层的初步融合决策图；步骤五、将各特征层的优化决策图与对应特征图加权平均后得到融合后的特征层；步骤六、各特征层相加得到全聚焦图像。在步骤一中，通过对光场相机进行微透镜坐标中心几何标定，即可从光场原图中解码得到4D光场LF(x,y,u,v)，根据光场数字重聚焦理论，结合光场双平面参数化模型，当光场相机的成像平面由传感器平面移动到重聚焦平面时，原始4D光场LF(x,y,u,v)经坐标变换可映射为新的4D光场LF′(x′,y′,u′,v′)，新的4D光场和原始光场存在以下映射关系：LF′(x′,y′,u′,v′)＝LF(αn·x+(1-αn)·u,αn·y+(1-αn)·v,u,v)(1)其中，αn＝F′/F，F表示主透镜平面与传感器平面的距离，F′表示主透镜平面与重聚焦平面的距离，调节α值的大小，可得到不同像平面对应的不同聚焦深度的4D光场，根据经典光辐射公式对4D光场进行积分，即可得到不同聚焦深度处的重聚焦图像：当α取N个不同的值时，α＝α1、α2、α3……αN，根据公式(2)可以得到N幅聚焦在不同深度的重聚焦图像为了方便表示，将其记为In，其中n＝1、2、3……N。在步骤三中，采用同时具有边界提取功能和降噪功能的LoG(LaplacianofGaussian)算子完成边缘层的提取，LoG算子核函数定义为：其中，Δ代表拉普拉斯算子，其实际意义为对高斯函数求二阶偏导；Gσ(x,y)为高斯函数，且此处滤波窗的大小选取为5×5，故(x,y)的取值范围为[-2,2]的整数；σ代表标准差，此处取0.5，多幅重聚焦图像分别与LoG算子卷积即可得到对应的边缘层图像：En＝In*LoG(4)对于基础层，采用平均滤波器与重聚焦图像卷积得到，细节层由重聚焦图像减去边缘层和基础层得到。在步骤四中，建立多尺度图像评价模型实现边缘层引导滤波参数r1、ε1的优化。该多尺度评价模型涉及采用平均梯度AG、归一化互信息NMI和改进的结构相似性MSSI三个评价指标，其中，AG用于评价融合图像的清晰度，NMI、MSSI用于评价融合图像与源图像信息和结构的相似性；其中，AG的表达式为：其中，F表示重聚焦图像I1、I2…IN的融合图像，M×N表示重聚焦图像的大小。AG的值越大，代表融合图像对微小细节的反差能力越强，即图像越清晰。NMI的表达式如下：其中，I1和I2表示源图像，F表示I1和I2的融合图像，IE(I1)、IE(I2)和IE(F)分别表示I1、I2和F的信息熵，MI(I1,F)表示I1和F之间的互信息，MI(I2,F)表示I2和F之间的互信息，NMI的值越大，代表融合图像与源图像的共享信息越多，即融合图像与源图像相似性越高；MSSI的表达式如下：其中，SSIM(I1,F|ω)表示源图像I1和融合图像F在各自滑动窗口区域ω之间相似性的测量值，SSIM(I2,F|ω)、SSIM(I1,I2|ω)和SSIM(I1,F|ω)意义相同，MSSI的值越大，代表融合图像与源图像的结构信息越相似。其中，基础层、细节层的引导滤波参数设定为：r2＝45，ε2＝0.3，r3＝7，ε3＝10-6，当ε1＝10-3，r1不断增大时，AG呈先下降后上升趋势，NMI和MSSI呈先上升后下降趋势，当NMI和MSSI达到最大值时，AG为最小值；折中后r1取20时融合后的全聚焦图像清晰度较高且与源图像相似度较强；当r1＝20时，随着ε1不断增大，AG呈上升趋势，但NMI和MSSI呈下降趋势，折中后，ε1取10-3最好；故最终获取边缘层优化决策图时，引导滤波的参数取为r1＝20，ε1＝10-3。本专利技术对传统引导滤波方法的框架进行了改进，用于光场全聚焦图像的融合，该框架的输入为4D光场变换、积分得到的数字重聚焦图像，考虑到4D光场微透镜标定误差引起的重聚焦图像边缘信息丢失，在融合框架中图像多尺度分解时增加了边缘层的提取、并建立多尺度图像评价模型完成边缘层决策图优化。该方法可有效补偿4D光场在角度方向的解码误差，增加融合图像的边缘信息权重。实验验证了本方法的可行性和有效性：从视觉效果看，针对实验图像的特定区域，通过本方法得到的全聚焦图像最清晰；从图像信息、特征、结构相似性和人类视觉感知等角度定量评价，在不明显降低全聚焦图像与原始图像特征互信息的前提下，和其它经典方法相比，本方法可使融合图像的边缘强度和感知清晰度达到最高。附图说明图1为光场数字重聚焦几何模型图。本文档来自技高网...

【技术保护点】
1.基于边缘增强引导滤波的光场全聚焦图像融合方法，其特征在于，具体步骤如下：/n步骤一、光场原图经光场解码、数字重聚焦后得到N幅重聚焦图像；/n步骤二、采用拉普拉斯算子计算各重聚焦图像融合的初步融合决策图；/n步骤三、将N幅重聚焦图像分解为不同的特征层，即边缘层、基础层和细节层；/n步骤四、通过引导滤波优化各特征层的初步融合决策图；/n步骤五、将各特征层的优化决策图与对应特征图加权平均后得到融合后的特征层；/n步骤六、融合后的各特征层相加得到全聚焦图像。/n

【技术特征摘要】
1.基于边缘增强引导滤波的光场全聚焦图像融合方法，其特征在于，具体步骤如下：
步骤一、光场原图经光场解码、数字重聚焦后得到N幅重聚焦图像；
步骤二、采用拉普拉斯算子计算各重聚焦图像融合的初步融合决策图；
步骤三、将N幅重聚焦图像分解为不同的特征层，即边缘层、基础层和细节层；
步骤四、通过引导滤波优化各特征层的初步融合决策图；
步骤五、将各特征层的优化决策图与对应特征图加权平均后得到融合后的特征层；
步骤六、融合后的各特征层相加得到全聚焦图像。


2.根据权利要求1所述的基于边缘增强引导滤波的光场全聚焦图像融合方法，其特征在于，在步骤三中，采用同时具有边界提取功能和降噪功能的LoG算子完成边缘层的提取，LoG算子核函数定义为：



其中，Δ代表拉普拉斯算子，Gσ(x,y)为高斯函数，且滤波窗的大小选取为5×5，故(x,y)的取值范围为[-2,2]的整数；σ代表标准差，此处取0.5，多幅重聚焦图像分别与LoG算子卷积即可得到对应的边缘层图像：
En＝In*LoG
对于基础层，采用平均滤波器与重聚焦图像卷积得到，细节层由重聚焦图像减去边缘层和基础层得到。


3.根据权利要求1或2所述的基于边缘增强引导滤波的光场全聚焦图像融合方法，其特征在于，在步骤四中，建立多尺度图像评价模型实现边缘层引导滤波参数r1、ε1的优化，该多尺度评价模型涉及平均梯度AG、归一化互信息NM...

【专利技术属性】
技术研发人员：王玉梅，武迎春，李素月，王钢飞，王安红，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：山西;14