小波域光场全聚焦图像生成算法制造技术

本发明专利技术的小波域光场全聚焦图像生成算法属于全聚焦图像融合领域，本发明专利技术有效避免传统空域光场图像融合算法的块效应，获得较高质量的光场全聚焦图像，通过对微透镜阵列光场相机获得的4D光场数据进行空间变换与投影，得到用于全聚焦图像融合的多聚焦图像，对各帧多聚焦图像进行小波分解提取高、低频子图像集，提出区域均衡拉普拉斯算子、像素可见度函数分别构建融合图像的高、低频小波系数实现图像融合，其性能优于传统的区域清晰度评价函数，实验验证了本发明专利技术所提方法的正确性和有效性，采用Lytro光场相机的原始数据计算了融合全聚焦图像，与传统图像融合算法相比，人眼视觉效果更好，客观图像指标也得到了提高。

【技术实现步骤摘要】
小波域光场全聚焦图像生成算法
本专利技术属于全聚焦图像融合领域，特别是涉及一种小波域光场全聚焦图像生成算法。
技术介绍
伴随着计算摄影学新型学科领域的兴起及光场成像理论的发展，光场相机成为近十年来国内外诸多领域关注的热点。相对于传统相机，微透镜光场相机在主镜头后加入了微透镜阵列同时记录空间光线的位置与方向信息。多维度光场信息的记录为光场相机后期图像的处理及应用提供了便利，如利用光场相机数字重聚焦、全聚焦图像生成及深度信息计算等。光场相机可以在单次拍照后计算空间任意深度的重聚焦图像，是光场相机得以普遍关注的最突出技术亮点。基于此，各类光场高质量纹理图像获取及高精度深度信息计算得到深入研究。由于不受传统相机多次对焦拍摄获取多聚焦图像的限制，基于光场数字重聚焦技术的全聚焦图像融合成为光场相机的一个重要分支应用，其对于后期纹理图像及深度图像的超分辨率重构、光场视频文件的生成也具有重要意义。目前，针对传统图像的全聚焦融合主要分为空间域和变换域，空间域基于像素或块进行清晰度评价，从不同图像中提取质量好的像素来构成全聚焦图像，计算时间快但存在块效应问题。变换域将图像分解为不同分辨率层或不同频带的子图像，通过评价重建分辨层或子图像构建重聚焦图像，可有效避免块效应。作为变换域的一种普遍方法，小波变换将待融合图像分解到一系列频率信道中，利用其分解后的塔形结构构建高、低频子图像，分别对高、低频子图像进行融合后经小波反变换得到全聚焦图像。小波变换融合图像的质量决定于高、低频子图像的融合规则选择：对于低频子图像，一般采用均值计算法实现融合；对于高频子图像，常采用Sobel算子、Prewitt算子及拉普拉斯算子等进行评价建立融合规则。传统的拉普拉斯算子在x方向和y方向的二阶导数极可能出现符号相反的情况，而且现有拉普拉斯算子算法的抗噪能力低，微透镜标定误差会引起重聚焦图像产生局部噪声。另外，现有的低频信号融合加权平均法会降低融合图像的对比度并丢失原图像中一些有用信息。
技术实现思路
本专利技术针对现有民用级光场相机拍摄图像对比度不高、经数字重聚焦技术获得的多聚焦图像集分辨率有限、且存在由标定误差造成的局部噪声的问题，旨在提供一种基于小波域光场全聚焦图像生成算法，本算法通过建立高频系数区域均衡拉普拉斯算子、低频系数像素可见度函数的清晰度评价函数实现光场全聚焦图像生成，有效实现了光场原始数据到全聚焦图像的转化，且图像融合质量较传统算法有所提高。为解决上述技术问题，本专利技术采用的技术方案为：小波域光场全聚焦图像生成算法，按照以下步骤实现：步骤1)：将光场原图经数据解码后得到4D光场，选择不同的αn(n＝1,2,3…)，利用数字重聚焦技术得到不同空间深度的重聚焦图像步骤2)计算每一帧重聚焦图像的小波高、低频子图像步骤3)对高、低频子图像分别采用区域均衡拉普拉斯BL算子和像素可见度PV函数作为图像融合清晰度评价指标，实现高、低频系数的融合；步骤4)将高低频系数经过小波逆变换得到融合后的全聚焦图像。进一步地，步骤3)中采用的BL算子为区域均衡拉普拉斯算子，该算子的表达式如下：其中，其中S×T表示均衡区域大小，且S、T只能取奇数；s、t表示水平垂直方向二阶导步长；表示权重因子，距离中心点越近的点，权重因子越大，对拉普拉斯算子值贡献越大，反之，距离中心点越远，对拉普拉斯算子值贡献越小。进一步地，步骤3)中PV函数为像素可见度函数，具体表达式如下：其中，S×T表示以当前像素点为中心的矩形邻域，且S、T只能取奇数；s、t表示在矩形邻域内水平垂直方向的扫描步长；表示S×T区域像素的平均灰度值。进一步地，低频系数和高频系数融合规则相同，以高频系数融合为例，规则如下：其中，代表不同空间深度各重聚焦图像经小波分解后各自的高频子图像，n＝1,2,3…N，N表示参与全聚焦图像融合的重聚焦图像帧数；代表任意2幅高频子图像对应点的均衡拉普拉斯算子的差值；max[·]、min[·]为取最大值、最小值操作；HH为自定义门限阈值(HH取0.1，因为当两者差值小于0.1时表示两者区域均衡拉普拉斯值差异很小可以忽略不计)，当差值的最小值大于门限阈值时，取N帧图像中均衡拉普拉斯能量最大者所对应的高频系数作为融合系数，当两者差值小于门限阈值时，由多帧图像高频系数乘以权重因子来决定最后的融合系数，其中权重因子本专利技术采用小波变换的方法来进行图像的融合。首先解码4D光场并采用数字重聚焦算法得到不同深度的多聚焦图像，通过对各多聚焦图像集进行小波分解及塔型重构构建高、低频子图像集，最后提出区域均衡拉普拉斯算子、像素可见度函数分别构建融合图像的高、低频小波系数实现图像融合。本算法有效实现了光场原始数据到全聚焦图像的转化，有效避免传统空域图像融合算法的块效应，获得较高质量的光场全聚焦图像，图像融合质量较传统算法有所提高。附图说明下面结合附图对本专利技术做进一步详细的说明。图1为本专利技术算法的流程图。图2为光场双平面参数化模型。图3为光场相机数字重聚焦原理图。图4为BL算子示意图。图5为Leaves样本图像的融合过程演示图。图6为Flower样本图像不同融合算法对比图。图7为Forest样本图像不同融合算法对比图。图8为Zither样本图像不同融合算法对比图。具体实施方式为使本专利技术的目的、特征和优点能够更为明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。如图1所示，本算法的具体流程为：步骤1)光场原图经数据解码后得到4D光场，选择不同的αn(n＝1,2,3…)，利用数字重聚焦技术得到不同空间深度的重聚焦图像步骤2)计算每一帧重聚焦图像的小波高、低频子图像步骤3)高、低频子图像分别采用BL算子和PV函数作为图像融合清晰度评价指标，实现高低频系数的融合；步骤4)最后经小波逆变换得到融合后的全聚焦图像。步骤1)的具体过程如下：根据光场的双平面参数化模型，如图2所示，空间任一光线均可用其与两平面的交点确定，设光场相机的主透镜平面为(u,v)面，传感器平面为(x,y)面，光场相机记录的4D光场为LF(x,y,u,v)，由经典光辐射公式可得到全光相机焦平面的积分图像：其中F表示主透镜平面和焦平面间的距离，用X×Y×U×V表示4D光场矩阵LF(x,y,u,v)的大小。如果将像平面由F移动到F′，新的4D光场矩阵用LF′(x′,y′,u′,v′)表示，此时相机焦平面重聚焦图像表示为：令F′＝αn·F，为了方便图形表示，取4D空间的一个切面来得到坐标间的几何关系，如图3所示。根据相似三角形原理，可得到新光场与原始光场的坐标满足：x′＝u+(x-u)·αn＝αn·x+(1-αn)·u(3)u′＝u(4)同理可得到：y′＝v+(y-v)·αn＝αn·y+(1-αn)·v(5)v′＝v(6)公式(3)-(6)可表示为矩阵形式：其中，[x′,y′,u′,v′]T表示行向量[x′,y′,u′,v′]的转置，表示坐标变换矩阵，具体形式如下：公式(7)也等价于下式：根据公式(9)，公式(2)可改写为：改变αn的取值，即可达到改变像平面的位置的目的，继而得到不同空间深度的重聚焦图片。步骤2)的具体过程如下：根据小波变换图像融合理论，通过小波变换将待融合图像分解到一系列频率信道中，利用其分解后的塔形结构构建高、低频子图像，该过本文档来自技高网...

【技术保护点】
1.小波域光场全聚焦图像生成算法，其特征在于，按照以下步骤实现：步骤1)：将光场原图经数据解码后得到4D光场，选择不同的αn(n＝1,2,3…)，利用数字重聚焦技术得到不同空间深度的重聚焦图像

【技术特征摘要】
1.小波域光场全聚焦图像生成算法，其特征在于，按照以下步骤实现：步骤1)：将光场原图经数据解码后得到4D光场，选择不同的αn(n＝1,2,3…)，利用数字重聚焦技术得到不同空间深度的重聚焦图像步骤2)计算每一帧重聚焦图像的小波高、低频子图像步骤3)对高、低频子图像分别采用区域均衡拉普拉斯BL算子和像素可见度PV函数作为图像融合清晰度评价指标，实现高低频系数的融合；步骤4)将高低频系数经过小波逆变换得到融合后的全聚焦图像。2.根据权利要求1所述的小波域光场全聚焦图像生成算法，其特征在于：步骤3)中的BL算子为区域均衡拉普拉斯算子，该算子的表达式如下：其中，其中S×T表示均衡区域大小，且S、T只能取奇数；s、t表示水平、垂直方向二阶导步长；表示权重因子，距离中心点越近的点，权重因子越大，对拉普拉斯算子值贡献越大，反之，距离中心点越远，对拉普拉斯算子值贡献越小。3.根据权利要求1所述的小波域光...

【专利技术属性】
技术研发人员：武迎春，谢颖贤，李素月，赵贤凌，王安红，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：山西,14