一种基于MRF区域选择的多曝光度图像融合方法技术

本发明专利技术公开了一种基于MRF区域选择的多曝光度图像融合方法，本发明专利技术运用的算法主要由图像对齐模块、权重图计算模块、动态物体检测模块、区域选择模块、泊松融合模块构成；本发明专利技术通过在融合图像时确定内部约束点的位置，并对添加约束点的拉普拉斯图像再解一次泊松方程，有效消除了动态物体的影响并弥补图像进行对齐时存在的误差，得到清晰、无鬼影、细节丰富的融合结果；本发明专利技术在提升融合图像质量的同时解决由于相机抖动和动态物体带来的模糊与鬼影。

【技术实现步骤摘要】
一种基于MRF区域选择的多曝光度图像融合方法
本专利技术属于数字图像处理的
，具体涉及一种基于MRF区域选择的多曝光度图像融合方法。
技术介绍
现实世界场景的亮度范围非常宽广，跨度可从10-4cd/m2到106cd/m2，动态范围达10个数量级，其中动态范围是指可见区域最大亮度与最小亮度的比值。一个现实场景的动态范围远远高于现有的图像传感器可以获取和显示的范围，因为受技术水平影响，电子领域设备的动态范围设计为100:1-300:1。对于一个动态范围较高的场景，普通的摄像机不能覆盖场景所有的亮度，就会导致真实场景的亮度层次被压缩，拍摄结果出现欠曝光或过曝光的情况，无法分辨细节。真实场景中有阳光直射的地方过饱和出现一片白亮，有阴影的地方出现一片漆黑。与普通图像相比，高动态范围(HighDynamicRange，HDR)图像拥有更高的图像质量和更多的图像细节。HDR图像像素占据更多存储数据位，尽可能的包含场景的整个亮度范围，得到层次丰富、真实感强的图像。但是由于目前技术条件的限制，很难直接通过硬件设备获取HDR图像。为了解决此类问题，相对经济的方法是获得同一场景的一组不同曝光度图像序列进行处理得到一张曝光度较好、细节较多的图像。主要处理方法有以下两种：(1)处理多曝光图像序列得到一张HDR图像，然后将其进行色调映射(tonemapping)得到可以在普通设备上显示的、质量较高的图像。(2)跳过色调映射的过程，直接采取相应的处理方法(基于金字塔的方法，基于图像块的方法等)融合图像序列，得到包含所有输入图像细节的结果。若图像序列是由手持相机拍摄，相机抖动在所难免，为了避免鬼影现象的产生两种方法均需进行前期对齐处理。
技术实现思路
本专利技术的目的在于提供一种基于MRF区域选择的多曝光度图像融合方法，通过在融合图像时确定内部约束点的位置，并对添加约束点的拉普拉斯图像再解一次泊松方程，有效消除了动态物体的影响并弥补图像进行对齐时存在的误差，得到清晰、无鬼影、细节丰富的融合结果；本专利技术在提升融合图像质量的同时解决由于相机抖动和动态物体带来的模糊与鬼影。本专利技术主要通过以下技术方案实现：一种基于MRF区域选择的多曝光度图像融合方法，主要包括以下步骤：步骤A1：采用SURF对原始图像进行对齐，得到对齐图像；根据对齐图像获得Latentimages和权重图；步骤A2：计算对齐图像与Latentimages的序列的区别，获得动态物体标签图；步骤A3：根据权重图和动态物体标签图，利用马尔科夫随机场选择对齐图像中曝光度好、细节多的区域合成得到梯度图；并对梯度图求偏导获得拉普拉斯图像；步骤A4：通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果。本专利技术是针对图像序列融合过程中对齐误差和动态物体处理的问题，本专利技术采用多曝光图像序列融合的办法，旨在融合图像序列时消除动态物体的影响并弥补对齐带来的误差，得到清晰、无鬼影、细节丰富的融合结果。本专利技术运用的算法主要由图像对齐模块、权重图计算模块、动态物体检测模块、区域选择模块、泊松融合模块构成。本专利技术先将原始图像序列进行对齐，对齐时选择一张曝光度较好的中间曝光度的图像作为参考图像；然后根据对齐图像可获得两组图像序列：第一组是根据其它输入图像的曝光度修改参考图像的曝光度得到的Latentimages序列，该序列中所有图像的结构都与参考图像相同，但曝光度各不相同；第二组是综合考虑对齐图像的对比度、饱和度和曝光度获得与对齐图像一一对应的权重图；然后通过计算对齐图像与Latentimages序列的区别可以获得动态物体的标签图，该图由两种像素值构成：动态物体对应的像素值为1，其它像素值为0；之后根据权重图和动态物体标签图，利用马尔科夫随机场(MarkovRandomField，MRF)选择对齐图像中曝光度较好、细节较多的区域得到一张梯度图；然后对梯度图求偏导得到拉普拉斯图，通过解两次泊松方程对拉普拉斯图像进行处理可得到最终的融合图像。下面详细介绍各个模块的作用以及实现。所述马尔科夫随机场为现有技术，故不再赘述。所述图形对齐模块的处理方法如下：以中间曝光度的图像作为目标，其它图像向参考图像对齐；使用SIFT特征提取算法的加速算法SURF进行特征点检测并采用KLT算法进行追踪；但是SURF算法太过依赖于局部区域像素的梯度方向，有时候会产生对齐不准确的情况，本专利技术可以容忍对齐带来的误差，并在融合过程中消除此误差。所述权重图计算模块的处理方法如下：首先对每张对齐图像的灰度图进行拉普拉斯滤波并取绝对值，可以获得图像的对比度Ci和重要的信息，如边界和文字，被赋予更高的权重。饱和度Si表示颜色信息的鲜亮程度，通过计算图像R、G、B三通道的标准差获得。在多曝光图像序列中，过曝光或欠曝光的区域拥有较低的Si值。根据灰度值为0.5±0.1的程度使用高斯曲线为灰度值分配权重Wi，根据灰度值接近0.5的程度使用高斯曲线为灰度值分配权重；对RGB三个通道分别应用此高斯曲线，然后将结果相乘，可以得到图像的曝光度Ei，使用高斯曲线可以克服欠曝光(灰度值接近0)和过曝光(灰度值接近1)的情况。利用对比度、饱和度和曝光度可以获得与输入图像对应的权重图，通过以下Hadamard积实现：Wi＝(λ1Ci)·(λ2Si)·(λ3Ei)(1)其中，i代表第i张输入图像；λ1，λ2和λ3是三个可调节的参数用来调整三者对权重的影响。根据输入图像得到的权重图，可以发现每张图中，细节较多的地方拥有更高的权重。根据权重Wi可以定义MRF的第一个数据项E1：其中，label是图像的标签，若有三张输入图像，label的值为0，1或2；eps是一个接近0的极小值，公式中分母加上eps是为了避免权重为0的情况出现；E1用来确定合成结果中该像素本来属于哪张输入图像。所述动态物体检测模块的处理方法如下：在融合过程中尽可能减少动态物体的影响，需要提前定位出动态物体的位置；在检测动态物体区域时，本专利技术采用另外的MRF优化函数，定义为：其中，p和q为像素；L(p)和L(p)分别为p和q的标签；N为由相邻像素组成的集合；ED和ES分别为MRF的数据项和平滑项。为了增加检测的准确性，将图像分成欠曝光区域、中间曝光区域和过曝光区域三部分，分别计算数据项Eu，Ew，Eo。Eu定义如下：这里，(i,p)代表第i张图像的p像素；L为Latentimages；D为输入图像与L的距离，其定义会在之后给出；thres是一个距离阈值参数；σunder是第i张图像欠曝光度区域的标准差，同理，σwell和σover是中间曝光度区域和过曝光度区域的标准差；β是用来调节标准差对结果影响的参数；γ用来整体调整曝光度的影响；J函数的定义为：与thres一起调节距离对数据项的影响。同理，Ew和Eo的定义如下所示：上述数据项中，D函数的定义如下：Dw(i,p)＝|L(i,p)-I(i,p)|(8)与数据项相比较，平滑项的定义较为简单：通过上述计算，每张对齐图像可以得到一张动态物体模板图M，该图只包含两种像素值：0和1，1代表动态物体，0代表其它元素。将动态物体模板图与权重图作为区域选择模块中MRF的数据项，可以在选择好的曝光本文档来自技高网...

【技术保护点】
一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，主要包括以下步骤：步骤A1：采用SURF对原始图像进行对齐，得到对齐图像；根据对齐图像获得Latent images和权重图；步骤A2：计算对齐图像与Latent images的序列的区别，获得动态物体标签图；步骤A3：根据权重图和动态物体标签图，利用马尔科夫随机场选择对齐图像中曝光度好、细节多的区域合成得到梯度图；并对梯度图求偏导获得拉普拉斯图像；步骤A4：通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果。

【技术特征摘要】
1.一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，主要包括以下步骤：步骤A1：采用SURF对原始图像进行对齐，得到对齐图像；根据对齐图像获得Latentimages和权重图；步骤A2：计算对齐图像与Latentimages的序列的区别，获得动态物体标签图；步骤A3：根据权重图和动态物体标签图，利用马尔科夫随机场选择对齐图像中曝光度好、细节多的区域合成得到梯度图；并对梯度图求偏导获得拉普拉斯图像；步骤A4：通过解泊松方程将拉普拉斯图像恢复成RGB图像，确定内部约束点位置，对添加约束点的拉普拉斯图像再解一次泊松方程得到最终的融合结果。2.根据权利要求1所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A1中先将原始图像序列进行对齐，对齐时选择一张曝光度较好的中间曝光度的图像作为参考图像；以参考图像作为目标，其它图像向参考图像对齐；使用SIFT特征提取算法的加速算法SURF进行特征点检测并采用KLT算法进行追踪。3.根据权利要求2所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A1中用直方图规定的方法获得Latentimages，根据输入图像的曝光度修改参考图像的曝光度得到Latentimages序列，序列中所有图像的结构都与参考图像相同，但曝光度各不相同。4.根据权利要求2所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A1中综合考虑对齐图像的对比度Ci、饱和度Si和曝光度Ei获得与对齐图像一一对应的权重图。5.根据权利要求4所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A1中对每张对齐图像的灰度图进行拉普拉斯滤波并取绝对值，获得对比度Ci；通过计算图像R、G、B三通道的标准差获得饱和度Si；RGB三个通道分别应用高斯曲线并将结果相乘获得图像的曝光度；根据灰度值为0.5±0.1的程度使用高斯曲线为灰度值分配权重Wi；利用对比度Ci、饱和度Si和曝光度Ei可以获得与输入图像对应的权重图，通过以下Hadamard积实现：Wi＝(λ1Ci)·(λ2Si)·(λ3Ei)(1)其中，i代表第i张输入图像；λ1，λ2和λ3是三个可调节的参数用来调整三者对权重的影响。6.根据权利要求1所述的一种基于MRF区域选择的多曝光度图像融合方法，其特征在于，所述步骤A2中获得对齐图像和Latentimages后，用MRF优化函数检测每张图像中的动态物体获得动态物体标签图；所述MRF优化函数表达式为：其中p和q为像素；L(p)和L(p)分别为p和q的标签；N为由相邻像素组成的集合；ED和ES分别为MRF的数据项和平滑项；为了增加检测的准确性，将图像分成欠曝光区域、中间曝光区域和过曝光区域三部分，分别计算Eu，Ew，Eo数据项；其中Eu定义如下：其中(i,p)代表第i张图像的p像素；L为Latentimages；D为输入图像与L的距离，其定义会在之后给出；thres是一个距离阈值参数；σunder是第i张图像欠曝光度区域的标准差，同理，σwell和σover是中间曝光度区域和过曝光度区域的标准差；β是用来调节标准差对结果影响的参数；γ用来整体调整曝光度的影响；J函数的定义为：与thres一起调节距离对数据项的影响；同理，Ew和Eo的定义如下：

【专利技术属性】
技术研发人员：刘帅成，李茹，刘光辉，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51