基于色彩梯度直方图特征光流估计多曝光图像融合方法技术

本发明专利技术涉及一种基于色彩梯度直方图特征光流估计多曝光图像融合方法，包括如下的步骤：S100：从多曝光图像序列中提取色彩方向梯度直方图特征；S200：进行基于色彩方向梯度特征的光流估计；S300：构建亮度评价因子、颜色评价因子和结构评价因子；S400：获取改进权重融合函数；S500：获取高动态范围图像。本发明专利技术引入图像颜色信息结合像素空间邻域信息提高了算法对亮度变化的鲁棒性；同时在多曝光图像序列融合过程中，充分考虑多曝光图像亮度信息、局部结构信息和颜色信息多方面因素对融合图像质量的影响，提高了融合图像成像质量。提高了融合图像成像质量。提高了融合图像成像质量。

【技术实现步骤摘要】
基于色彩梯度直方图特征光流估计多曝光图像融合方法


[0001]本专利技术涉及图像处理
，具体为一种基于色彩梯度直方图特征光流估计多曝光图像融合方法。

技术介绍

[0002]现实世界光强存在丰富的亮度信息，然而传统的消费级相机对于图像的每个颜色通道只有8位离散强度级别，无法显示真实场景全部的亮度变化。现有获得高动态范围图像的方法分为基于硬件的实现方法和基于软件的实现方法。在硬件实现的方法中，高动态范围图像是通过专业高动态成像相机获取的，然而基于硬件的实现方法往往需要大量特殊辅助设备，并不适用实际设备应用。针对实际拍摄过程往往存在相机抖动和场景中目标运动的情况，近年来研究者提出了不少解决思路，包括快速多尺度补丁融合算法、基于深度强化学习的多曝光图像融合算法、利用单张图像的人工映射算法。但快速多尺度补丁融合算法采用大小固定的图像块会导致引入异常值；基于深度学习的融合算法受到训练样本的影响，需要在模型训练过程中对图像进行改进和增强；而人工映射算法输入图像仅包含目标场景部分亮度信息，不能扩展场景所有亮度信息。
[0003]已有技术仍存在许多问题如：多曝光图像运动估计时没有充分考虑图像颜色信息对亮度变化的鲁棒性，无法准确地完成多曝光图像运动配准，导致欠曝光区域存在鬼影问题；融合过程中没有考虑多方面因素对融合图像质量的影响，无法保留图像特征信息，降低成像质量。
[0004]基于此，特提出本专利技术。

技术实现思路

[0005]针对现有技术存在的上述不足，本专利技术提供了一种基于色彩梯度直方图特征光流估计多曝光图像融合方法，引入图像颜色信息结合像素空间邻域信息提高了算法对亮度变化的鲁棒性；同时在多曝光图像序列融合过程中，充分考虑多曝光图像亮度信息、局部结构信息和颜色信息多方面因素对融合图像质量的影响，提高了融合图像成像质量。
[0006]本专利技术的技术方案为：一种基于色彩梯度直方图特征光流估计多曝光图像融合方法，包括如下的步骤：S100：从多曝光图像序列中提取色彩方向梯度直方图特征；S200：进行基于色彩方向梯度特征的光流估计；S300：构建亮度评价因子、颜色评价因子和结构评价因子；S400：获取改进权重融合函数；S500：获取高动态范围图像。
[0007]进一步地，在步骤S100中，将像素点周围的局部邻域等距划分为4Χ4个图像块，根据颜色梯度角度值将图像块离散为9个角度区间，对邻域内颜色梯度值进行数值统计得到图像块的颜色梯度直方图特征，最终串联得到像素点的色彩方向梯度直方图特征。
[0008]进一步地，在步骤S200中，采用改进特征光流模型：，其中，，E表示算法代价函数，E1表示代价函数中的数据项，其要求图像特征的差距要尽可能小，E2表示代价函数中的小位移项，其要求图像运动矢量尽可能小且相邻运动矢量尽可能相似，p表示图像像素坐标，表示L1范数，即向量各个元素绝对值之和，表示对矢量做偏导数，H1和H2表示特征域图像，t、d表示阈值参数，α、β表示模型权重系数；采用由粗到细的迭代策略，参照欧拉
‑
拉格朗日方程对改进特征光流模型进行求解，计算图像光流。
[0009]进一步地，在步骤S300中，所述亮度评价因子为，所述颜色评价因子为，所述结构评价因子为， 其中p表示图像像素坐标，i表示第i幅曝光图像，I(.)表示曝光图像的亮度信息，F(.)表示曝光图像的颜色梯度信息，ε、C表示阈值参数，w(p)表示图像像素点p处的像素运动矢量，分别表示进行运动矢量配准后图像的颜色梯度值的标准差、参考图像的颜色梯度值标准差以及配准图像与参考图像间的协方差。
[0010]进一步地，在步骤S400中，权重融合函数为。
[0011]进一步地，在步骤S500中，构建高动态范围图像融合公式，获取最终高动态范围图像。
[0012]进一步地，所述高动态范围图像融合公式为，其中ω(.)表示权重融合函数，p表示图像像素坐标，I
i
表示第i张曝光图像的亮度信息，w(p)表示图像像素点p处的像素运动矢量，D表示逆相机响应函数，Δt为图像曝光时间。
[0013]本专利技术的优点：1、本专利技术充分考虑了图像颜色信息对亮度变化的鲁棒性，提出了一种对亮度变化具有鲁棒性的色彩方向直方图特征。
[0014]2、本专利技术结合颜色信息和像素邻域信息，构建一种改进特征光流估计算法，能够提高对多曝光图像亮度变化的抗干扰能力，有效去除多曝光图像融合中的鬼影问题。
[0015]3、本专利技术充分考虑亮度信息、结构信息和颜色信息，提出了一种多源权重曝光融合函数，提高了融合图像的成像质量。
附图说明
[0016]图1为本专利技术的算法流程示意图。
[0017]图2为输入图像序列，其中图2(a)为局部运动图像序列，图2(b)为刚体运动图像序列。
[0018]图3为局部运动图像处理结果对比，其中图3(a) 为Superpixel算法处理的结果，
图3(b) 为DASC算法处理的结果，图3(c) 为MAP_HDR算法处理的结果，图3(d) 为本专利技术算法处理的结果。
[0019]图4为局部运动图像处理结果放大图，其中图4(a) 为Superpixel算法处理的结果，图4(b) 为DASC算法处理的结果，图4(c) 为MAP_HDR算法处理的结果，图4(d) 为本专利技术算法处理的结果。
[0020]图5为刚体运动图像处理结果对比，其中图5(a) 为Superpixel算法处理的结果，图5(b) 为DASC算法处理的结果，图5(c) 为MAP_HDR算法处理的结果，图5(d) 为本专利技术算法处理的结果。
[0021]图6为刚体运动图像处理结果放大图，其中图6(a) 为Superpixel算法处理的结果，图6(b) 为DASC算法处理的结果，图6(c)为MAP_HDR算法处理的结果，图6(d)为本专利技术算法处理的结果。
具体实施方式
[0022]为方便理解本专利技术的技术方案，采用具体实施例对本专利技术的技术方案做进一步地说明。显然，所描述的实施例仅是本专利技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本方案中的实施例及实施例中的特征可以相互组合。
[0023]如图1所示，本专利技术的一种基于色彩梯度直方图特征光流估计多曝光图像融合方法，包括如下的步骤：S100：从多曝光图像序列中提取色彩方向梯度直方图特征；S200：进行基于色彩方向梯度特征的光流估计；S300：构建亮度评价因子、颜色评价因子和结构评价因子；S400：获取改进权重融合函数；S500：获取高动态范围图像。
[0024]本专利技术的一个具体实施例的各步骤重点介绍如下。
[0025]一、提取色彩方向梯度直方图特征利用彩色图像RGB三通道颜色信息，计算图像的颜色梯度，计算公式如下：结合高斯加权函数，获取高斯窗口内像素点的平均平方梯度获取高斯窗口内像素点的平均平方梯度。
[0026]利用求解的平均平方梯度计算像素点p的颜色梯度模值和颜色梯度方向，如下：...

【技术保护点】

【技术特征摘要】
1.一种基于色彩梯度直方图特征光流估计多曝光图像融合方法，其特征在于，包括如下的步骤：S100：从多曝光图像序列中提取色彩方向梯度直方图特征；S200：进行基于色彩方向梯度特征的光流估计；S300：构建亮度评价因子、颜色评价因子和结构评价因子；S400：获取改进权重融合函数；S500：获取高动态范围图像。2.如权利要求1所述的基于色彩梯度直方图特征光流估计多曝光图像融合方法，其特征在于，在步骤S100中，将像素点周围的局部邻域等距划分为4X4个图像块，根据颜色梯度角度值将图像块离散为9个角度区间，对邻域内颜色梯度值进行数值统计得到图像块的颜色梯度直方图特征，最终串联得到像素点的色彩方向梯度直方图特征。3.如权利要求1所述的基于色彩梯度直方图特征光流估计多曝光图像融合方法，其特征在于，在步骤S200中，采用改进特征光流模型：，其中其中，E表示算法代价函数，E1表示代价函数中的数据项，其要求图像特征的差距要尽可能小，E2表示代价函数中的小位移项，其要求图像运动矢量尽可能小且相邻运动矢量尽可能相似，p表示图像像素坐标，表示L1范数，即向量各个元素绝对值之和，表示对矢量做偏导数，H1和H2表示特征域图像，t、d表示阈值参数，α、β表示模型权重系数；采用由粗到细的迭代策略，参照欧拉
‑
...

【专利技术属性】
技术研发人员：张廷华，丛宝海，李迎春，张怀利，田磊源，孙厚鹏，栾成龙，秦明宇，张世成，
申请(专利权)人：中国人民解放军战略支援部队航天工程大学，
类型：发明
国别省市：