一种图像融合方法及装置制造方法及图纸

本发明专利技术提供了一种图像融合方法及装置，涉及图像处理技术领域，包括：获取待融合的原始图像，原始图像为多传感器图像序列或多曝光图像序列；对原始图像进行灰度化处理，得到灰度图像；通过高通滤波器卷积灰度图像得到图像细节，并计算图像细节权重；对灰度图像进行过曝处理；使用卷积滤波器计算过曝处理后的图像的主体融合权重；结合图像细节权重和主体融合权重获得图像融合权重；通过图像融合权重对原始图像进行加权融合，获得最终的融合图像。本发明专利技术所提算法针对像素级图像融合算法计算权值复杂的缺点，不需要计算迭代滤波，能够有效降低复杂度，提高硬件的运算处理性能，从而有效的降低时延，达到图像融合的实时处理。达到图像融合的实时处理。达到图像融合的实时处理。

【技术实现步骤摘要】
一种图像融合方法及装置


[0001]本专利技术涉及图像处理
，具体涉及一种图像融合方法及装置。

技术介绍

[0002]随着现代成像技术的发展，多种成像方式的协作得到越来越多的应用，多源(多曝光)图像数据的协同处理能够对多种图像进行信息和特征的综合从而获得具有丰富信息的单幅融合图像，能够更加准确全面的描述成像场景。图像融合的方法在军事应用、遥感成像、公共安全、交通监管和医学影响等诸多领域有着广泛的应用需求。
[0003]现代成像技术是人类最为重要的信息获取手段之一，通过成像技术获取图像信息几乎覆盖了人类社会活动的各个方面。现代成像方式丰富多样，成像波段覆盖可见光、毫米波、红外、X射线等各个波段，成像的方式和原理虽然各不相同，但是通过不同成像手段得到的图像是从不同的角度对成像对象进行描述，最终目的是揭示事物在不同方面的性质，从而对事物可以进行更为全面的理解和解释。例如遥感图像中，低分辨率多光谱(MS)图像和高分辨率全色(PAN)图像用于获得包含具有增强空间分辨率的多光谱图像光谱内容的融合图像；医学图像中，融合多个模态的数据可以使分析更为可靠准确；监控应用中，可以融合多个频段的图像，例如融合红外图像和可见光图像。智能相机应用中，可以融合多种曝光时间的图像，从而达到画质增强。
[0004]图像融合技术包括空间域、变换域和深度学习的融合方法，其中空间域的方法比变换域和基于深度学习的方法简单直接，便于实现。
[0005]变换域方法通常有三个阶段组成：图像变换、系数融合和逆变换。与基于空间域方法相比，最显著的特征包括融合图像重建的逆变换阶段。根据所使用的变换，基于变换域的方法可以进一步分为基于多尺度分解的方法、基于梯度域的方法、基于稀疏表示的方法以及其他基于变换的方法。变换域的方法需要进行图像的变换和逆变换，在嵌入式设备算力有限的情况下很难部署实施。
[0006]近年来，基于深度学习的方法已经成为图像融合领域一个非常活跃的方向。具有深度结构的神经网络已被广泛证明具有较强的特征表示能力，在各种图像和视觉任务中非常有用，包括图像融合。目前，卷积神经网络(convolutional neural networks,CNNs)和生成式对抗网络(generative adversarial networks,GANs)等深度学习模型已成功应用于图像融合领域。根据所采用的模型，基于深度学习的方法可以进一步分为基于监督的方法和基于非监督的方法。但基于深度学习的方法需要更为复杂的计算，且需要神经网络加速单元才能实时处理，对软硬件要求都很高，实施成本较大，不利于嵌入式设备实现。
[0007]空间域方法利用一定的空间特征，根据特定的规则直接在空间域中融合输入源图像。处理时为每个输入图像生成一个权重映射图，并将融合后的图像作为所有输入图像的加权平均。空间域的方法由于简单直接，便于落地实施，工程师较为青睐，但基于空间域的方法需要利用例如迭代滤波的方法来计算融合权重，才能得到较好的结果，迭代滤波不利于实时图像处理。

技术实现思路

[0008]为了克服上述现有技术存在的不足，本专利技术提供了一种图像融合方法。
[0009]为了实现上述目的，本专利技术提供如下技术方案：
[0010]一种图像融合方法，包括：
[0011]获取待融合的原始图像，所述原始图像为多传感器图像序列或多曝光图像序列；
[0012]对原始图像进行灰度化处理，得到灰度图像；
[0013]通过高通滤波器卷积灰度图像得到图像细节，并计算图像细节权重；
[0014]对灰度图像进行过曝处理；
[0015]使用卷积滤波器计算过曝处理后的图像的主体融合权重；
[0016]结合图像细节权重和主体融合权重获得图像融合权重；
[0017]通过图像融合权重对原始图像进行加权融合，获得最终的融合图像。
[0018]优选地，通过图像传感器或摄像头采集原始图像，通过FPGA或ARM实现对原始图像的读取来获得输入图像。
[0019]优选地，所述对原始图像O(x,y)进行灰度化处理，得到的灰度图像I(x,y)为：
[0020]I(x,y)＝0.299
×
R+0.587
×
G+0.114
×
B
[0021]其中，R、G、B为图像的三色通道值；x表示图像矩阵的行坐标，y表示图像矩阵的列坐标。
[0022]优选地，所述通过高通滤波器卷积灰度图像得到图像细节W
e
(x,y)，并计算图像细节权重具体为：
[0023]W
e
(x,y)＝I(x,y)*h(x,y)
[0024]式中，h(x,y)为高通滤波器：
[0025][0026][0027]其中，n代表图像序列的编号。
[0028]优选地，所述对灰度图像进行过曝处理，具体为：
[0029][0030]式中，I
dn
(x,y)为第n幅过曝处理后的图像，I
n
(x,y)为第n幅图像的灰度图像，α为控制因子，T为大于等于0、小于128的常数。
[0031]优选地，所述使用卷积滤波器计算过曝处理后的图像的主体融合权重W
mn
(x,y)，具体为：
[0032]W
mn
(x,y)＝I
dn
(x,y)*H(x,y)
[0033]式中，I
dn
(x,y)为第n幅过曝处理后的图像，H(x,y)为卷积滤波器；
[0034][0035]式中，σ为方差，e为自然指数，x表示图像矩阵的行坐标，y表示图像矩阵的列坐标。
[0036]优选地，还包括对所述主体融合权重W
mn
(x,y)进行归一化，归一化后的主体融合权重为：
[0037][0038]优选地，所述结合图像细节权重和主体融合权重获得图像融合权重具体为：
[0039][0040]然后对图像融合权重进行归一化处理得到：
[0041][0042]优选地，所述通过图像融合权重对原始图像进行加权融合，获得最终的融合图为：
[0043][0044]本专利技术的另一目的在于提供一种图像融合装置，包括：
[0045]图像采集模块，用于获取待融合的原始图像，所述原始图像为多传感器图像序列或多曝光图像序列；
[0046]图像预处理模块，用于对原始图像进行灰度化处理，得到灰度图像；
[0047]图像细节处理模块，用于通过高通滤波器卷积灰度图像得到图像细节，并计算图像细节权重；
[0048]曝光处理模块，用于对灰度图像进行过曝处理；
[0049]主体融合权重计算模块，用于使用卷积滤波器计算过曝处理后的图像的主体融合权重；
[0050]图像融合权重计算模块，用于结合图像细节权重和主体融合权重获得图像融合权重；
[0051]图像融合模块，用于通过图像融合权重对原始图像进行加权融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：获取待融合的原始图像，所述原始图像为多传感器图像序列或多曝光图像序列；对原始图像进行灰度化处理，得到灰度图像；通过高通滤波器卷积灰度图像得到图像细节，并计算图像细节权重；对灰度图像进行过曝处理；使用卷积滤波器计算过曝处理后的图像的主体融合权重；结合图像细节权重和主体融合权重获得图像融合权重；通过图像融合权重对原始图像进行加权融合，获得最终的融合图像。2.根据权利要求1所述的图像融合方法，其特征在于，通过图像传感器或摄像头采集原始图像。3.根据权利要求1所述的图像融合方法，其特征在于，所述对原始图像O(x,y)进行灰度化处理，得到的灰度图像I(x,y)为：I(x,y)＝0.299
×
R+0.587
×
G+0.114
×
B其中，R、G、B为图像的三色通道值；x表示图像矩阵的行坐标，y表示图像矩阵的列坐标。4.根据权利要求3所述的图像融合方法，其特征在于，所述通过高通滤波器卷积灰度图像得到图像细节W
e
(x,y)，并计算图像细节权重具体为：W
e
(x,y)＝I(z,y)*h(x,y)式中，h(x,y)为高通滤波器：oror其中，n代表图像序列的编号。5.根据权利要求4所述的图像融合方法，其特征在于，所述对灰度图像进行过曝处理，具体为：式中，I
dn
(x,y)为第n幅过曝处理后的图像，I
n
(x,y)为第n幅图像的灰度图像，α为控制因子，T为大于等于0、小于128的常数。6.根据权...

【专利技术属性】
技术研发人员：包志强，
申请(专利权)人：西安睿维申电子科技有限公司，
类型：发明
国别省市：