【技术实现步骤摘要】
本专利技术涉及图像融合领域，具体涉及一种结合卷积特征与梯度直方图加权的图像融合方法。
技术介绍
1、随着信息时代的迅速发展，多传感器图像融合技术成为广泛应用的研究方向。尤其是在机载遥感、医学影像处理、安全监控等领域中，不同传感器(如可见光、红外、x射线、超声波等)可以提供丰富的多样化信息。通过对多源图像的融合处理，可以有效结合各类信息，提高场景理解的准确度和清晰度。然而，如何在融合过程中保留并增强图像的边缘、细节和对比度信息，成为了技术难题。
2、传统的图像融合方法通常基于多尺度变换(如小波变换、拉普拉斯金字塔等)或基于统计特征(如均值、方差)的加权策略。这些方法虽然在某些应用中效果良好，但普遍存在几个缺陷。首先，传统方法通常依赖于规则的特征选择，难以自适应地捕捉图像的细节和边缘特征；其次，噪声干扰会显著影响融合质量，导致细节模糊、对比度下降等问题。尤其是拉普拉斯金字塔、小波变换等多尺度变换方法尽管在不同尺度上捕捉了图像的频率分量，但由于缺乏对图像边缘和细节的有效描述，导致融合图像往往难以体现出理想的视觉效果。
3、近年来，深度学习在计算机视觉领域取得了显著成就，尤其是卷积神经网络(cnn)在图像分类、检测、分割、融合以及辅助决策等任务中展现出极强的特征提取能力。通过深度神经网络学习多源传感器图像的复杂特征关系，结合图像各部分的相关性，可以实现自适应的多源图像融合。相比传统方法，深度学习方法在噪声抑制、细节增强以及边缘保留方面具有更好的表现。然而，现有的基于深度学习的图像融合方法在处理边缘细节时，仍存在一
技术实现思路
1、本专利技术的目的：在于设计一种结合卷积特征与梯度直方图加权的图像融合方法。该方法首先对输入图像进行5x5邻域内水平方向和垂直方向的梯度计算，利用两个方向的梯度值计算最终的梯度幅值图，从而产生局部梯度直方图；然后根据梯度直方图生成权重信息，并进行归一化处理，同时将输入图像利用卷积神经网络进行特征提取；最终将提取的特征图进行加权融合与融合特征图重建，生成最终的融合图像，整体方法鲁棒性强、图像融合质量效果优于一般算法。
2、本专利技术的专利技术目的主要采用以下技术方案实现：
3、提供一种结合卷积特征与梯度直方图加权的图像融合方法，包括：
4、获取多源传感器端的原始输入图像的细节特征分布和强度分布；
5、对于每个原始输入图像，以细节特征分布和强度分布赋予不同的权重；
6、通过卷积神经网络自适应的提取原始输入图像的特征；
7、使用权重引导特征融合过程，从而在融合后的图像中更好地保留图像中的边缘细节信息。
8、进一步的，获取多源传感器端的原始输入图像的细节特征分布和强度分布，包括：
9、对于任一副原始图像，计算水平方向梯度gx与垂直方向梯度gy，从而计算出原始图像的梯度幅值；
10、对每个像素点的位置(x，y)，根据其5x5邻域n(x，y)中的梯度幅值统计局部梯度直方图；
11、利用局部梯度直方图，计算原始图像中每个像素的梯度加权值，其中梯度强度更高的区域获得更高的权重；梯度加权值表征细节特征分布和强度分布。
12、进一步的，通过卷积神经网络自适应的提取原始输入图像的特征，包括：
13、通过一系列卷积层和池化层提取到原始特征图。
14、进一步的，使用权重引导特征融合过程，包括：
15、将多幅原始图像中每个像素的梯度加权值与特征图的每个像素对应，计算得到融合后的加权特征图；
16、对融合后的加权特征图采用与卷积对应的反卷积操作，重建最终的融合图像。
17、进一步的，融合后的加权特征图f(x，y)：
18、f(x，y)＝f1(x，y)·w1(x，y)+f2(x，y)·w2(x，y)+…+fn(x，y)·wn(x，y)；
19、其中，f(x，y)由n个加权特征图融合而成，f1(x，y)为第1个原始图像的特征图，w1(x，y)为第1个原始图像的梯度加权值，f2(x，y)为第2个原始图像的特征图，w2(x，y)为第2个原始图像的梯度加权值，fn(x，y)为最后一个原始图像的特征图，wn(x，y)为最后一个原始图像的梯度加权值，(x，y)是融合后的加权特征图的任一坐标。
20、进一步的，反卷积的每一层操作表示为：
21、
22、其中，f(l)表示第l层的特征图，t(l)为第l层的反卷积核，*代表卷积操作，表示反卷积出的第l+1层的特征图。
23、进一步的，局部梯度直方图hk(x，y)表示为：
24、
25、其中，hh(i，x，y)是位置(x，y)处的局部梯度直方图的第i个bin值，表示该像素邻域的梯度分布，gk(x′，y′)为n(x，y)的梯度幅值。
26、进一步的，梯度加权值w(x，y)的计算公式为：
27、
28、n表示直方图的bin数量。
29、有益效果：
30、本专利技术提出利用卷积神经网络提取图像特征自适应较强。卷积神经网络具有强大的特征学习能力，可以自适应地根据多源图像的梯度特征和直方图分布进行加权学习。在特征融合过程中，网络能够自适应地对各个图像区域的重要性进行加权处理，确保融合图像能够最优地保留细节信息。这种自适应特性使得该方法能够应对不同场景下的多源图像融合任务。
31、本专利技术结合梯度直方图来增强融合后的边缘和图像细节信息。梯度直方图能够有效反映图像中边缘和细节区域的分布和强度信息。因此，通过对梯度直方图的加权，融合方法能够突出并保留输入图像中的边缘信息和细节特征，生成的融合图像具有更清晰的轮廓和更细腻的视觉效果。
32、本专利技术提出的方法具有良好的抗噪性。梯度直方图加权方法能够对图像中的噪声有更强的抑制作用。在计算梯度信息时，梯度直方图统计可以有效平滑图像中的高频噪声，避免噪声在直方图中被过度突出。通过结合卷积神经网络的深度特征提取能力，网络能够自动抑制噪声干扰，从而提高融合图像的清晰度。
33、本专利技术提出的方法具有良好的应用场景可扩展性。文中提出的梯度直方图加权方法可扩展到多种图像融合场景，包括红外与可见光图像融合、ct与mri医学影像融合、遥感影像多光谱融合等。特别是在细节保留要求较高的应用场景中，该方法可以显著提升图像的细节清晰度和视觉效果。
本文档来自技高网...【技术保护点】
1.一种结合卷积特征与梯度直方图加权的图像融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取多源传感器端的原始输入图像的细节特征分布和强度分布，包括：
3.根据权利要求2所述的方法，其特征在于，通过卷积神经网络自适应的提取原始输入图像的特征，包括：
4.权利要求3所述的方法，其特征在于，使用权重引导特征融合过程，包括：
5.根据权利要求4所述的方法，其特征在于，融合后的加权特征图F(x，y)：
6.根据权利要求5所述的方法，其特征在于，反卷积的每一层操作表示为：
7.根据权利要求6所述的方法，其特征在于，局部梯度直方图Hk(x，y)表示为：
8.根据权利要求7所述的方法，其特征在于，梯度加权值W(x，y)的计算公式为：
【技术特征摘要】
1.一种结合卷积特征与梯度直方图加权的图像融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取多源传感器端的原始输入图像的细节特征分布和强度分布，包括：
3.根据权利要求2所述的方法，其特征在于，通过卷积神经网络自适应的提取原始输入图像的特征，包括：
4.权利要求3所述的方法，其特征在于，使用权重引导特征融...
【专利技术属性】
技术研发人员：邢波涛，李威，于乐，陈昊，魏大洲，
申请(专利权)人：中国航空无线电电子研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。