图像融合方法、装置和处理器及电子设备制造方法及图纸

本申请公开了一种图像融合方法、装置和处理器及电子设备。涉及图像处理领域，该方法包括：获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图；基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。通过本申请，解决了相关技术中图像融合的准确性较低的问题。题。题。

【技术实现步骤摘要】
图像融合方法、装置和处理器及电子设备


[0001]本申请涉及图像处理领域，具体而言，涉及一种图像融合方法、装置和处理器及电子设备。

技术介绍

[0002]传统的多聚焦图像融合方法，由于在图像的细节保留方面不够全面，导致在复杂场景下提取和保留的细节信息不够全面，甚至产生融合图像失真的缺陷，进而存在图像融合结果的准确性低下。
[0003]多聚焦图像融合技术旨在将不同聚焦设置下得到的多幅包含相同场景的图像融合在一起，形成一幅信息量更加完备的全清晰图像。得到的全清晰图像更便于后续的计算机视觉任务。
[0004]在上述多聚焦图像融合的场景下，传统的多聚焦图像融合方法，由于在图像的细节保留方面不够全面，导致在复杂场景下提取和保留的细节信息不够全面，甚至产生融合图像失真的缺陷，进而存在图像融合的准确性较低的技术问题。
[0005]针对相关技术中图像融合的准确性较低的问题，目前尚未提出有效的解决方案。

技术实现思路

[0006]本申请的主要目的在于提供一种图像融合方法、装置和处理器及电子设备，以解决相关技术中图像融合的准确性较低的问题。
[0007]为了实现上述目的，根据本申请的一个方面，提供了一种图像融合方法。该方法包括：获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。
[0008]作为一种可选的方案，上述对第一图像特征和第二图像特征做全局递归处理，得到第一图像关联的第一决策图和第二图像关联的第二决策图包括：对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。
[0009]作为一种可选的方案，上述对第一图像特征中的各个像素点进行递归处理，得到第三图像特征包括：从第一图像特征中确定出当前像素点，以及确定出当前像素点在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三图像特征包括调整后的
当前像素点；对第三图像特征进行归一化处理，得到第一决策图包括：利用目标函数，对第三图像特征进行归一转换，得到第一决策图。
[0010]作为一种可选的方案，上述基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像包括：对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策图做校正处理，得到第二图像关联的第四决策图；对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；基于第一图像与第五决策图的第一融合结果，和第二图像与第六决策图的第二融合结果，确定第一图像和第二图像的目标融合图像。
[0011]作为一种可选的方案，上述对第一决策图做校正处理得到第一图像关联的第三决策图包括：利用目标校正算法，对第一决策图进行校正，并将校正后的决策图确定为第三决策图；对第三决策图做区域平滑处理得到第一图像关联的第五决策图包括：利用目标区域平滑算法，将第三决策图划分为N个窗口，并基于划分后的N个窗口确定第五决策图，其中，N为正整数。
[0012]作为一种可选的方案，在获取待融合的至少两个图像之后，上述方法还包括：将第一图像和第二图像输入预设模型分别进行特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征；利用预设模型，对第一图像特征和第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到第一图像关联的第五决策图和第二图像关联的第六决策图；基于第一图像、第二图像、第五决策图和第六决策图，确定并输出第一图像和第二图像的目标融合图像。
[0013]作为一种可选的方案，在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，上述方法还包括：确定出用于得到预设模型的初始化模型；利用训练样本集合对初始化模型进行训练，其中，训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，第一训练图像和第二训练图像用于输入第一模型以得到融合训练图像，融合训练图像和真值图像用于确定第一模型在图像块级的第一损失值和在像素级的第二损失值，联合损失值基于第一损失值和第二损失值确定；在联合损失值小于预设收敛阈值的情况下，确定初始化模型训练完成，并将训练完成后的初始化模型确定为预设模型。
[0014]为了实现上述目的，根据本申请的另一方面，提供了一种图像融合装置。该装置包括：获取单元，用于获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；提取单元，用于对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；递归单元，用于对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；确定单元，用于基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。
[0015]作为一种可选的方案，递归单元包括：递归模块，用于对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；归一模块，用于对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。
[0016]作为一种可选的方案，递归模块包括：确定子模块，用于从第一图像特征中确定出当前像素点，以及确定出当前像素点在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；调整子模块，用于利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三图像特征包括调整后的当前像素点；归一模块包括：归一子模块，用于利用目标函数，对第三图像特征进行归一转换，得到第一决策图。
[0017]作为一种可选的方案，确定单元包括：校正模块，用于对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策图做校正处理，得到第二图像关联的第四决策图；平滑模块，用于对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；第一确定模块，用于基于第一图像与第五决策图的第一融合结果，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：获取待融合的至少两个图像，其中，所述至少两个图像指示同一场景、聚焦不同，所述至少两个图像包括第一图像、第二图像；对所述第一图像做特征提取处理，得到所述第一图像关联的第一图像特征，以及对所述第二图像做特征提取处理，得到所述第二图像关联的第二图像特征；对所述第一图像特征做全局递归处理，得到所述图像关联的第一决策图，以及对所述第二图像做全局递归处理，得到所述第二图像关联的第二决策图，其中，所述第一决策图用于指示所述第一图像的全局决策信息，所述第二决策图用于指示所述第二图像的全局决策信息；基于所述第一决策图和所述第二决策图，得到所述第一图像和所述第二图像的目标融合图像。2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像特征和所述第二图像特征做全局递归处理，得到所述第一图像关联的第一决策图和所述第二图像关联的第二决策图包括：对所述第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对所述第二图像特征中的各个像素点进行递归处理，得到第四图像特征；对所述第三图像特征进行归一化处理，得到所述第一决策图，以及对所述第三图像特征进行归一化处理，得到所述第二决策图。3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像特征中的各个像素点进行递归处理，得到第三图像特征包括：从所述第一图像特征中确定出当前像素点，以及确定出所述当前像素点在目标方向的其他像素点，其中，所述目标方向包括：上方向、下方向、左方向、右方向；利用所述其他像素点，对所述当前像素点进行调整，得到调整后的当前像素点，其中，所述第三图像特征包括所述调整后的当前像素点；所述对所述第三图像特征进行归一化处理，得到所述第一决策图包括：利用目标函数，对所述第三图像特征进行归一转换，得到所述第一决策图。4.根据权利要求1所述的方法，其特征在于，所述基于所述第一决策图和所述第二决策图，得到所述第一图像和所述第二图像的目标融合图像包括：对所述第一决策图做校正处理得到所述第一图像关联的第三决策图，以及对所述第二决策图做校正处理，得到所述第二图像关联的第四决策图；对所述第三决策图做区域平滑处理得到所述第一图像关联的第五决策图，以及对所述第四决策图做区域平滑处理，得到所述第二图像关联的第六决策图；基于所述第一图像与所述第五决策图的第一融合结果，和所述第二图像与所述第六决策图的第二融合结果，确定所述第一图像和所述第二图像的目标融合图像。5.根据权利要求4所述的方法，其特征在于，所述对所述第一决策图做校正处理得到所述第一图像关联的第三决策图包括：利用目标校正算法，对所述第一决策图进行校正，并将校正后的所述决策图确定为所述第三决策图；所述对所述第三决策图做区域平滑处理得到所述第一图像关联的第五决策图包...

【专利技术属性】
技术研发人员：苏喆，田赛赛，王江娟，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：