一种红外图像和可见图像的融合方法及设备技术

本申请适用于计算机技术领域，提供了一种红外图像和可见图像的融合方法，包括：获取红外图像和可见图像；将红外图像和可见图像进行预融合，得到预融合图像；根据预融合图像计算目标基础层图像和目标细节层图像；将目标基础层图像和目标细节层图像进行融合，得到目标融合图像。上述方案，通过将目标基础层图像和目标细节层图像进行融合，通过红外图像可以反映有效信息的特点来滤除可见图像中的干扰信息，使得最终得到的目标融合图像能够更好地突出显示目标，同时保留红外图像和可见图像中更多有用的细节。

【技术实现步骤摘要】
一种红外图像和可见图像的融合方法及设备
本申请属于计算机
，尤其涉及一种红外图像和可见图像的融合方法及设备。
技术介绍
可见图像可以为计算机视觉任务提供丰富的细节，红外图像可以根据目标之间的热辐射差异来区分目标与背景，而不受照明和天气条件的影响。但是，由于可见图像可能无法突出显示重要目标，红外图像无法提供纹理细节。因此，仅使用可见图像或红外图像不能提供足够的信息来促进计算机视觉应用。所以，多种红外图像和可见图像融合方法被提出以生成更具有鲁棒性的图像。现有的技术方案以深度学习的方法为主，但是，神经网络方法需要依赖大量的训练数据来确保准确性，并且网络结构无法解释。
技术实现思路
本申请实施例提供了一种红外图像和可见图像的融合方法及设备，可以解决现有的以深度学习为主的图像融合方法中，神经网络需要依赖大量的训练数据来确保准确性，并且网络结构无法解释的问题。第一方面，本申请实施例提供了一种红外图像和可见图像的融合方法，包括：获取红外图像和可见图像；将所述红外图像和所述可见图像进行预融合，得到预融合图像；根据所述预融合图像计算目标基础层图像和目标细节层图像；将所述目标基础层图像和所述目标细节层图像进行融合，得到目标融合图像。进一步地，所述将所述红外图像和所述可见图像进行预融合，得到预融合图像，包括：根据所述红外图像和预设对比度函数计算所述红外图像的对比度信息；根据所述红外图像、所述可见图像和预设约束函数计算梯度稀疏约束信息；根据所述对比度信息和所述梯度稀疏约束信息确定目标损失函数；根据预设优化策略对目标损失函数进行优化，得到预融合图像。进一步地，所述根据预设优化策略对目标损失函数进行优化，得到预融合图像，包括：根据预设计算规则对所述目标损失函数对应的中间变量进行优化，得到目标中间变量；根据所述目标中间变量，计算得到预融合图像。进一步地，所述根据所述预融合图像计算目标基础层图像和目标细节层图像，包括：根据预设图像分解算法对所述预融合图像进行图像分解，得到目标基础层图像；根据预设细节层提取策略、所述预融合图像、所述红外图像和所述可见图像，得到目标细节层图像。进一步地，所述根据预设细节层提取策略、所述预融合图像、所述红外图像和所述可见图像，得到目标细节层图像，包括：提取所述红外图像的第一细节信息和所述可见图像的第二细节信息；计算所述预融合图像和所述红外图像之间的第一结构相似度、所述预融合图像和所述可见图像之间的第二结构相似度；根据所述第一细节信息、所述第二细节信息、所述第一结构相似度和所述第二结构相似度确定目标细节层图像。进一步地，所述根据所述第一细节信息、所述第二细节信息、所述第一结构相似度和所述第二结构相似度确定目标细节层图像，包括：根据所述第一结构相似度得到所述预融合图像和所述红外图像之间的第一结构相似得分图；根据所述第二结构相似度得到所述预融合图像和所述可见图像之间的第二结构相似得分图；根据所述第一结构相似得分图和所述第二结构相似得分图，确定平衡系数；获取所述红外图像的第一增强系数和所述可见图像的第二增强系数；根据所述第一细节信息、所述第二细节信息、所述平衡系数、所述第一增强系数和所述第二增强系数，计算目标细节层图像。进一步地，所述根据预设图像分解算法对所述预融合图像进行图像分解，得到目标基础层图像，包括：根据MDLatLRR图像分解算法从所述预融合图像中提取第一级的细节层图像；根据所述第一级的细节层图像和所述预融合图像确定第一级的基础层图像；根据所述MDLatLRR图像分解算法从第i级的基础层图像中提取第i+1级的细节层图像，i大于或等于1，且i小于或等于n-1，n为预设正整数；根据第i级的基础层图像和所述第i+1级的细节层图像确定第i+1级的基础层图像；当检测到获取到第n级的基础层图像时，将所述第n级的基础层图像作为目标基础层图像。进一步地，所述将所述目标基础层图像和所述目标细节层图像进行融合，得到目标融合图像，包括：根据预设逆变换融合函数将所述目标基础层图像和所述目标细节层图像进行融合，得到目标融合图像。第二方面，本申请实施例提供了一种红外图像和可见图像的融合装置，包括：第一获取单元，用于获取红外图像和可见图像；第一融合单元，用于将所述红外图像和所述可见图像进行预融合，得到预融合图像；第一计算单元，用于根据所述预融合图像计算目标基础层图像和目标细节层图像；第二融合单元，用于将所述目标基础层图像和所述目标细节层图像进行融合，得到目标融合图像。进一步地，所述第一融合单元，包括：第二计算单元，用于根据所述红外图像和预设对比度函数计算所述红外图像的对比度信息；第三计算单元，用于根据所述红外图像、所述可见图像和预设约束函数计算梯度稀疏约束信息；第一确定单元，用于根据所述对比度信息和所述梯度稀疏约束信息确定目标损失函数；第一优化单元，用于根据预设优化策略对目标损失函数进行优化，得到预融合图像。进一步地，所述第一优化单元，具体用于：根据预设计算规则对所述目标损失函数对应的中间变量进行优化，得到目标中间变量；根据所述目标中间变量，计算得到预融合图像。进一步地，所述第一计算单元，包括：第二处理单元，用于根据预设图像分解算法对所述预融合图像进行图像分解，得到目标基础层图像；第三处理单元，用于根据预设细节层提取策略、所述预融合图像、所述红外图像和所述可见图像，得到目标细节层图像。进一步地，所述第三处理单元，包括：第一提取单元，用于提取所述红外图像的第一细节信息和所述可见图像的第二细节信息；第四计算单元，用于计算所述预融合图像和所述红外图像之间的第一结构相似度、所述预融合图像和所述可见图像之间的第二结构相似度；第二确定单元，用于根据所述第一细节信息、所述第二细节信息、所述第一结构相似度和所述第二结构相似度确定目标细节层图像。进一步地，所述第二确定单元，具体用于：根据所述第一结构相似度得到所述预融合图像和所述红外图像之间的第一结构相似得分图；根据所述第二结构相似度得到所述预融合图像和所述可见图像之间的第二结构相似得分图；根据所述第一结构相似得分图和所述第二结构相似得分图，确定平衡系数；获取所述红外图像的第一增强系数和所述可见图像的第二增强系数；根据所述第一细节信息、所述第二细节信息、所述平衡系数、所述第一增强系数和所述第二增强系数，计算目标细节层图像。进一步地，所述第二处理单元，具体用于：根据MDLatLRR图像分解算法从所述预融合图像中提取第一级的细节层图像；根据所述第一级的细节层图像和所述预融合图像确定第一级的基础层图像；根据所述MDLatLRR本文档来自技高网...

【技术保护点】
1.一种红外图像和可见图像的融合方法，其特征在于，包括：/n获取红外图像和可见图像；/n将所述红外图像和所述可见图像进行预融合，得到预融合图像；/n根据所述预融合图像计算目标基础层图像和目标细节层图像；/n将所述目标基础层图像和所述目标细节层图像进行融合，得到目标融合图像。/n

【技术特征摘要】
1.一种红外图像和可见图像的融合方法，其特征在于，包括：
获取红外图像和可见图像；
将所述红外图像和所述可见图像进行预融合，得到预融合图像；
根据所述预融合图像计算目标基础层图像和目标细节层图像；
将所述目标基础层图像和所述目标细节层图像进行融合，得到目标融合图像。


2.如权利要求1所述的红外图像和可见图像的融合方法，其特征在于，所述将所述红外图像和所述可见图像进行预融合，得到预融合图像，包括：
根据所述红外图像和预设对比度函数计算所述红外图像的对比度信息；
根据所述红外图像、所述可见图像和预设约束函数计算梯度稀疏约束信息；
根据所述对比度信息和所述梯度稀疏约束信息确定目标损失函数；
根据预设优化策略对目标损失函数进行优化，得到预融合图像。


3.如权利要求2所述的红外图像和可见图像的融合方法，其特征在于，所述根据预设优化策略对目标损失函数进行优化，得到预融合图像，包括：
根据预设计算规则对所述目标损失函数对应的中间变量进行优化，得到目标中间变量；
根据所述目标中间变量，计算得到预融合图像。


4.如权利要求1所述的红外图像和可见图像的融合方法，其特征在于，所述根据所述预融合图像计算目标基础层图像和目标细节层图像，包括：
根据预设图像分解算法对所述预融合图像进行图像分解，得到目标基础层图像；
根据预设细节层提取策略、所述预融合图像、所述红外图像和所述可见图像，得到目标细节层图像。


5.如权利要求4所述的红外图像和可见图像的融合方法，其特征在于，所述根据预设细节层提取策略、所述预融合图像、所述红外图像和所述可见图像，得到目标细节层图像，包括：
提取所述红外图像的第一细节信息和所述可见图像的第二细节信息；
计算所述预融合图像和所述红外图像之间的第一结构相似度、所述预融合图像和所述可见图像之间的第二结构相似度；
根据所述第一细节信息、所述第二细节信息、所述第一结构相似度和所述第二结构相似度确定目标细节层图像。


6.如权利要求5所述的红外图像和可见图像...

【专利技术属性】
技术研发人员：李国法，林勇杰，赖伟鉴，杨一帆，谢恒，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44