基于多尺度变换的多聚焦图像融合方法及装置制造方法及图纸

本公开提供了一种基于多尺度变换的多聚焦图像融合方法及装置，涉及人工智能或计算机视觉领域。该方法包括：采集同一成像场景下的两幅输入图像，获取输入图像的不同深度；使用k级上下文特征提取模型从输入图像中分别提取位于不同深度的k级尺度的图像特征；使用同级尺度融合方式对k级尺度的图像特征进行初步融合，得到初步融合特征；将每一级尺度的初步融合特征与经过反变换的前一级初步融合特征进行融合，得到精化融合特征；使用图像重构模型对精化融合特征进行重构，得到融合图像；使用输入图像和输入图像的融合图像作为训练数据来训练多聚焦图像融合网络模型。

【技术实现步骤摘要】
基于多尺度变换的多聚焦图像融合方法及装置
本公开涉及人工智能或计算机视觉领域，尤其涉及一种基于多尺度变换的多聚焦图像融合方法及装置。
技术介绍
多聚焦图像融合技术旨在将不同聚焦设置下得到的多幅包含相同场景的图像融合在一起，形成一幅信息量更加完备的全清晰图像，得到的全清晰图像便于后续的计算机视觉任务，如识别、监督。为了获得优良的融合效果，研究人员提出了各种各样的图像融合方法，根据算法的原理，图像融合方法大体可以分成两大类：传统的图像融合方法和基于深度学习的图像融合方法。传统的图像融合方法又可以进一步分为基于空间域的融合方法和基于变换域的融合方法。但是，该类多聚焦图像融合方法需要人为设计活跃水平检测和融合规则，这就极大地增加了算法设计所带来的困难。近年来，随着深度学习的广泛应用，基于深度学习的多聚焦图像融合获得了极大地发展，相较于传统的多聚焦图像融合方法，算法复杂度极大地降低，融合性能极大地改善。目前，大多数的多聚焦图像融合算法，将卷积神经网络设计为一个分类器，一对训练数据设定一个标签，这种设置会导致在聚焦区域与非聚焦区域边缘出现误分类的情况出现。此外，只有聚焦点检测是由网络完成的，其余部分还需要人为设定判定准则，增加了算法的复杂度。另外，现有的神经网络训练方式使得网络本身难以对聚焦区域与非聚焦区域的边缘进行学习。还有，在定义多种掩模用于网络对聚焦区域与非聚焦区域边缘的学习时，但是这种规则形状的掩模不足以模拟现实的情况。
技术实现思路
针对现有多聚焦图像融合技术的上述不足，本公开提供一种基于多尺度变换的多聚焦图像融合方法及装置，以解决现有多聚焦图像融合技术在聚焦与非聚焦图像边缘融合不准确的问题。本公开的一个方面提供了一种基于多尺度变换的多聚焦图像融合方法，包括：采集同一成像场景下的两幅输入图像An(n＝1，2)，获取输入图像的不同深度；使用k级上下文特征提取模型从输入图像中分别提取位于不同深度的k级尺度的图像特征使用同级尺度融合方式对k级尺度的图像特征进行初步融合，得到初步融合特征Ud；将每一级尺度的初步融合特征Ud与经过反变换的前一级初步融合特征Ud+1进行融合，得到精化融合特征U′d；使用图像重构模型对精化融合特征U′d进行重构，得到融合图像Frecon；使用输入图像An和输入图像的融合图像Frecon作为训练数据来训练多聚焦图像融合网络模型。根据本公开的实施例，两幅输入图像为两幅待融合且预先配准的多聚焦图像。根据本公开的实施例，每级上下文特征提取模型均由3个具有不同感受野的并行卷积模块构成，得到每一级尺度下包含上下文信息的图像特征其中：3个不同感受野的并行卷积模块包括：原始图像特征分支、感受野扩大分支和注意力权重分支；感受野扩大分支通过使用空洞卷积扩大感受野以获取图像相对全局信息，注意力权重分支引用自注意力机制对感受野扩大分支进行权重处理。根据本公开的实施例，在k级上下文特征提取模型中，输入图像An的第d级尺度特征的计算输入为输入图像An的前一级尺度特征表示输入图像；通过引用自注意力机制将转换为过渡图像特征采用Sigmoid函数为过渡图像特征的每一个像素点分配权重。根据本公开的实施例，通过引用自注意力机制将转换为过渡图像特征包括：采用尺寸为1且输出32个通道的滤波器对进行卷积运算，得到过渡图像特征采用Sigmoid函数为过渡图像特征的每一个像素点分配权重，根据以下公式计算得出；其中，(i，j)分别表示行坐标和列坐标；H、W分别表示图像特征的像素宽度和高度；表示过渡图像特征的每一像素点分配的权重。根据本公开的实施例，感受野扩大分支包括两个部分图像子特征，每部分图像子特征均由连续的两个空洞卷积构成，其中：两个部分图像子特征分别按照以下公式计算得出：其中，分别为第一部分图像子特征和第二部分图像子特征；分别表示第一空洞卷积和第二空洞卷积操作；分别表示第一空洞卷积和第二空洞卷积操作对应标号滤波器的参数集；Θ表示Relu激活函数；表示经过转换后对应的像素点分配的权重。根据本公开的实施例，输入图像An的第d级尺度特征按照以下公式计算得出：其中，表示第一卷积操作，表示第一卷积操作对应标号滤波器的参数集；cat(·)表示级联操作；pooling(·)表示池化操作，设置池化步长为2。根据本公开的实施例，使用同级尺度融合方式对k级尺度的图像特征进行初步融合，得到初步融合特征Ud，包括：从两幅输入图像中将具有同级尺度的图像特征进行级联，然后经过softmax层得到权值图；第d级尺度特征和第d级尺度对应的权值图相乘的乘积相加，得到第d级尺度下的初步融合特征Ud。根据本公开的实施例，初步融合特征Ud按照以下公式计算得出：其中，mapn(n＝1，2)表示经由softmax层操作得到的权值图；cat(.)表示级联操作；*表示像素级的乘法操作；+表示像素级的加法操作。根据本公开的实施例，将每一级尺度的初步融合特征Ud与经过反变换的前一级初步融合特征Ud+1进行融合，得到精化融合特征U′d，包括：采取逐级尺度反向传递的方式，使第d级尺度的初步融合特征Ud经过反变换后得到的前一级尺度的初步融合特征变更为初步融合特征Ud+1；对前一级初步融合特征Ud+1上采样之后与初步融合特征Ud进行融合，得到精化融合特征U′d。根据本公开的实施例，精化融合特征U′d按照以下公式计算得出：其中，表示第二卷积操作，表示第二卷积操作对应标号滤波器的参数集；Θ表示Relu激活函数；cat(·)表示级联操作；sample(·)表示上采样操作。根据本公开的实施例，使用图像重构模型对精化融合特征U′d进行重构，得到融合图像Frecon，包括：融合图像Frecon根据以下公式来计算得出：其中，conv(；θrecon)表示第三卷积操作，θrecon表示第三卷积操作对应标号滤波器的参数集；Θ表示Relu激活函数。根据本公开的实施例，两幅输入图像通过以下方式构建得到：输入包含多幅源图像的图像训练集，设定具有互补场景的第一掩膜和第二掩膜，通过第一掩膜获取源图像中的目标区域；对每幅源图像分别用第一掩膜和第二掩膜进行点乘运算，得到目标图像和背景图像；通过模糊滤波器分别对目标图像和背景图像进行连续多次模糊处理，得到具有不同模糊度的多组目标模糊图像和背景模糊图像；将每组具有相同模糊度的目标模糊图像和背景模糊图像分别相加，得到多组人工合成的多聚焦图像。根据本公开的实施例，模糊滤波器为滑动窗口尺寸为7×7且标准差为2的高斯滤波器。根据本公开的实施例，方法还包括：使用多聚焦图像融合网络模型来确定多个输入图像中一个输入图像的预测融合图像；利用联合损失函数计算使用多聚焦图像融合网络模型而确定的预测融合图像与输入图像的融合图像Frecon之间的损失值；判断损失值是否满足预设损失阈值，如果否，则根据损失值调整多聚焦图像融合网络模型的参数，并针对多个输入图像中另一个本文档来自技高网...

【技术保护点】
1.一种基于多尺度变换的多聚焦图像融合方法，包括：/n采集同一成像场景下的两幅输入图像A

【技术特征摘要】
1.一种基于多尺度变换的多聚焦图像融合方法，包括：
采集同一成像场景下的两幅输入图像An(n＝1，2)，获取所述输入图像的不同深度；
使用k级上下文特征提取模型从所述输入图像中分别提取位于不同深度的k级尺度的图像特征
使用同级尺度融合方式对所述k级尺度的图像特征进行初步融合，得到初步融合特征Ud；
将每一级尺度的初步融合特征Ud与经过反变换的前一级初步融合特征Ud+1进行融合，得到精化融合特征U′d；
使用图像重构模型对所述精化融合特征U′d进行重构，得到融合图像Frecon；
使用所述输入图像An和输入图像的融合图像Frecon作为训练数据来训练多聚焦图像融合网络模型。


2.根据权利要求1所述的方法，其中，所述两幅输入图像为两幅待融合且预先配准的多聚焦图像。


3.根据权利要求1所述的方法，其中，每级所述上下文特征提取模型均由3个具有不同感受野的并行卷积模块构成，得到每一级尺度下包含上下文信息的图像特征其中：
所述3个不同感受野的并行卷积模块包括：原始图像特征分支、感受野扩大分支和注意力权重分支；
所述感受野扩大分支通过使用空洞卷积扩大感受野以获取图像相对全局信息，所述注意力权重分支引用自注意力机制对所述感受野扩大分支进行权重处理。


4.根据权利要求3所述的方法，其中，在所述k级上下文特征提取模型中，输入图像An的第d级尺度特征的计算输入为输入图像An的前一级尺度特征表示输入图像；
通过引用自注意力机制将转换为过渡图像特征采用Sigmoid函数为过渡图像特征的每一个像素点分配权重。


5.根据权利要求4所述的方法，其中，所述通过引用自注意力机制将转换为过渡图像特征包括：
采用尺寸为1且输出32个通道的滤波器对进行卷积运算，得到过渡图像特征
所述采用Sigmoid函数为过渡图像特征的每一个像素点分配权重，根据以下公式计算得出；



其中，(i，j)分别表示行坐标和列坐标；H、W分别表示图像特征的像素宽度和高度；表示过渡图像特征的每一像素点分配的权重。


6.根据权利要求3所述的方法，其中，所述感受野扩大分支包括两个部分图像子特征，每部分图像子特征均由连续的两个空洞卷积构成，其中：
所述两个部分图像子特征分别按照以下公式计算得出：






其中，分别为第一部分图像子特征和第二部分图像子特征；分别表示第一空洞卷积和第二空洞卷积操作；分别表示第一空洞卷积和第二空洞卷积操作对应标号滤波器的参数集；Θ表示Relu激活函数；表示经过转换后对应的像素点分配的权重。


7.根据权利要求6所述的方法，其中，所述输入图像An的第d级尺度特征按照以下公式计算得出：



其中，表示第一卷积操作，表示第一卷积操作对应标号滤波器的参数集；cat(·)表示级联操作；pooling(·)表示池化操作，设置池化步长为2。


8.根据权利要求1所述的方法，其中，所述使用同级尺度融合方式对所述k级尺度的图像特征进行初步融合，得到初步融合特征Ud，包括：
从两幅输入图像中将具有同级尺度的图像特征进行级联，然后经过softmax层得到权值图；
第d级尺度特征和第d级尺度对应的权值图相乘的乘积相加，得到第d级尺度下的初步融合特征Ud。


9.根据权利要求8所述的方法，其中，所述初步融合特征Ud按照以下公式计算得出：






其中，mapn(n＝1，2)表示经由softmax层操作得到的权值图；cat(·)表示级联操作；*表示像素级的乘法操作；+表示像素级的加法操作。


10.根据权利要求1所述的方法，其中，所述将每一级尺度的初步融合特征Ud与经过反变换的前一级初步融合特征Ud+1进行融合，得到精化融合特征U′d，包括：
采取逐级尺度反向传递的方式，使所述第d级尺度的初步融合特征Ud经过反变换后得到的前一级尺度的初步融合特征变更为初步融合特征Ud+1；
对前一级初步融合特征Ud+1上采样之后与初步融合特征Ud进行融合，得到精化融合特征U′d。


11.根据权利要求10所述的方法，其中，所述精化融合特征U′d按照以下公式计算得出：

【专利技术属性】
技术研发人员：田赛赛，老伟雄，苏喆，高佩忻，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11