一种基于多尺度上下文感知的多聚焦图像融合方法技术

本发明专利技术公开了一种基于多尺度上下文感知的多聚焦图像融合方法，包括：1数据准备与预处理、构建多尺度上下文感知网络，包括：编码器、粗定位解码器、感受野增强模块和多尺度特征交互模块，其中，编码器为视觉转换器，用于多尺度特征提取，解码器包括：卷积及激活函数，用于多尺度特征粗解码，感受野增强模块包括卷积及激活函数，用于特征感受野增强，多尺度特征交互模块包括：卷积及激活函数，用于多级特征融合；2对输入的多聚焦图像进行融合，包括：网络训练和多聚焦图像融合。本发明专利技术能充分利用不同散焦图像中的互补和冗余信息来融合出质量更好的全聚焦图像，为人眼观察提供质量较好的图像，同时给图像的识别、分割等计算机视觉任务提供支持。支持。支持。

【技术实现步骤摘要】
一种基于多尺度上下文感知的多聚焦图像融合方法


[0001]本专利技术涉及多聚焦图像融合
，具体涉及一种基于多尺度上下文感知的多聚焦图像融合方法。

技术介绍

[0002]由于摄像机的成像功能受限，通常很难拍摄到对所有物体都聚焦的图像。具体来说，摄像机受到景深的限制，只对景深内部的图像保持聚焦的状态，而景深外部的图像则会变得很模糊。因此，在当前的生产生活中，收集到的图像所包含的信息是不同的、不完整的，这些图像包含了不同的轮廓、纹理等特征信息，对于图像特征的分析是不方便的，但综合这些信息可以对图像场景内的目标有着更加全面、清晰的认识。因此,多聚焦图像融合的目的就是将这些重要信息提取出来并整合到一张图像当中。为了解决这一问题，可以选取多幅具有不同聚焦区域的图像，进行图像融合，获取全聚焦图像，从而可以弥补景深受限的不足，我们称这种技术为多聚焦图像融合。
[0003]多聚焦图像融合作为图像融合中的重要分支之一，主要目的就是将同一场景下不同聚焦区域的多张图像进行融合处理，获得对所有区域都清晰的全聚焦图像。现有的方法存在的问题，一是以传统方法为主的方法由人类手工设计提取特征和规则，约束性较强，鲁棒性比较差，在不同场景下的效果比较差，会出现聚焦区域误判和伪影，从而影响到最终的融合图像；另一种是深度学习为主的方法，比较依赖网络结构的设计，此前的方法大多以卷积为主，只关注局部特征信息的利用，缺忽略了全局信息，而且缺少对于多尺度的特征融合和交互。

技术实现思路

[0004]本专利技术为克服现有图像融合在多聚焦图像融合存在的问题，提供一种基于多尺度上下文感知的多聚焦图像融合方法，以期能充分利用不同聚焦区域图像的互补与冗余信息提供更好的图像特征表达，并重建出质量更高的全聚焦图像，从而为人眼观察提供质量较好的图像，同时给图像的识别、分类、分割等计算机视觉任务提供支持，从而辅助人眼识别和计算机分析处理等研究。
[0005]本专利技术为解决上述问题采用如下技术方案：
[0006]本专利技术一种基于多尺度上下文感知的多聚焦图像融合方法的特点在于，包括如下步骤：
[0007]步骤1：获取P对RGB多聚焦图像并转为灰度图像，记为和并作为训练集，其中，和分别表示第p对灰度图像中的前景聚焦图像和背景聚焦图像；将第p对灰度图像所对应的第p个真实地面掩膜作为第p个标签，记为G
p
，从而构建P对RGB多聚焦图像的标签集合{G1,G2,
…
,G
p
,
…
G
P
}；
[0008]步骤2：构建多尺度上下文感知网络，包括：编码器、粗定位解码器、感受野增强模
块和多尺度特征交互模块；
[0009]步骤2.1：所述编码器包括1个用于调整通道数的第一卷积块Conv3×3和Y个视觉转换器，其中，Conv3×3表示1个卷积核为3
×
3的卷积层与1个ReLU激活函数；
[0010]将第p对灰度图像和经过通道维度上的拼接后，输入多尺度上下文感知网络中，并经过编码器的第一卷积块Conv3×3的处理后，得到第p个输入特征I
p
，再依次经过Y个视觉转换器的处理后，相应得到第p对灰度图像对应的Y个初级特征图其中，表示第y个初级特征图；
[0011]步骤2.2：所述粗定位解码器由若干个多级跨尺度连接的第二卷积块Conv3×3和1个第一卷积块Conv1×1组成，并对Y个初级特征图进行M
R
个阶段的特征解码，得到第p个粗定位解码器特征和第p个初始决策图其中，Conv1×1表示1个卷积核为1
×
1的卷积层；
[0012]步骤2.3：所述感受野增强模块由4条结构相同但参数k和r不同的感受野增强支路以及5个第二卷积块Conv1×1、1个ReLU激活函数组成，其中，每条感受野增强支路均由1个非对称卷积块Conv1×
k
，1个非对称卷积块Conv
k
×1和1个第一跨步卷积块Conv
k
×
k,r
依次堆叠形成；其中，Conv1×
k
表示1个卷积核为1
×
k的非对称卷积层，Conv
k
×1表示1个卷积核为k
×
1的非对称卷积层，Conv
k
×
k,r
表示1个卷积核为k
×
k，步长为r的对称卷积层；
[0013]Y
‑
1个初级特征图并行输入到感受野增强模块中，其中，通过5个第二卷积块Conv1×1的调整通道后，得到5个输出特征将后4个输出特征图分别对应输入到4条感受野增强支路中进行处理，得到4个受野增强支路特征图再与进行通道维度上的拼接后，得到第y个融合特征图并再次输入第二卷积块Conv1×1进行调整通道后，得到调整后的第y个特征图将与相加并经过激活函数ReLU的处理后，得到最终输出的第y个感受野增强的特征图从而得到Y
‑
1个感受野增强的特征图
[0014]步骤2.4：所述多尺度特征交互模块由预处理模块、多尺度特征金字塔模块、第三卷积块Conv3×3组成，并依次对第p个粗定位解码器特征和第p个初始阶段决策图进行处理后，得到1
‑
Y
‑
1个感受野增强的特征图对应的第p个系列多尺度交互特征图与第p个系列决策图其中，表示第y个感受野增强的特征图，表示第p个系列多尺度交互特征图中第k阶段特征图，表示第p个系列决策图中第k阶段决策图；
[0015]步骤2.5：将第p个下采样决策图进行上采样处理后，得到第1个融合决策图分别与第p个系列决策图逐级相加后，得到第p个系列融合
决策图其中，表示第p对灰度图像和的第k个融合决策图；
[0016]步骤2.6：经过上采样操作和Sigmoid激活函数的处理后，得到第p个多级输出决策图其中，表示第p对灰度图像和的第k个输出决策图，将作为第p对灰度图像和的最终决策图；
[0017]步骤3：利用式(1)构建损失函数
[0018][0019]式(1)中，L
wBCE
表示加权二元交叉熵损失，L
wIOU
表示加权交并比损失；
[0020]利用式(2)构建多尺度上下文感知网络的总损失函数L
total
：
[0021][0022]步骤4：基于所述训练集，采用反向传播算法对所述多尺度上下文感知网络进行训练，并计算所述总损失函数L
total
以调整网络参数，直到达到最大迭代次数为止，从而得到训练好的多尺度上下文感知网络；
[0023]步骤5：利用最终决策图取反后，得到反向决策图分别将最终决策图与反向决策图与进行逐像素相乘后，得到部分清晰图像与将部分清晰图像与进行逐像素相加，从而获得第p对灰度图像和的预测的全聚焦图像
[0024]本专利技术所述的一种基于多尺度上下文感知的多聚焦图像融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度上下文感知的多聚焦图像融合方法，其特征在于，包括如下步骤：步骤1：获取P对RGB多聚焦图像并转为灰度图像，记为和并作为训练集，其中，和分别表示第p对灰度图像中的前景聚焦图像和背景聚焦图像；将第p对灰度图像所对应的第p个真实地面掩膜作为第p个标签，记为G
p
，从而构建P对RGB多聚焦图像的标签集合{G1,G2,
…
,G
p
,
…
G
P
}；步骤2：构建多尺度上下文感知网络，包括：编码器、粗定位解码器、感受野增强模块和多尺度特征交互模块；步骤2.1：所述编码器包括1个用于调整通道数的第一卷积块Conv3×3和Y个视觉转换器，其中，Conv3×3表示1个卷积核为3
×
3的卷积层与1个ReLU激活函数；将第p对灰度图像和经过通道维度上的拼接后，输入多尺度上下文感知网络中，并经过编码器的第一卷积块Conv3×3的处理后，得到第p个输入特征I
p
，再依次经过Y个视觉转换器的处理后，相应得到第p对灰度图像对应的Y个初级特征图其中，表示第y个初级特征图；步骤2.2：所述粗定位解码器由若干个多级跨尺度连接的第二卷积块Conv3×3和1个第一卷积块Conv1×1组成，并对Y个初级特征图进行M
R
个阶段的特征解码，得到第p个粗定位解码器特征和第p个初始决策图其中，Conv1×1表示1个卷积核为1
×
1的卷积层；步骤2.3：所述感受野增强模块由4条结构相同但参数k和r不同的感受野增强支路以及5个第二卷积块Conv1×1、1个ReLU激活函数组成，其中，每条感受野增强支路均由1个非对称卷积块Conv1×
k
，1个非对称卷积块Conv
k
×1和1个第一跨步卷积块Conv
k
×
k,r
依次堆叠形成；其中，Conv1×
k
表示1个卷积核为1
×
k的非对称卷积层，Conv
k
×1表示1个卷积核为k
×
1的非对称卷积层，Conv
k
×
k,r
表示1个卷积核为k
×
k，步长为r的对称卷积层；Y
‑
1个初级特征图并行输入到感受野增强模块中，其中，通过5个第二卷积块Conv1×1的调整通道后，得到5个输出特征将后4个输出特征图分别对应输入到4条感受野增强支路中进行处理，得到4个受野增强支路特征图再与进行通道维度上的拼接后，得到第y个融合特征图并再次输入第二卷积块Conv1×1进行调整通道后，得到调整后的第y个特征图将与相加并经过激活函数ReLU的处理后，得到最终输出的第y个感受野增强的特征图从而得到Y
‑
1个感受野增强的特征图步骤2.4：所述多尺度特征交互模块由预处理模块、多尺度特征金字塔模块、第三卷积块Conv3×3组成，并依次对第p个粗定位解码器特征和第p个初始阶段决策图进行处
理后，得到1
‑
Y
‑
1个感受野增强的特征图对应的第p个系列多尺度交互特征图与第p个系列决策图其中，表示第y个感受野增强的特征图，表示第p个系列多尺度交互特征图中第k阶段特征图，表示第p个系列决策图中第k阶段决策图；步骤2.5：将第p个下采样决策图进行上采样处理后，得到第1个融合决策图分别与第p个系列决策图逐级相加后，得到第p个系列融合决策图其中，表示第p对灰度图像和的第k个融合决策图；步骤2.6：经过上采样操作和Sigmoid激活函数的处理后，得到第p个多级输出决策图其中，表示第p对灰度图像和的第k个输出决策图，将作为第p对灰度图像和的最终决策图；步骤3：利用式(1)构建损失函数步骤3：利用式(1)构建损失函数式(1)中，L
wBCE
表示加权二元交叉熵损失，L
wIOU
表示加权交并比损失；利用式(2)构建多尺度上下文感知网络的总损失函数L
total
：步骤4：基于所述训练集，采用反向传播算法对所述多尺度上下文感知网络进行训练，并计算所述总损失函数L
total
以调整网络参数，直到达到最大迭代次数为止，从而得到训练好的多尺度上下文感知网络；步骤5：利用最终决策图取反后，得到反向决策图分别将最终决策图与反向决策图与进行逐像素相乘后，得到部分清晰图像与将部分清晰图像与进行逐像素相加，从而获得第p对灰度图像和的预测的全聚焦图像2.根据权利要求1所述的一种基于多尺度上下文感知的多聚焦图像融合方法，其特征在于，所述步骤2.2包括：步骤2.2.1、当r＝1时，所述粗定位解码器处于第M
r
个阶段，并对第Y个初级特征图分别进行两次不同权重的上采样操作，使得和的尺寸相同，并得到第r个上采样特征图和第r+1个上采样特征图后，分别输入第r个、r+1个第二卷积块Conv3×3中进行处理，并得到第r和r+1个特征图和将与相乘后，再与在通道维度上进行拼接，并依次经过第r+2个、第r+3个第二卷积块Conv3×3的处理后，得到第M
r
个阶段输出特征
当r＝2时，所述粗定位解码器处于第M
r
个阶段，对第Y个初级特征图和第Y
‑
1个初级特征图分别进行上采样操作，使得和的尺寸与的尺寸相同，并得到第r+1个上采样特征图和第r+2个上采样特征图后，输入第r+3个、r+4个第二卷积块Conv3×3中进行处理，并得到第r+1个和r+2个特征图和将与相乘后，再与在通道维度上进行拼接，并依次经过第r+5个、第r+6个第二卷积块Conv3×3的处理后，得到第M
r
个阶段输出特征当r＝3,4,
…

【专利技术属性】
技术研发人员：刘羽，齐争争，成娟，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：