一种基于卷积块注意模块的多模态融合显著性检测方法技术

本发明专利技术公开了一种基于卷积注意模块的多模态融合的显著性检测方法。本发明专利技术在训练阶段，构建卷积神经网络；使用原始图像的左视点图和深度图输入到卷积神经网络中进行训练，得到相应的显著性检测图；再通过计算模型生成的显著性检测图构成的集合与对应的真实人眼注视图构成的集合之间的损失函数，获得卷积神经网络分类训练模型的最优权值矢量和偏置项；在测试阶段，将选定数据集中的立体图像输入到训练好的卷积神经网络模型中，得到显著性检测的图像。本发明专利技术应用了新颖的模块优化图像特征的提取，进行多尺度、多方式的特征融合，最终提高了视觉显著性检测的检测效率和检测准确度。

【技术实现步骤摘要】
一种基于卷积块注意模块的多模态融合显著性检测方法
本专利技术涉及一种深度学习的视觉显著性检测方法，尤其是涉及一种基于卷积块注意模块的多模态融合显著性检测方法。
技术介绍
识别视野中的明显刺激是人类的一种重要的注意力机制，即在自由观看时，我们的眼睛会倾向于注意场景中在视觉刺激方面有独特的变化的区域，比如：明亮的颜色、特殊的纹理或者是更复杂的语义方面，这种机制引导我们的眼睛注视到场景中突出的信息、丰富的区域。对于人类视觉的这种机制，最早是神经科学家们展开的研究，其应用最广泛的是在医学治疗领域的影像检查，医学影像检查是进行后续有效诊疗的基础。近年来，计算机视觉也对此展开了研究，并且在计算机视觉领域，称此研究为显著性检测。显著性检测在计算机视觉应用领域取得了巨大的成功，例如：场景分类、视觉跟踪、目标重定向、语义分割等。早期的显著性检测方法采用手工特征，即主要针对图像颜色、纹理、对比度等进行先验式模拟近似人眼注视的显著性。随着显著性研究的深入，我们发现这些手工特征已经不足以很好的捕获图像中的特征，因为这种手工特征未能提取到图像中的对象特征和其周围环境的高本文档来自技高网...

【技术保护点】
1.一种基于卷积块注意模块的多模态融合显著性检测方法，其特征在于，包括以下步骤：/n步骤1-1：选取N幅原始立体图像，将原始立体图像的左视点图、深度图和真实人眼注释图构成训练集；/n步骤1-2：构建卷积神经网络模型；/n步骤1-3：将训练集中原始立体图像的左视点图和深度图作为输入，输入到卷积神经网络模型中进行训练，训练过程中，每次迭代训练处理得到每幅原始立体图像的显著性检测图；计算每幅显著性检测图与训练集中对应的真实人眼注释图之间的损失函数值；/n步骤1-4：不断迭代训练重复共M次，共得到N×M个损失函数值，然后从N×M个损失函数值中找出值最小的损失函数值，接着将最小的损失函数值对应的权值矢量...

【技术特征摘要】
1.一种基于卷积块注意模块的多模态融合显著性检测方法，其特征在于，包括以下步骤：
步骤1-1：选取N幅原始立体图像，将原始立体图像的左视点图、深度图和真实人眼注释图构成训练集；
步骤1-2：构建卷积神经网络模型；
步骤1-3：将训练集中原始立体图像的左视点图和深度图作为输入，输入到卷积神经网络模型中进行训练，训练过程中，每次迭代训练处理得到每幅原始立体图像的显著性检测图；计算每幅显著性检测图与训练集中对应的真实人眼注释图之间的损失函数值；
步骤1-4：不断迭代训练重复共M次，共得到N×M个损失函数值，然后从N×M个损失函数值中找出值最小的损失函数值，接着将最小的损失函数值对应的权值矢量和偏置项作为卷积神经网络模型的最优权值矢量和最优偏置项，从而完成卷积神经网络模型的训练；
步骤1-5：将待测立体图像的左视点图和深度图输入步骤1-4训练后的卷积神经网络模型进行预测处理，输出获得对应的显著性检测图像，实现图像的显著性检测。


2.根据权利要求1所述的一种基于卷积块注意模块的多模态融合显著性检测方法，其特征在于：所述步骤1-2中，卷积神经网络包括输入层、隐层和总输出层；输入层包括RGB图输入层和深度图输入层；隐层包括前处理模块、特征融合模块，前处理模块包括深度图前处理模块和RGB图前处理模块；深度图输入层和RGB图输入层分别输入深度图前处理模块和RGB图前处理模块；
深度图前处理模块和RGB图前处理模块均包括五个神经网络块、两个卷积块注意CBAM模块和一个金字塔式带空卷积PDC模块，第一个神经网络块依次经第二个神经网络块、第三个神经网络块、第四个神经网络块输出至第五个神经网络块，第一个卷积块注意模块的输入为第三个神经网络块输出，第二个卷积块注意模块的输入为第四个神经网络块的输出，金字塔式带空卷积模块的输入为第五个神经网络块的输出；
特征融合模块包括三个卷积块、一个卷积层、四个反卷积层和一个反卷积块，三个卷积块分别为第一个卷积块、第二个卷积块和第三个卷积块，四个反卷积层分别为第一个反卷积层、第二个反卷积层、第三个反卷积层和第四个反卷积层；
深度图前处理模块中第一个卷积块注意模块经第一个卷积块的输出与深度图前处理模块中第三个神经网络块的输出以乘的形式融合后输出特征图集合Z1，深度图前处理模块中的金字塔式带空卷积模块经第二个卷积块的输出与深度图前处理模块中第四个神经网络块的输出以乘的形式融合后输出特征图集合Z2，深度图前处理模块中第二个卷积块注意模块经第三个卷积块的输出与深度图前处理模块中第五个神经网络块的输出以乘的形式融合后输出特征图集合Z3；
RGB图前处理模块中第一个卷积块注意模块经第一个卷积块的输出与RGB图前处理模块中第三个神经网络块的输出以乘的形式融合后输出特征图集合Y1，RGB图前处理模块中的金字塔式带空卷积模块经第二个卷积块的输出与RGB图前处理模块中第四个神经网络块的输...

【专利技术属性】
技术研发人员：周武杰，刘文宇，雷景生，钱亚冠，王海江，何成，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33