一种基于特征细化的跨模态融合显著性检测方法技术

本发明专利技术公开了一种基于特性细化的跨模态融合显著性检测方法，应用于深度学习技术领域，具体步骤包括：选取Q幅原始立体图像的RGB图、深度图和对应的真实人眼注释图构成训练集；构建卷积神经网络，所述卷积神经网络利用边缘指导模块处理边缘特征，并利用特征细化模块细化特征；将RGB图和深度图作为输入，输入到所述卷积神经网络中进行训练，得到显著性预测结果图；计算训练得到的的显著性预测图构成的集合与对应的真实人眼注视图构成的集合之间的损失函数值；重复训练并计算损失函数值，确定最优权值矢量和最优偏置项。本发明专利技术能够有效针对不同类型的图像进行特征提取，结合跨模态的融合方式，能够显著提高检测图像中显著性区域的效率。

【技术实现步骤摘要】
一种基于特征细化的跨模态融合显著性检测方法
本专利技术涉及深度学习
，更具体的说是涉及一种基于特性细化的跨模态融合显著性检测方法。
技术介绍
随着科学技术和多媒体技术的发展，人们在日常生活中产生的多媒体数据，尤其是图像数据呈指数级增长。海量的图像数据除了使人们的日常生活变得丰富多彩和便利之外，也给计算机视觉处理技术提出了新的挑战。大部分图像中只包含了少量重要的信息，人眼视觉系统则具有从大量数据中找出少量重要信息并进行进一步分析和处理的能力。计算机视觉是指使用计算机模拟人眼视觉系统的机理，并使其可以像人类一样视察与理解事物，其中的一个关键问题为便是显著性检测。近年来，视觉显著性检测技术在目标检测、目标分割、图像融合、图像压缩等领域有着非常重要的应用价值。然而，如何通过模拟人类视觉系统来设计更好的视觉显著性检测模型仍然是计算机视觉任务中备受关注的问题。早期的显著性检测方法由于主要针对图像的颜色、纹理、对比度等手工特征进行先验式模拟，这些手工特征缺乏对图像中对象特征及其周围环境的高级语义信息的挖掘，故而其显著性检测的精度在一定程度上受到本文档来自技高网...

【技术保护点】
1.一种基于特性细化的跨模态融合显著性检测方法，其特征在于，具体步骤包括：/n选取Q幅原始立体图像的RGB图、深度图和对应的真实人眼注释图构成训练集；/n构建卷积神经网络，所述卷积神经网络利用边缘指导模块处理边缘特征，并利用特征细化模块细化特征；/n将训练集中的原始立体图像的RGB图和深度图作为输入，输入到所述卷积神经网络中进行训练，得到显著性预测结果图；/n计算训练得到的的显著性预测图构成的集合与对应的真实人眼注视图构成的集合之间的损失函数值；/n重复训练并计算损失函数值，确定最优权值矢量和最优偏置项。/n

【技术特征摘要】
1.一种基于特性细化的跨模态融合显著性检测方法，其特征在于，具体步骤包括：
选取Q幅原始立体图像的RGB图、深度图和对应的真实人眼注释图构成训练集；
构建卷积神经网络，所述卷积神经网络利用边缘指导模块处理边缘特征，并利用特征细化模块细化特征；
将训练集中的原始立体图像的RGB图和深度图作为输入，输入到所述卷积神经网络中进行训练，得到显著性预测结果图；
计算训练得到的的显著性预测图构成的集合与对应的真实人眼注视图构成的集合之间的损失函数值；
重复训练并计算损失函数值，确定最优权值矢量和最优偏置项。


2.根据权利要求1所述的一种基于特性细化的跨模态融合显著性检测方法，其特征在于，采用独热编码技术将训练集中的深度图像处理成与所述RGB图具有三通道的图像。


3.根据权利要求1所述的一种基于特性细化的跨模态融合显著性检测方法，其特征在于，所述卷积神经网络包括：输入层、隐层和输出层；
其中，所述输入层以原始立体图像的RGB图和深度图作为输入；
所述隐层针对RGB图和深度图进行特征提取，得到特征图；以所述特征图为输入进行特征细化和边缘特征处理；
所述输出层输出显著性预测图。


4.根据权利要求1所述的一种基于特性细化的跨模态...

【专利技术属性】
技术研发人员：周武杰，刘文宇，雷景生，强芳芳，杨胜英，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33