RGB-D图像显著性目标检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种RGB‑D图像显著性目标检测方法、装置、设备及计算机可读存储介质，所述RGB‑D图像显著性目标检测方法通过采用注意力机制，而非直接使用与融合分层RGB模态特征与分层深度模态特征的方式，避免了模态特征中无用或冗余信息的引入，提升了显著性目标检测的性能；通过设计跨模态指导策略来进行多阶段跨模态特征融合，使得能够充分利用跨模态多特征之间的有效性与互补性，在降低质量不佳的深度图像影响的同时，形成更准确的跨模态显著特征表达；通过设计一种双向融合结构，将所述多层级跨模态融合特征进行多尺度融合，能够有效地聚合多层级中的高低层级特征，进一步提升了显著性目标检测性能以及检测算法的鲁棒性。

【技术实现步骤摘要】
RGB-D图像显著性目标检测方法、装置、设备及存储介质
本专利技术涉及图像处理
，尤其涉及一种RGB-D图像显著性目标检测方法、装置、设备及计算机可读存储介质。
技术介绍
随着计算机图像处理技术的快速发展，现有的对于RGB-D图像的显著性目标检测方式主要有两种，一种是基于手工特征提取技术与先验知识的方式。此类方式一般是通过计算RGB图像和深度图像中的先验，例如背景先验，中心先验与深度先验等，然后通过不同区域的颜色、亮度、纹理和深度等特征对比，并通过乘法或加法等方式和一些后处理技术进行融合，从而检测显著性目标；另一种是基于深度学习技术的方式。此类方式一般可分为早期、中期和后期融合。早期融合一般是将RGB图像与深度图像通过单独的浅层网络提取特征然后进行融合，输入到后续的单流网络学习高级特征。中期融合通常通过双流网络提取分层特征实现跨模态融合。后期融合是将最深层的特征信息组合生成一个融合的显著图。而随着深度相机和便携式智能设备的广泛应用，在机器人导航和航海等场景中利用RGB-D图像进行显著性检测也更加普及。由于深度图质量容易受传感器温度，背景照本文档来自技高网...

【技术保护点】
1.一种RGB-D图像显著性目标检测方法，其特征在于，所述RGB-D图像包括待检测的RGB图像，以及与所述RGB图像相配准的深度图像，所述RGB-D图像显著性目标检测方法包括：/n获取所述RGB图像的分层RGB模态特征，以及所述深度图像的分层深度模态特征；/n基于注意力机制与跨模态指导策略，将所述分层RGB模态特征与所述分层深度模态特征进行多阶段跨模态特征融合，得到所述分层RGB模态特征与所述分层深度模态特征的多层级跨模态融合特征；/n基于双向融合结构将所述多层级跨模态融合特征进行双向融合，得到不同尺度的分层显著融合特征，并对所述分层显著融合特征进行多尺度融合，以得到与所述RGB图像以及所述深...

【技术特征摘要】
1.一种RGB-D图像显著性目标检测方法，其特征在于，所述RGB-D图像包括待检测的RGB图像，以及与所述RGB图像相配准的深度图像，所述RGB-D图像显著性目标检测方法包括：
获取所述RGB图像的分层RGB模态特征，以及所述深度图像的分层深度模态特征；
基于注意力机制与跨模态指导策略，将所述分层RGB模态特征与所述分层深度模态特征进行多阶段跨模态特征融合，得到所述分层RGB模态特征与所述分层深度模态特征的多层级跨模态融合特征；
基于双向融合结构将所述多层级跨模态融合特征进行双向融合，得到不同尺度的分层显著融合特征，并对所述分层显著融合特征进行多尺度融合，以得到与所述RGB图像以及所述深度图像对应的显著目标图像。


2.如权利要求1所述的RGB-D图像显著性目标检测方法，其特征在于，所述基于注意力机制与跨模态指导策略，将所述分层RGB模态特征与所述分层深度模态特征进行多阶段跨模态特征融合，得到所述分层RGB模态特征与所述分层深度模态特征的多层级跨模态融合特征的步骤包括：
在第一阶段，分别使用空间注意力机制对所述分层RGB模态特征与所述分层深度模态特征进行特征筛选，得到所述分层RGB模态特征的RGB显著特征响应以及所述分层深度模态特征的深度显著特征响应；
基于跨模态指导策略，利用所述RGB显著特征响应指导所述分层深度模态特征进行特征重筛选，以得到RGB深度显著特征响应；
在第二阶段，将所述RGB显著特征响应、深度显著特征响应与RGB深度显著特征响应进行对抗组合，得到多个对抗特征，以将多个所述对抗特征融合为所述分层RGB模态特征与所述分层深度模态特征的多层级跨模态融合特征。


3.如权利要求2所述的RGB-D图像显著性目标检测方法，其特征在于，所述基于跨模态指导策略，利用所述RGB显著特征响应指导所述分层深度模态特征进行特征重筛选，以得到RGB深度显著特征响应的步骤包括：
将所述分层深度模态特征进行并行非对称卷积，以粗略定位所述分层深度模态特征中的初步显著区域；
基于所述跨模态指导策略，利用所述RGB特征响应对所述初步显著区域进行融合指导，以定位所述初步显著区域中的目标显著区域；
获取已定位所述目标显著区域的分层深度模态特征所对应的特征权重，并根据所述特征权重，将所述已定位所述目标显著区域的分层深度模态特征与所述分层深度模态特征进行加权融合输出，以作为所述RGB深度显著特征响应。


4.如权利要求2所述的RGB-D图像显著性目标检测方法，其特征在于，所述在第二阶段，将所述RGB显著特征响应、深度显著特征响应与RGB深度显著特征响应进行对抗组合，得到多个对抗特征，以将多个所述对抗特征融合为所述分层RGB模态特征与所述分层深度模态特征的多层级跨模态融合特征的步骤包括：
在第二阶段，使用乘法将所述RGB显著特征响应、深度显著特征响应与RGB深度显著特征响应进行对抗组合，得到多个所述对抗特征；
使用并行的池化操作分别为多个所述对抗特征分配不同权重，并对多个分配不同权重后的对抗特征进行卷积与相加融合操作，得到所述多层级跨模态融合特征。


5.如权利要求1所述的RGB-D图像显著性目标检测方法，其特征在于，所述基于双向融合结构将所述多层级跨模态融合特征进行双向融合，得到不同尺度的分层显著融合特征，并对所述分层显著融合特征进...

【专利技术属性】
技术研发人员：高伟，廖桂标，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：广东;44