一种基于特征聚合的RGBD显著性检测方法技术

本发明专利技术提供一种基于特征聚合的RGBD显著性检测方法，首先对输入图像进行预处理；然后构建显著性检测网络；显著性检测网络包括特征提取网络和特征聚合网络。特征提取网络为一对基于ResNet50构建的非对称双流主干网络，分为RGB图像特征提取分支和深度图像特征提取分支。特征聚合网络包括K近邻GNNs、区域增强模块、分级融合模块、分块Non‑local模块。最后训练显著性检测网络，通过训练好的显著性检测网络进行显著性检测；本发明专利技术高效地联合推理了2D外观和3D几何信息，充分融合了来自于RGB图像和深度图像这两种不同模态的信息，通过分级融合模块进一步提升了模型的多尺度表达能力，使得粗糙级别的特征和精细级别的特征很好地融合在一起。

【技术实现步骤摘要】
一种基于特征聚合的RGBD显著性检测方法
该基于特征聚合的RGBD显著性检测方法属于计算机视觉领域，特别是利用卷积神经网络来聚合RGB图像和深度图像中所包含的不同模态的特征信息。
技术介绍
随着计算机视觉的快速发展和人工智能浪潮的来袭，深度学习技术得到了广泛的应用。利用计算机技术来模拟人眼的注意力机制成为了一个新兴且极具挑战性的研究热点。视觉显著性是指人类在观察某一区域时视野中存在能够引起人类视觉关注的局部区域，该局部区域被称为显著区域。显著性检测主要用于凸显图像或者视频中的显著区域。总体来说，显著性检测广泛应用于图像分割、对象识别、视频编码等领域，开展相关研究工作具有十分重要的实际意义。目前，已经陆续提出了许多针对RGB图像的显著性检测模型，但是在某些复杂场景中，例如前景和背景相似、光照强度低等，其整体表现仍差强人意。随着传感器技术的不断发展，深度传感器(MicrosoftKinect和IntelRealSense等)采集到的深度信息在一定程度上解决了这一问题。因此，在RGB显著性检测的基础上引入蕴含丰富空间结构信息的深度特征，即RG本文档来自技高网...

【技术保护点】
1.一种基于特征聚合的RGBD显著性检测方法，其特征在于，步骤如下：/n步骤1、对输入图像进行预处理；/n通过HHA算法将深度图像由单通道编码为三通道的表示形式；同时，模拟类似于点云的数据结构，将深度信息从2D像素转换成3D点云；/n步骤2、构建显著性检测网络；/n显著性检测网络包括特征提取网络和特征聚合网络；/n所述的特征提取网络为一对基于ResNet50构建的非对称双流主干网络，分为RGB图像特征提取分支和深度图像特征提取分支，分别用于提取RGB图像和深度图像的多级外观和几何特征；通过特征提取网络提取得到多级外观特征和多级几何特征；/n所述的特征聚合网络包括K近邻GNNs、区域增强模块、分...

【技术特征摘要】
1.一种基于特征聚合的RGBD显著性检测方法，其特征在于，步骤如下：
步骤1、对输入图像进行预处理；
通过HHA算法将深度图像由单通道编码为三通道的表示形式；同时，模拟类似于点云的数据结构，将深度信息从2D像素转换成3D点云；
步骤2、构建显著性检测网络；
显著性检测网络包括特征提取网络和特征聚合网络；
所述的特征提取网络为一对基于ResNet50构建的非对称双流主干网络，分为RGB图像特征提取分支和深度图像特征提取分支，分别用于提取RGB图像和深度图像的多级外观和几何特征；通过特征提取网络提取得到多级外观特征和多级几何特征；
所述的特征聚合网络包括K近邻GNNs、区域增强模块、分级融合模块、分块Non-local模块；
构建的K近邻GNNs，分别将点云中的点与对应的双流CNNs输出的特征相关联，并以此作为图模型节点的初始状态；在迭代更新的过程中，每一个节点的状态由其自身的历史状态和相邻节点的状态共同决定；
设计基于注意力机制的区域增强模块，在进行跨模态特征初步融合的同时实现粗略地定位显著区域；区域增强模块可以分别强化显著区域与非显著区域，进而为前景和背景的预测提供可靠的模版；
通过分级融合模块，利用基于池化的结构提升模型的多尺度表达能力；
分级融合模块内部通过并行的不同尺度的池化操作来提取不同尺度的特征，进而与相应级别的初步融合特征进行深度融合；多个分级融合模块实现了较深层高级语义信息和较浅层局部细节信息的逐步融合，使得模型在复杂场景下更具鲁棒性；
特征聚合网络在融合外观特征和几何特征的基础上进一步聚合了来自K近邻GNNs的空间几何特征，并以注意力和多尺度的方式逐步地强化了显著性特征；最后，在真值图的约束下生成高质量的显著性图；
步骤3、训练显著性检测网络，通过训练好的显著性检测网络进行显著性检测。


2.根据权利要求1所述的进一步的，所述的一种基于特征聚合的RGBD显著性检测方法，其特征在于，步骤1具体方法如下：
输入图像包括深度图像和RGB图像，采用HHA算法将深度图像由单通道编码为三通道的表示形式，分别表征了水平视差、离地面的高度以及像素局部表面法线与推断的重力方向所成的角度，形成以RGB图像I和深度图像D作为模型输入的图像对。


3.根据权利要求2所述的进一步的，所述的一种基于特征聚合的RGBD显著性检测方法，其特征在于，进一步的，所述的特征提取网络为一对基于ResNet50构建的非对称双流主干网络，分为RGB图像特征提取分支和深度图像特征提取分支，分别用于提取RGB图像和深度图像的多级外观和几何特征；为了实现端到端的训练方式，丢弃特征提取网络最后的全连接层，其中RGB图像特征提取分支保留了5级卷积块，分别实现了2、4、8、16、16倍的下采样，而深度图像特征提取分支保留了3级卷积块，分别实现了2、4、8倍的下采样；通过特征提取网络提取得到多级外观特征和多级几何特征覆盖了低级空间细节和高级语义信息。


4.根据权利要求3所述的进一步的，所述的一种基于特征聚合的RGBD显著性检测方法，其特征在于，进一步的，所述的特征聚合网络采用K近邻图神经网络即K近邻GNNs解决RGBD显著性检测问题；对于给定的深度图像，为了降低计算复杂度和减少内存消耗，进行8倍下采样；利用经HHA算法计算得到的水平视差通道来模拟场景的空间结构，并以此构造有向图，其中将每一个像素视为一个图节点；在有向图构造完后，使用CNNs作为特征提取器计算每一个像素的特征，所述的像素的特征为外观特征，并将获得的外观特征作为相应节点的初始隐层状态
K近邻GNNs只随时间变化更新图中节点的隐层状态，故将...

【专利技术属性】
技术研发人员：颜成钢，温洪发，周晓飞，孙垚棋，张继勇，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33