一种制造技术

本发明专利技术涉及图像处理技术领域，提供了一种

【技术实现步骤摘要】
一种RGB
‑
D显著性物体检测、语义分割方法及系统


[0001]本专利技术涉及图像处理
，尤其涉及一种
RGB
‑
D
显著性物体检测
、
语义分割方法及系统
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]显著性物体检测旨在模拟人类视觉系统，在图像中定位最吸引人注意力的物体
。
显著性检测可应用于多种视觉任务，如视频
、
图像的检索
、
压缩
、
编辑，目标分割，跟踪等
。
语义分割是计算机视觉中很重要的一个方向
。
不同于目标检测和识别，语义分割实现了图像像素级的分类
。
它能够将一张图片或者视频
(
视频以帧来提取的话其实就是图片
)
，按照类别的异同，将图像分为多个块，一般应用在自动驾驶和医学影像诊断等领域
。
[0004]目前基于深度学习的显著性物体检测或基于深度学习的语义分割任务，采用
RGB
图像对神经网络进行训练；在应用时，基于
RGB
图像和深度图像，分别采用两个训练好的神经网络，并神经网络检测或分割过程中，将两个训练好的神经网络的输出结果进行交互，以此来充分交互不同层次的
RGB
‑
D
特征；经解码器后，得到显著性物体或分割后的目标物体
。
[0005]可见，现有的方法使用了
RGB
图像预训练或者随机初始化的编码器来编码深度信息，但这种编码方式无法充分的利用深度信息
。

技术实现思路

[0006]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种
RGB
‑
D
显著性物体检测
、
语义分割方法及系统，其能够充分提取并交互
RGB
‑
D
信息，提高
RGB
‑
D
场景理解的精准性，提高了显著性物体检测精度和语义分割精度
。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]本专利技术的第一个方面提供一种
RGB
‑
D
显著性物体检测方法
。
[0009]一种
RGB
‑
D
显著性物体检测方法，包括：
[0010]获取待检测图片的
RGB
图片和深度图；
[0011]基于待检测图片的
RGB
图片和深度图，采用已训练的
RGB
‑
D
检测模型，得到
RGB
‑
D
显著性物体检测结果；
[0012]其中，所述
RGB
‑
D
检测模型包括编码器和解码器；所述编码器包括多个
RGB
‑
D
块；在每个
RGB
‑
D
块中，基于
RGB
特征图和深度特征图，采用跨模态注意力机制，得到跨模态注意力特征图，同时对深度特征图进行深度可分离卷积后，与
RGB
特征图进行逻辑运算，得到局部增强特征图；
[0013]将跨模态注意力特征图
、
局部增强特征图和
RGB
特征图的捷径特征图，进行线性处理，得到
RGB
输出结果和深度输出结果；并将
RGB
输出结果和深度输出结果作为下一个
RGB
‑
D
块的输入，重复上述过程，得到多层次的
RGB
输出结果和深度输出结果，进行合并处理，经解
码器，得到
RGB
‑
D
显著性物体检测结果
。
[0014]进一步地，所述对深度特征图进行深度可分离卷积后，与
RGB
特征图进行逻辑运算，得到局部增强特征图的过程采用局部特征增强模块实现；每个所述
RGB
‑
D
块包括一个跨模态注意力机制和一个局部特征增强模块
。
[0015]进一步地，所述
RGB
特征图的捷径特征图通过将
RGB
特征图进行
shortcut
处理得到
。
[0016]本专利技术的第二个方面提供一种
RGB
‑
D
显著性物体检测系统
。
[0017]本专利技术的第二个方面提供一种
RGB
‑
D
显著性物体检测系统
。
[0018]一种
RGB
‑
D
显著性物体检测系统，包括：
[0019]数据获取模块，其被配置为：获取待检测图片的
RGB
图片和深度图；
[0020]检测模块，其被配置为：基于待检测图片的
RGB
图片和深度图，采用已训练的
RGB
‑
D
检测模型，得到
RGB
‑
D
显著性物体检测结果；
[0021]RGB
‑
D
检测模型模块，其被配置为：包括编码器和解码器；所述编码器包括多个
RGB
‑
D
块；在每个
RGB
‑
D
块中，基于
RGB
特征图和深度特征图，采用跨模态注意力机制，得到跨模态注意力特征图，同时对深度特征图进行深度可分离卷积后，与
RGB
特征图进行逻辑运算，得到局部增强特征图；将跨模态注意力特征图
、
局部增强特征图和
RGB
特征图的捷径特征图，进行线性处理，得到
RGB
输出结果和深度输出结果；并将
RGB
输出结果和深度输出结果作为下一个
RGB
‑
D
块的输入，重复上述过程，得到多层次的
RGB
输出结果和深度输出结果，进行合并处理，经解码器，得到
RGB
‑
D
显著性物体检测结果
。
[0022]本专利技术的第三个方面提供一种
RGB
‑
D
语义分割方法
。
[0023]一种
RGB
‑
D
语义分割方法，包括：
[0024]获取待分割图片的
RGB
图片和深度图；
[0025]基于待分割图片的
RGB
图片和深度图，采用已训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种
RGB
‑
D
显著性物体检测方法，其特征在于，包括：获取待检测图片的
RGB
图片和深度图；基于待检测图片的
RGB
图片和深度图，采用已训练的
RGB
‑
D
检测模型，得到
RGB
‑
D
显著性物体检测结果；其中，所述
RGB
‑
D
检测模型包括编码器和解码器；所述编码器包括多个
RGB
‑
D
块；在每个
RGB
‑
D
块中，基于
RGB
特征图和深度特征图，采用跨模态注意力机制，得到跨模态注意力特征图，同时对深度特征图进行深度可分离卷积后，与
RGB
特征图进行逻辑运算，得到局部增强特征图；将跨模态注意力特征图
、
局部增强特征图和
RGB
特征图的捷径特征图，进行线性处理，得到
RGB
输出结果和深度输出结果；并将
RGB
输出结果和深度输出结果作为下一个
RGB
‑
D
块的输入，重复上述过程，得到多层次的
RGB
输出结果和深度输出结果，进行合并处理，经解码器，得到
RGB
‑
D
显著性物体检测结果
。2.
根据权利要求1所述的
RGB
‑
D
显著性物体检测方法，其特征在于，所述对深度特征图进行深度可分离卷积后，与
RGB
特征图进行逻辑运算，得到局部增强特征图的过程采用局部特征增强模块实现；每个所述
RGB
‑
D
块包括一个跨模态注意力机制和一个局部特征增强模块
。3.
根据权利要求1所述的
RGB
‑
D
显著性物体检测方法，其特征在于，所述
RGB
特征图的捷径特征图通过将
RGB
特征图进行
shortcut
处理得到
。4.
一种
RGB
‑
D
显著性物体检测系统，其特征在于，包括：数据获取模块，其被配置为：获取待检测图片的
RGB
图片和深度图；检测模块，其被配置为：基于待检测图片的
RGB
图片和深度图，采用已训练的
RGB
‑
D
检测模型，得到
RGB
‑
D
显著性物体检测结果；
RGB
‑
D
检测模型模块，其被配置为：包括编码器和解码器；所述编码器包括多个
RGB
‑
D
块；在每个
RGB
‑
D
块中，基于
RGB
特征图和深度特征图，采用跨模态注意力机制，得到跨模态注意力特征图，同时对深度特征图进行深度可分离卷积后，与
RGB
特征图进行逻辑运算，得到局部增强特征图；将跨模态注意力特征图
、
局部增强特征图和
RGB
特征图的捷径特征图，进行线性处理，得到
RGB
输出结果和深度输出结果；并将
RGB
输出结果和深度输出结果作为下一个
RGB
‑
D
块的输入，重复上述过程，得到多层次的
RGB
输出结果和深度输出结果，进行合并处理，经解码器，得到
RGB
‑
D
显著性物体检测结果
。5.
一种
RGB
‑
D
语义分割方法，其特征在于，包括：获取待分割图片的
RGB
图片和深度图；基于待分割图片的
RGB
图片和深度图，采用已训练的
RGB
‑
D
分割模型，得到
RGB
‑
...

【专利技术属性】
技术研发人员：尹博文，侯淇彬，张旭迎，李钟毓，程明明，
申请(专利权)人：南开大学，
类型：发明
国别省市：