基于局部特征提取和语义分割的RGB-D SOD方法技术

基于局部特征提取和语义分割的RGB‑D SOD方法，属于图像显著性检测技术领域，为了解决现有的显著性提取方法精度较低的问题，该方法包括：步骤1，构建网络模型：整个网络基于编码器‑解码器结构模型的框架设计；步骤2，准备数据集：选择常用的RGB‑D图片构建数据集；步骤3，训练网络模型：将步骤2中准备好的数据集输入到步骤1构建好的网络模型中进行训练；步骤4，选择最小化损失函数值和最优评估指标；步骤5，保存模型：将最终确定的模型参数进行固化；如果进行RGB‑D图像显著性检测操作时，直接将彩色图和深度图输入到网络中即可得到最终的显著图。本发明专利技术精度更高可以很好地应用到机器人技术中去，通用性更强。

【技术实现步骤摘要】

本专利技术涉及一种基于局部特征提取和语义分割的rgb-d sod(salient objectdetection)方法，属于图像显著性检测。

技术介绍

1、显著目标检测(sod)旨在模拟生物视觉，捕捉图像中最重要的部分。它被广泛应用于许多下游任务，如目标检测、图像分类、语义分割、共同显著性检测、目标跟踪等。sod模型通常用于完成以下两个任务：1、检测最显著的目标。2、分割该目标的准确区域。为了提高上述两项任务的有效性，通常在显著性检测中使用内在和外在线索。深度图是一种外在线索，可以提高显著性模型的有效性。深度相机的出现让用户可以更容易地访问当前场景的深度图。可以选择合适的特征提取器和融合方案，使深度信息更好地在显著性提取中发挥作用。显著性模型可以利用边缘信息、多尺度聚合、完整性和上下文来提取显著性对象。这些方法都不同程度地提高了显著性建模的有效性。然而，现有模型对于外部线索的利用方式，尤其是对于彩色图和深度图的融合方案和对于图像语义分割的方法过于粗糙，其结果仍然不能令人满意。

2、bbs-net是一种国际公认的优秀显著性检测模型。参见期刊“ch本文档来自技高网...

【技术保护点】

1.基于局部特征提取和语义分割的RGB-D SOD方法，其特征是，该方法包括如下步骤：

2.根据权利要求1所述的基于局部特征提取和语义分割的RGB-D SOD方法，其特征在于，所述解码器部分包含：MFE模块、SSE模块和LGE模块；

3.根据权利要求1所述的基于局部特征提取和语义分割的RGB-D SOD方法，其特征在于，所述步骤2为根据对比网络BBS-Net收集相同的RGB-D显著性数据集，使用NJU2K、NLPR、STERE、LFSD、SSD和SIP；通过对数据集中图像进行有监督的训练；对数据集的图片进行图像增强，将同一组图片进行归一化、随机裁剪、随机翻转，作为...

【技术特征摘要】

1.基于局部特征提取和语义分割的rgb-d sod方法，其特征是，该方法包括如下步骤：

2.根据权利要求1所述的基于局部特征提取和语义分割的rgb-d sod方法，其特征在于，所述解码器部分包含：mfe模块、sse模块和lge模块；

3.根据权利要求1所述的基于局部特征提取和语义分割的rgb-d sod方法，其特征在于，所述步骤2为根据对比网络bbs-net收集相同的rgb-d显著性数据集，使用nju2k、nlpr、stere、lfsd、ssd和sip；通过对数据集中图像进行有监督的训练；对数据集的图片进行图像增强，将同一组图片进行归一化、随机裁剪、随机翻转，作为整个网络的输入，将数据集中做好标注的图片作为标签。

4.根据权利要求1所述的基于局部特征提取和语义分割的rgb-d sod方法，其特征在于，...

【专利技术属性】
技术研发人员：王璋，郑蕾娜，潘铁军，张润东，
申请(专利权)人：宁波大学科学技术学院，
类型：发明
国别省市：