一种基于特征校准的边缘阈值的RGB-D室内场景语义分割方法技术

本发明专利技术属于计算机视觉领域，提供了一种基于特征校准的边缘阈值的RGB‑D室内场景语义分割方法，其特征在于，该方法包括一下步骤：1)获取训练和测试该任务的RGB‑D数据集，并定义本发明专利技术的算法目标；2)利用深度学习技术，构建基于特征校准的边缘阈值并通过双编码器‑解码器结构构建RGB‑D语义分割网络模型；3)构建一个跨模态特征校准并实现边缘信息引导网络用于生成多模态特征；4)跨模态连接融合，再提取特征，增强多模态特征的高级语义信息；5)使用DeeplabV3+解码器，将编码器输出的特征图通过一系列的全连接层进行上采样和特征重建，并使用非线性激活函数(ReLU)增强模型的表达能力，最终得到与输入图像大小相同的分割结果Pest；6)预测的分割结果图Pest与人工标注的语义分割图PGT计算损失；7)对测试数据集进行测试，生成分割结果图Pest，并使用评价指标进行性能评估。

【技术实现步骤摘要】

：本专利技术涉及计算机视觉和图像处理领域，特别地涉及一种基于特征校准的边缘阈值的rgb-d室内场景语义分割方法。

技术介绍

0、
技术介绍
：

1、语义分割(semantic segmentation)是计算机视觉任务中一个关键方向，其重点是对不同类别目标进行精确的像素级分割,对不同像素分配预定义的类别标签。目前语义分割在自动驾驶和医学影像等领域得到广泛应用。

2、单一的模态的rgb语义分割在存在遮挡和光照变化等复杂场景时，仅适用单一模态的rgb图无法获取目标较好的几何信息，分割的准确率难以提高。而深度图可以提供目标的几何信息，弥补了单一模态下的这种缺陷，所以结合深度图的rgb-d语义分割越来越受关注。

3、rgb特征和深度特征分属两种不同模态，进行跨模态融合时会出现模态不匹配问题。深度图在早期是作为rgb图的第四通道进行融合，并且不考虑深度图的质量问题，融合效果较差。后期再用双支流结构，图像噪声得到抑制，但是依旧会丢失大量有用信息。在多级融合中，常使用在rgb分支和深度分支之外添加一个新的融合分支，但是计算参数增多，计算量本文档来自技高网...

【技术保护点】

1.一种基于特征校准的边缘阈值的RGB-D室内场景语义分割方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于特征校准的边缘阈值的RGB-D语义分割方法，其特征在于：所述步骤2具体方法是：

3.根据权利要求1所述的一种基于特征校准下边缘阈值的RGB-D语义分割方法，其特征在于：所述步骤3具体方法是：

4.根据权利要求1所述的一种基于特征校准下信息交互的RGB-D语义分割方法，其特征在于：所述步骤4具体方法是：

5.根据权利要求1所述的一种基于特征校准下信息交互的RGB-D语义分割方法，所述跨模态特征融合具体方法是：...

【技术特征摘要】

1.一种基于特征校准的边缘阈值的rgb-d室内场景语义分割方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于特征校准的边缘阈值的rgb-d语义分割方法，其特征在于：所述步骤2具体方法是：

3.根据权利要求1所述的一种基于特征校准下边缘阈值的rgb-d语义分割方法，其特征在于：所述步骤3具体方法是：

4.根据权利要求1所述的一种基于特征校准下信息交互的rgb-d语义分割方法，其特征在于：所述步骤4具体方法是：

5.根据权利要求1所述的一种基于特征校准下信息交互的rg...

【专利技术属性】
技术研发人员：葛斌，陆一鸣，夏晨星，朱序，陈宁洁，高梦亚，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：