基于编码器-解码器的RGB-D多尺度语义分割方法技术

本发明专利技术披露一种基于编码器‑解码器的RGB‑D多尺度语义分割方法。本发明专利技术对基本的编码器‑解码器架构进行改进，将编码器部分进行分支并引入RGB图像和深度图像进行特征融合，在根据对象的颜色及纹理属性识别过程中，利用深度信息降低因具有相似外观而产生不确定性的分割。同时，在编码器的RGB部分采用深度可分离卷积替代传统卷积。在解码器部分，通过将相邻层中前一层的输入上采样添加到后一层输入的方式，保留上层中的空间信息，从而解决多尺度特征缺失问题。本发明专利技术提出的基于编码器‑解码器的RGB‑D多尺度语义分割方法，有效地提高了语义分割的准确率，且大大减少了训练时的计算量，进一步提高了性能。

【技术实现步骤摘要】
基于编码器-解码器的RGB-D多尺度语义分割方法
本专利技术属于计算机视觉，图像语义分割领域，具体涉及一种基于编码器-解码器的RGB-D多尺度语义分割方法。
技术介绍
计算机视觉是一门研究如何让计算机从图像和视频中获取高级、抽象的信息的科学。图像语义分割问题是其中一项热门且重大的课题，它是一个将图像中每个像素归于类标签的过程，是图像场景理解的重要基础，具有重要的研究价值和广阔的应用场景，例如自动驾驶、人机交互、图像搜索引擎、增强现实、医疗图像诊断等。对于图像语义分割的研究，早期的传统语义分割是基于非监督学习的，后来逐步发展成基于机器学习，最终，深度学习正式进入图像语义分割领域。目前，主流的图像语义分割方法是使用全卷积神经网络来提取图像中的像素特征用于标签分类的预测。全卷积神经网络可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样，使它恢复到输入图像相同的尺寸。从而可以对每个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类。由于上采样生成与原图一样大小的预测结果，导致很难本文档来自技高网...

【技术保护点】
1.一种基于编码器-解码器的RGB-D多尺度语义分割方法，其特征在于包含以下步骤：/n步骤1：构建RGB编码器模块，从RGB图像中进行颜色特征提取；/n步骤2：构建Depth编码器模块，从depth图像中进行深度特征提取；/n步骤3：对RGB特征和depth特征进行多模态信息融合；/n步骤4：RGB编码器轻量化，减少网络的参数量及运算量，提高预测的实时性；/n步骤5：构建RGB-D解码器模块，融入多尺度特征融合方法，提高语义分割的精确度；/n所属步骤1中的RGB编码器模块由CBR块构成，即Conv块、BN块和ReLU块的组合，图片先经过Conv卷积层卷积，然后在BN层中规格化，最后通过ReLU...

【技术特征摘要】
1.一种基于编码器-解码器的RGB-D多尺度语义分割方法，其特征在于包含以下步骤：
步骤1：构建RGB编码器模块，从RGB图像中进行颜色特征提取；
步骤2：构建Depth编码器模块，从depth图像中进行深度特征提取；
步骤3：对RGB特征和depth特征进行多模态信息融合；
步骤4：RGB编码器轻量化，减少网络的参数量及运算量，提高预测的实时性；
步骤5：构建RGB-D解码器模块，融入多尺度特征融合方法，提高语义分割的精确度；
所属步骤1中的RGB编码器模块由CBR块构成，即Conv块、BN块和ReLU块的组合，图片先经过Conv卷积层卷积，然后在BN层中规格化，最后通过ReLU激活函数归一化提取出RGB图像不同阶段的颜色特征；
所属步骤2中的Depth编码器模块同意由由CBR块构...

【专利技术属性】
技术研发人员：刘晋，谢钰榕，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：上海;31