【技术实现步骤摘要】
门机制引导边缘信息蒸馏的RGB-D图像语义分割方法及终端
本专利技术涉及通信
，尤其涉及一种基于门机制引导边缘信息蒸馏的RGB-D图像的语义分割方法、存储介质及终端。
技术介绍
语义分割旨在为每个像素分配一个类别标签，主要广泛应用在以视觉为基础的自动驾驶，精准农业，三维地图重构，医疗图像分割，人机交互等领域。目前，很多语义分割方法主要通过融合深度图和彩色图来生成更具有表征的特征来提高RGB-D图像语义分割的性能。在编码器和解码器结构中，根据融合的阶段分为前期融合，中期融合和后期融合。这些方法大都是采用融合网络层直接对深度图和彩色图进行融合。然而，由于像Realsense等深度摄像机采集的深度图会存在一定的噪声，直接使用深度图会对语义分割的性能产生一定影响。因此，现有技术还有待于进一步的提升和改进。
技术实现思路
鉴于上述现有技术的不足，本专利技术的目的在于提供一种基于门机制引导边缘信息蒸馏的RGB-D图像的语义分割、存储介质及终端，旨在解决现有由于深度图存在噪声直接使用深度图对语义分...
【技术保护点】
1.一种基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其特征在于，包括：/n获取待语义分割的RGB-D图像，所述RGB-D图像包括RGB图像和所述RGB图形对应的深度图像；/n将所述RGB图像和所述RGB图像对应的深度图像输入预先训练好的神经网络，得到所述RGB-D图像对应的语义分割结果；其中，所述神经网络包括：特征提取网络层、门机制引导的特征融合网络层、边缘信息蒸馏网络层及多层特征融合网络层；所述神经网络是根据样本RGB-D图像及所述样本RGB-D图像对应的样本标识图像训练得到。/n
【技术特征摘要】
1.一种基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其特征在于，包括：
获取待语义分割的RGB-D图像，所述RGB-D图像包括RGB图像和所述RGB图形对应的深度图像；
将所述RGB图像和所述RGB图像对应的深度图像输入预先训练好的神经网络，得到所述RGB-D图像对应的语义分割结果；其中，所述神经网络包括：特征提取网络层、门机制引导的特征融合网络层、边缘信息蒸馏网络层及多层特征融合网络层；所述神经网络是根据样本RGB-D图像及所述样本RGB-D图像对应的样本标识图像训练得到。
2.如权利要求1所述的基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其特征在于，所述将所述RGB图像和所述RGB图形对应的深度图像输入预先训练好的神经网络，得到所述RGB-D图像对应的语义分割结果，具体包括：
将所述RGB-D图像输入所述特征提取网络层，提取所述RGB-D图像多个层级的RGB编码特征和深度编码特征；
将多个层级中每层的RGB编码特征和深度编码特征输入所述门机制引导的特征融合网络层，得到与每层对应的融合特征及具有互补性的特征；
将每个层级的所述具有互补性的特征输入所述边缘信息蒸馏网络层，生成边缘感知特征；
将所述RGB编码特征与所述边缘感知特征输入边缘信息引导的特征网络，生成具有边缘感知的高级语义特征；
对所述融合特征及所述高级语义特征进行上采样，采用逐层地融合解码器的特征，生成所述RGB-D图像对应的语义分割结果。
3.如权利要求2所述的基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其特征在于，所述将多个层级中每层的RGB编码特征和深度编码特征输入所述门机制引导的特征融合网络层，得到与每层对应的融合特征的流程为：
Cai＝F(C(Mxi，Mdi))
gi＝Mx′i*Xi+Md′i*Di
Mxi，Mdi分别表示在骨干网络中第i层压缩后为单通道的彩色特征图和深度特征图，C表示级联操作，Ca代表通过比较函数F生成的特征图，将其切分为Mx′i和Md′i其中Mxi'＝Sigmoid(Wi*MXi),Mdi'＝Tanh(Wi*MDi)，分别表示重要程度的概率图，gi代表最终具有选择性的高效的特征图。
4.如权利要求2所述的基于门机制引导边缘信息蒸馏的RGB-D图像语义分割方法，其特征在于，所述将每个层级的所述具有互补性的...
【专利技术属性】
技术研发人员：彭映青，邹文斌，张正宇，田时舜，李霞，邹光明，
申请(专利权)人：深圳大学，深圳市慧视智联科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。