基于深度语义融合的卷积神经网络的三维语义图重建方法技术

本发明专利技术基于深度语义融合的卷积神经网络的三维语义图重建方法，是在单目相机条件下进行算法设计。该方法首先设计一个深度语义融合的卷积神经网络，对一直单目图像的每个像素点估计深度和预测语义。之后将深度估计的矩阵和语义分割的矩阵保存为深度图像和语义图像。然后以图像左上角为坐标原点为每个像素点建立三维坐标，结合每个像素点对应的RGB信息得到点云数据。最后生成三维语义图。相比与分别进行图像的深度估计和语义分割的两个卷积神经网络，基于深度语义融合的卷积神经网络在准确率几乎不变的情况下，参数量分别减少了20倍和40倍，同时网络推理时间缩短了一半。

【技术实现步骤摘要】
基于深度语义融合的卷积神经网络的三维语义图重建方法
本专利技术属于三维语义地图重建领域，具体涉及一种基于深度语义融合的卷积神经网络的三维语义图重建方法。
技术介绍
地图可以对周围环境信息进行描述，便于人类对未知环境进行理解。为了机器实现更加深度智能化，增加自主理解周围环境的能力。因此针对三维几何地图每个像素点增加语义信息，构建可理解的三维语义地图的研究是机器人一个有应用前景的重要方向。可理解三维地图也称为三维语义地图，指的是对场景内采集到的数据信息，通过一定的数学方法，生成包含空间坐标信息和语义标记信息在内的三维点云数据，给它赋予人类理解上的含义，最终建立包含语义信息的三维地图。近年来随着智能化移动机器人的发展，三维语义地图重建得到了国内外学者的关注。常用的方法主要有两种方法，第一是基于深度相机对当前环境进行深度估计，建立三维环境空间得到深度图像。然后使用深度学习对深度图像进行三维语义分割从而构建三维语义地图。第二是对二维图像进行语义分割得到语义图像，之后融合深度图像从而构建三维语义地图。针对第一种方法，例如PointNet等卷本文档来自技高网...

【技术保护点】
1.基于深度语义融合的卷积神经网络的三维语义图重建方法，其特征在于，包括以下步骤：/n1)选择已有的带有语义分割和深度估计的NYU数据集，将训练数据划分为训练数据集和验证数据集；/n2)搭建深度语义融合的卷积神经网络模型，使用训练数据集训练模型，当训练的模型在验证数据集上达到设定的精度，保存网络模型参数；/n3)使用训练好的模型对测试图像的每个像素点进行深度距离和语义信息的预测，生成深度图像和语义图像；/n4)融合深度图像和语义图像重建三维语义图像。/n

【技术特征摘要】
1.基于深度语义融合的卷积神经网络的三维语义图重建方法，其特征在于，包括以下步骤：
1)选择已有的带有语义分割和深度估计的NYU数据集，将训练数据划分为训练数据集和验证数据集；
2)搭建深度语义融合的卷积神经网络模型，使用训练数据集训练模型，当训练的模型在验证数据集上达到设定的精度，保存网络模型参数；
3)使用训练好的模型对测试图像的每个像素点进行深度距离和语义信息的预测，生成深度图像和语义图像；
4)融合深度图像和语义图像重建三维语义图像。


2.根据权利要求1所述的基于深度语义融合的卷积神经网络的三维语义图重建方法，其特征在于，步骤2)的具体实现方法如下：
201)搭建基于深度语义融合的卷积神经网络模型时，根据数据集标签和两个任务的特性，对网络结构进行设计；
202)训练基于深度语义融合的卷积神经网络模型时，根据数据集标签和多任务的特性，设计损失函数进行训练。


3.根据权利要求2所述的基于深度语义融合的卷积神经网络的三维语义图重建方法，其特征在于，步骤201)的具体实现方法如下：
2011)搭建基于深度语义融合的卷积神经网络模型时，分为编码层，解码层，判别层和输出层，其中编码层对图像进行降采样提取特征，解码层进行像素点语义预测和深度距离预测；
2012)搭建基于深度语义融合的卷积神经网络编码层时，分为三步：
第一：根据公式将图像进行标准化预处理，根据三通道的RGB自然图像统计特征，均值img_mean每个通道取值为(0.485，0.456，0.406)，方差img_std为每个通道的取值为(0.229，0.224，0.225)；



第二：使用第一层对预处理后的特征图像使用线性插值的方法缩小特征图像分辨率，经过反复实验发现，当输出特征图像大小400*300*3分辨率时，基于深度语义融合的卷积神经网络推理的时间和准确率效果最好；
第三：将深度可分离卷积核，BatchNorm函数，Relu激活函数通过累加设计convbnrelu模块，将三个convbnrelu模块累加成一个block模块，按照残差计算的方式连接所有block模块得到编码层；
2012)搭建基于深度语义融合的卷积神经网络解码层时，分为两...

【专利技术属性】
技术研发人员：杨晨，陈琦，张靖宇，李丹，耿莉，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61