【技术实现步骤摘要】
本专利技术涉及点云地图，具体涉及一种语义点云地图构建方法。
技术介绍
1、人们对机器人的智能化要求日益增高，机器人本身的感知能力和理解能力就成了确定机器人智能化水平的重要部分，其中，感知能力指的是机器人能通过自身的传感器获取周围环境中的场景信息，而理解能力是指对获取的环境信息进行分析和处理，进而理解自身当下的情况，不仅仅是室内机器人，现在的室外机器人也需要获取环境中的语义信息，进而对当下的情况进行分析和决策，而语义地图可以提供机器人外界的环境信息和语义信息，从而提高机器人在外的感知和理解处理任务的能力。
2、目前语义地图的构建离不开对图像中语义信息的提取，现有技术通过特征点法slam获取相机的位姿并且利用目标检测网络实现了语义地图的构建，但是还存在以下问题：
3、(1)在动态环境进行同步定位与地图构建slam过程中，缺少对环境语义信息的感知，同时受到动态物体的干扰，容易丢失定位信息，无法执行高层智能任务；
4、(2)对于室外大场景下构建语义地图时，会受制于内存，无法应对相对复杂的动态场景。
技术实现思路
1、本专利技术的目的在于提供一种语义点云地图构建方法、计算机装置及存储介质，以解决现有技术中语义地图缺少对环境语义信息的感知，同时受到动态物体的干扰，容易丢失定位信息，无法执行高层智能任务以及无法应对相对复杂的动态场景的技术问题。
2、为解决上述技术问题，本专利技术具体提供下述技术方案：
3、本专利技术提供了一种语义点云地
4、通过视觉传感器连续获取环境数据信息，对所述环境数据信息采用双目立体匹配elas算法通过立体匹配deeppruner网络分别获取基于所述视觉传感器的视差图，对所述视差图采用语义分割网络获取图像的像素级语义信息；
5、对所述像素级语义信息进行动态特征检测获取动态场景下物体位姿估计数据，将所述物体位姿估计数据进行运动一致性检测获取图像中的动态特征点；
6、对所述动态特征点采用点云聚类后获取点云拟合平面，对所述点云拟合平面通过孪生网络进行相似度匹配构建点云子地图，获取点云语义信息的路径规划信息，根据所述路径规划信息获取对应子地图的关键帧图像；
7、对所述关键帧图像中的各类目标对象进行检测与识别，分割所述关键帧图像中的像素点投影到三维坐标中，构建三维语义点云地图，获取点云语义地图信息。
8、作为本专利技术的一种优选方案，对所述环境数据信息采用elas算法通过deeppruner网络分别获取基于所述视觉传感器的视差图，包括：
9、对所述视觉传感器获取的所述环境数据信息采用elas算法获取每个像素的修剪范围，根据所述修剪范围对所述环境数据信息建立左右视差搜索空间；
10、在所述左右视差搜索空间内对所述环境数据信息设置对应像素点的像素亮度阈值，根据所述环境数据信息的连续像素点亮度值的范围判断是否处于所述像素亮度阈值的范围内，若处在所述像素亮度阈值的范围内，则提取对应像素点作为特征点，否则排除对应像素点；
11、对所述特征点随机产生k个视差值，将所述k个视差值通过循环卷积获取特征集合，对所述特征集合内的左右特征矩阵进行内积操作获取对应视差图的匹配分数：
12、ai,j＝{f0(i+ri,j)·f1(i+di,j)}
13、其中，f0表示左图像左特征矩阵，f1表示右图像右特征矩阵，ri,j表示右目第i个像素的第j个候选项，di,j表示左目第i个像素的第j个候选项，i表示像素个数，ai,j表示第i个像素在第j个候选项的匹配分数；
14、对所述匹配分数ai,j进行迭代获取前k个最佳视差值，对所述前k个最佳视差值进行卷积训练获取对应的视差图。
15、作为本专利技术的一种优选方案，对所述视差图采用语义分割网络获取图像的像素级语义信息，包括：
16、所述语义分割网络采用全卷积网络对所述视差图执行端到端密集训练，获取深层语义特征，对所述深层语义特征执行反卷积操作后映射至原所述视差图上，提取对应的所述像素级语义信息。
17、作为本专利技术的一种优选方案，对所述像素级语义信息进行动态特征检测获取动态场景下物体位姿估计数据，包括：
18、将所述像素级语义信息输入全卷积神经网络获取图像特征，根据所述图像特征将对应的所述视差图分成s×s个格子，对每个所述格子预测b个边框及置信值，所述置信值表示边框中包含目标物体的概率以及边框内对应目标的匹配度；
19、对每个所述视差图分成的格子进行目标预测，产生s×s×b个窗口，计算每个窗口对应的极大值，通过搜索局部最大值去除置信值偏低的预测边框，获取置信值高的预测边框，对所述预测边框内的目标进行动态检测，获取物体的位姿估计数据。
20、作为本专利技术的一种优选方案，将所述位姿估计数据进行运动一致性检测获取图像中的动态特征点，包括：
21、对所述位姿估计数据采用特征提取器darknet提取特征序列数据，组成特征点集u1，对所述特征点集u1通过矩阵变换获取对应的齐次坐标；
22、对所示齐次坐标计算所在极线的基础矩阵，计算所述基础矩阵与像素平面的距离；
23、对所述特征序列数据通过分类损失函数判断所述位姿估计数据的运动损失，所述分类损失函数表达式为：
24、sx,y＝bw(σ(tx)+cx)+bh(σ(ty)+cy)
25、其中，bw、bh表示姿估计数据对应预测边框的边长，tx、ty表示目标边框的边长，cx、cy表示格子的坐标偏移量，σ(tx)、σ(ty)表示对目标边框边长的损失预测；
26、根据所述分类损失函数设置距离阈值，当所述基础矩阵与像素平面的距离小于距离阈值时，将所述基础矩阵判定为动态特征点。
27、作为本专利技术的一种优选方案，对所述动态特征点采用点云聚类后获取点云拟合平面，包括：
28、将所述动态特征点作为原始点集合q，在所述集合q中随机选取不共线的三点{a(x1,y1,z1),b(x2,y2,z2),c(x3,y3,z3)}构建待拟合平面，获取所述待拟合平面的点云平面方程；
29、计算所述集合q中所有点至所述待拟合平面的距离均值，将所述距离均值作为阈值，再计算所有采样点到所述待拟合平面的距离，将所述距离小于所述阈值的点加入所述集合q中；
30、统计所述待拟合平面内点的个数，若所述个数大于k则任务所述拟合平面有效，计算所述拟合平面内所有点的平均值，并重新拟合平面，选择所述待拟合平面内点的个数最多的平面作为所需提取的点云拟合平面。
31、作为本专利技术的一种优选方案，对所述点云拟合平面通过孪生网络进行相似度匹配构建点云子地图，包括：
32、采用孪生网络对所述点云拟合平面进行相似度匹配，通过所述相似度匹配获取图像a和图像b，计算所述图像a和图像b之间的位姿转换；
33、对所述图像a采集图像本文档来自技高网...
【技术保护点】
1.一种语义点云地图构建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种语义点云地图构建方法，其特征在于，
3.根据权利要求2所述的一种语义点云地图构建方法，其特征在于，
4.根据权利要求3所述的一种语义点云地图构建方法，其特征在于，
5.根据权利要求3所述的一种语义点云地图构建方法，其特征在于，
6.根据权利要求5所述的一种语义点云地图构建方法，其特征在于，
7.根据权利要求6所述的一种语义点云地图构建方法，其特征在于，
8.根据权利要求7所述的一种语义点云地图构建方法，其特征在于，
9.根据权利要求8所述的一种语义点云地图构建方法，其特征在于，
【技术特征摘要】
1.一种语义点云地图构建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种语义点云地图构建方法，其特征在于，
3.根据权利要求2所述的一种语义点云地图构建方法，其特征在于，
4.根据权利要求3所述的一种语义点云地图构建方法，其特征在于，
5.根据权利要求3所述的一种语义点...
【专利技术属性】
技术研发人员：刘中南，伍家林，胡楠，吴群辉，杨波，
申请(专利权)人：中交机电工程局有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。