一种生产车间三维动态不确定性语义SLAM方法技术

本发明专利技术提出一种生产车间场景的三维不确定性动态语义SLAM系统。首先，将轻量化语义分割网络(PWnet)集成到ORB_SLAM3的前端，为整个系统实时地提供场景语义信息；然后，融合利用语义信息建立的语义约束、利用特征点运动信息建立的运动约束以及朴素贝叶斯网络构建动态特征分类器对从生产车间场景提取的特征点进行分类，并剔除掉动态特征点；其次，建立了带有语义信息的车间八叉树地图，并对地图中的动态目标进行了剔除，获得静态的车间语义的八叉树地图。本发明专利技术在定位和建图过程中对动态目标的处理，能够大幅度提高机器人的定位精度并且能够建立不包含动态目标的静态地图，该地图可直接用于车间移动机器人导航等高级任务。接用于车间移动机器人导航等高级任务。接用于车间移动机器人导航等高级任务。

【技术实现步骤摘要】
一种生产车间三维动态不确定性语义SLAM方法


[0001]本专利技术属于计算机视觉、SLAM领域，具体涉及一种生产车间三维动态不确定性语义SLAM方法

技术介绍

[0002]同步定位与建图技术(SLAM)作为自主导航的关键技术之一，能够帮助移动机器人实现场景感知和定位，通过传感器信息获取自身的位姿信息以及周围环境的结构信息。随着社会的发展和科技的进步，单目相机、双目相机、RGB
‑
D相机等大量视觉传感器迅猛发展，涌现出了大量优秀视觉SLAM方法。
[0003]基于特征点法的视觉SLAM通过对图像特征的提取和匹配以表征场景的结构和形状，同时解决未知环境下数据关联问题。然而，这些方法都是基于静态环境这一严格的假设，而在车间环境中由于生产任务呈现出形式多样化，特别是在离散制造车间生产方式呈现出离散型、流水线型，作业人员以及车间移动设备需要根据不同的生产任务进行移动作业，使得生产车间成为高动态环境。车间移动机器人对这些动态目标进行跟踪不仅会降低位姿优化精度、加大轨迹飘逸误差，甚至可能出现系统崩溃。得益于深度学习的发展，语义SL本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生产车间三维动态不确定性语义SLAM方法，其特征在于，包括如下步骤：步骤1：语义分割网络训练；首先，利用自制车间数据集对生产车间轻量级语义分割网络进行训练；步骤2：设计语义约束模块；首先，利用生产车间轻量级语义分割网络输出的语义信息提取图像中的动态区域，并对图像进行滤波去噪和二值化处理，获取动态区域边缘P
contours
；然后对图像进行特征提取，计算每一个特征点到动态区域边缘P
contours
的距离信息，并将距离信息转换成概率，得到在语义约束模块的动态概率，可通过以下公式表示:语义约束模块的动态概率，可通过以下公式表示:式中，D
Euclidean
(k
pt(i)
,P
contours
)表示特征点k
pt(i)
到动态区域边缘P
contours
的最小欧式距离，w
G1
为距离信息中的呈高斯分布的噪声项，P(k
pt(i)
|M1)表示特征点k
pt(i)
在语义约束模块中的动态概率；步骤3：设计运动约束模块；首先，对连续两帧图像中的特征点进行特征匹配，利用PNP方法求解相机的基础矩阵F，并通过F求解右极线L
Right
，计算特征点到右极线的距离，并将该距离转换成概率形式，此概率为该特征点对极约束条件下的动态概率；计算匹配特征点之间的描述子距离获取特征点在位置约束下的动态概率，如以下公式所示:L
Right
＝[x,y,z]＝F
×
P
HT
，，D
descriptors
(k
pt(i)
,k
′
pt(i)
)＝|desc(k
pt(i)
)
‑
desc(k
′
pt(i)
)|+w
G3
，式中，P
H
是k
pt(i)
的像素坐标所对应的齐次坐标，D
epoline
(k
pt(i)
,L
Right
)表示特征点到极线L
Right
的距离，w
G2
为极线距离的噪声项，P(k
pt(i)
|M2)是特征点在对极约束下的动态概率，w1是极线距离阈值；D
descriptors
(k
pt(i)
,k
′
pt(i)
)是匹配特征点对k
pt(i)
、k
′
pt(i)
的描述子距离，desc(k
pt(i)
)、desc(k
′
pt(i)
)分别是特征点k
pt(i)
、k
′
pt(i)

【专利技术属性】
技术研发人员：陈光柱，苟荣松，严成良，蒲鑫，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：