一种生产车间三维动态不确定性语义SLAM方法技术

本发明专利技术提出一种生产车间场景的三维不确定性动态语义SLAM系统。首先，将轻量化语义分割网络(PWnet)集成到ORB_SLAM3的前端，为整个系统实时地提供场景语义信息；然后，融合利用语义信息建立的语义约束、利用特征点运动信息建立的运动约束以及朴素贝叶斯网络构建动态特征分类器对从生产车间场景提取的特征点进行分类，并剔除掉动态特征点；其次，建立了带有语义信息的车间八叉树地图，并对地图中的动态目标进行了剔除，获得静态的车间语义的八叉树地图。本发明专利技术在定位和建图过程中对动态目标的处理，能够大幅度提高机器人的定位精度并且能够建立不包含动态目标的静态地图，该地图可直接用于车间移动机器人导航等高级任务。接用于车间移动机器人导航等高级任务。接用于车间移动机器人导航等高级任务。

【技术实现步骤摘要】
一种生产车间三维动态不确定性语义SLAM方法


[0001]本专利技术属于计算机视觉、SLAM领域，具体涉及一种生产车间三维动态不确定性语义SLAM方法

技术介绍

[0002]同步定位与建图技术(SLAM)作为自主导航的关键技术之一，能够帮助移动机器人实现场景感知和定位，通过传感器信息获取自身的位姿信息以及周围环境的结构信息。随着社会的发展和科技的进步，单目相机、双目相机、RGB
‑
D相机等大量视觉传感器迅猛发展，涌现出了大量优秀视觉SLAM方法。
[0003]基于特征点法的视觉SLAM通过对图像特征的提取和匹配以表征场景的结构和形状，同时解决未知环境下数据关联问题。然而，这些方法都是基于静态环境这一严格的假设，而在车间环境中由于生产任务呈现出形式多样化，特别是在离散制造车间生产方式呈现出离散型、流水线型，作业人员以及车间移动设备需要根据不同的生产任务进行移动作业，使得生产车间成为高动态环境。车间移动机器人对这些动态目标进行跟踪不仅会降低位姿优化精度、加大轨迹飘逸误差，甚至可能出现系统崩溃。得益于深度学习的发展，语义SLAM通过神经网络对场景进行语义理解，增强了SLAM对动态环境的适应性和鲁棒性，所建立的地图带有语义信息有助于车间移动机器人完成高级任务。然而，传统语义分割网络对于训练样本的强依赖性，以及其庞大的网络参数量，使得其难以应用在现实环境中。
[0004]综上所述，针对以上研究的不足，提出了一种三维动态不确定性语义SLAM方法。

技术实现思路

[0005]鉴于上述问题，本专利技术的目的在于提供一种三维动态不确定性语义SLAM方法。
[0006]一种三维动态不确定性语义SLAM方法，包括以下步骤：
[0007]步骤一：利用车间数据集对语义分割网络PWnet训练；
[0008]步骤二：设计不确定性动态特征分类器，将该分类器集成到ORB_SLAM3前端对动态特征点进行剔除；
[0009]步骤三：针对地图中存在的动态目标，设计两个动态节点滤波器对地图中的动态点进行剔除。
[0010]与现有技术相比，本专利技术具有以下有益效果：
[0011]1.相比于现有SLAM方法大幅度提高了在移动设备动态环境下的定位精度；
[0012]2.能够实时建立不包含动态目标的静态地图，同时大幅度减少了地图所占内存。
附图说明
[0013]图1是建立的车间数据集示意图；
[0014]图2是语义分割网络分割效果图；
[0015]图3是PWnet输出的语义信息对当前图像中的动态区域进行标记的效果图；
[0016]图4是对极几何原理图；
[0017]图5是不确定性动态特征分类器网路结构图；
[0018]图5是不确定性动态特征分类器网路结构图；
[0019]图6是特征分类器集成到OBR_SLAM3的结构图；
[0020]图7是最终建立的语义八叉树地图；
[0021]图8是对八叉树地图中的动态目标剔除流程图。
具体实施方式
[0022]下面结合附图对本专利技术的技术方案进行详细说明。
[0023]一种生产车间三维动态不确定性语义SLAM方法，具体包括以下步骤：
[0024]步骤一：利用车间数据集对语义分割网络PWnet进行训练
[0025]步骤11：为了获取生产车间的语义信息，建立车间数据集SOP(Scene Objects for Production workshop dataset)，该数据集包含人、数控车床、数控铣床、普通机床、机床踏板、机器人六类，共500张，如附图1所示；
[0026]步骤12：为了获取当前帧图像的语义信息,将语义分割网络PWnet在车间数据集上进行训练，得到车间目标对应的标签图，效果如附图2所示。
[0027]步骤二：设计不确定性动态特征分类器对动态特征点进行剔除
[0028]步骤21：利用从语义分割网络获取的语义信息在当前彩色图像标记动态区域，并对动态区域进行像素二值处理，在提取特征点时不对动态区域内部进行特征提取，以对动态特征点进行初次剔除，如附图3所示；
[0029]步骤22：计算动态区域边缘特征点到动态区域边缘的最小距离，并通过归一化函数将距离转换成概率值，获得在语义约束条件下的当前特征点的动态概率，其详细的计算方法用以下公式表示：
[0030][0031][0032]式中，D
Euclidean
(k
pt(i)
,P
contours
)表示特征点k
pt(i)
到动态区域边缘P
contours
的最小欧式距离，w
G1
为距离信息中的呈高斯分布的噪声项，P(k
pt(i)
|M1)表示特征点k
pt(i)
在语义约束模块中的动态概率；
[0033]步骤23：利用对极几何原理，如附图4所示，计算特征点到极线的距离并将该距离信息转换成概率，获得在运动约束模块中运动约束条件下的当前特征点的动态概率，其详细计算方法通过以下公式表示：
[0034]L
Right
＝[x,y,z]＝F
×
P
HT
，
[0035][0036][0037]其中，P
H
是特征点k
pt(i)
的像素坐标所对应的其次坐标，D
epoline
(k
pt(i)
,L
Right
)表示特征点到极限L
Right
的距离，w
G2
为当前距离的噪声项，P(k
pt(i)
|M2)是特征点在对极约束下的动态概率，w1是人为设定的偏移阈值；
[0038]步骤24：分别计算匹配上的特征点对的描述子距离，并将其距离信息转换成概率信息，获得在位置约束条件下的当前特征点动态概率，其详细的计算方式可通过以下公式表示：
[0039]D
descriptors
(k
pt(i)
,k
′
pt(i)
)＝|desc(k
pt(i)
)
‑
desc(k
′
pt(i)
)|+w
G3
，
[0040][0041]其中，D
descriptors
(k
pt(i)
,k
′
pt(i)
)是匹配上的特征点对k
pt(i)
、k
′
pt(i)
的描述子距离，desc(k
pt(i)
)、desc(k
′
pt(i)
)分别是特征点k
pt(i)
、k
′
pt(i)
对应的描述子；w
G3...

【技术保护点】

【技术特征摘要】
1.一种生产车间三维动态不确定性语义SLAM方法，其特征在于，包括如下步骤：步骤1：语义分割网络训练；首先，利用自制车间数据集对生产车间轻量级语义分割网络进行训练；步骤2：设计语义约束模块；首先，利用生产车间轻量级语义分割网络输出的语义信息提取图像中的动态区域，并对图像进行滤波去噪和二值化处理，获取动态区域边缘P
contours
；然后对图像进行特征提取，计算每一个特征点到动态区域边缘P
contours
的距离信息，并将距离信息转换成概率，得到在语义约束模块的动态概率，可通过以下公式表示:语义约束模块的动态概率，可通过以下公式表示:式中，D
Euclidean
(k
pt(i)
,P
contours
)表示特征点k
pt(i)
到动态区域边缘P
contours
的最小欧式距离，w
G1
为距离信息中的呈高斯分布的噪声项，P(k
pt(i)
|M1)表示特征点k
pt(i)
在语义约束模块中的动态概率；步骤3：设计运动约束模块；首先，对连续两帧图像中的特征点进行特征匹配，利用PNP方法求解相机的基础矩阵F，并通过F求解右极线L
Right
，计算特征点到右极线的距离，并将该距离转换成概率形式，此概率为该特征点对极约束条件下的动态概率；计算匹配特征点之间的描述子距离获取特征点在位置约束下的动态概率，如以下公式所示:L
Right
＝[x,y,z]＝F
×
P
HT
，，D
descriptors
(k
pt(i)
,k
′
pt(i)
)＝|desc(k
pt(i)
)
‑
desc(k
′
pt(i)
)|+w
G3
，式中，P
H
是k
pt(i)
的像素坐标所对应的齐次坐标，D
epoline
(k
pt(i)
,L
Right
)表示特征点到极线L
Right
的距离，w
G2
为极线距离的噪声项，P(k
pt(i)
|M2)是特征点在对极约束下的动态概率，w1是极线距离阈值；D
descriptors
(k
pt(i)
,k
′
pt(i)
)是匹配特征点对k
pt(i)
、k
′
pt(i)
的描述子距离，desc(k
pt(i)
)、desc(k
′
pt(i)
)分别是特征点k
pt(i)
、k
′
pt(i)

【专利技术属性】
技术研发人员：陈光柱，苟荣松，严成良，蒲鑫，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：