一种动态场景下基于目标检测和几何概率的视觉SLAM方法技术

本申请提供一种动态场景下基于目标检测和几何概率的视觉SLAM方法，步骤为：1)采集待处理图像，使用目标检测算法将待处理图像划分为静态区域和动态区域；2)使用VSAC算法计算静态区域匹配点的基础矩阵F；3)使用基础矩阵F和对极约束计算动态区域匹配点的几何概率；4)将动态区域连续两帧匹配点的几何概率融合，作为当前帧匹配点的最终几何概率；5)对动态区域未匹配的点进行概率拓展，得到动态区域所有特征点的几何概率，并剔除不满足概率要求的特征点，将剩余的点传入后续跟踪和建图步骤。本申请将目标检测网络与传统的几何方法相结合能够同时满足视觉SLAM的精度和实时性要求，既保证了实时性又提高了定位精度和建图质量。证了实时性又提高了定位精度和建图质量。证了实时性又提高了定位精度和建图质量。

【技术实现步骤摘要】
一种动态场景下基于目标检测和几何概率的视觉SLAM方法


[0001]本专利技术涉及一种视觉SLAM方法，特别是一种动态场景下基于目标检测和几何概率的视觉SLAM方法。

技术介绍

[0002]SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)技术是智能机器人应用的核心技术，它可以在未知的环境下同时估计自身位置和构建环境地图。视觉SLAM以相机作为感知传感器，因其成本低、高精度、信息丰富，成为近年来重要的研究课题。
[0003]在过去的几十年里，出现了许多优秀的视觉SLAM，如ORB
‑
SALM2、KinectFusion、SVO、DSO；然而，传统的视觉SLAM系统通常在静态环境中工作得很好，但当环境中有动态对象时仅仅使用几何约束的方法剔除动态点，所以效果很差，甚至会失败。随着深度学习技术的发展，我们目前可以通过语义分割或目标检测网络标记动态物体，然后剔除动态物体的全部特征。但是语义分割网络无法在保证实时性的前提下，同时保证精准的语义分割；目标检测网络能满足实时要求，但会导致部分静态物体被剔除而降低定位精度和建图质量。

技术实现思路

[0004]本专利技术的目的就是提供一种动态场景下基于目标检测和几何概率的视觉SLAM方法，该方法能有效提高动态场景下的SLAM系统的定位精度。
[0005]本专利技术的目的是通过这样的技术方案实现的，具体步骤如下：
[0006]1)采集待处理图像，使用目标检测算法将待处理图像划分为静态区域和动态区域；
[0007]2)使用VSAC算法计算静态区域匹配点的基础矩阵F；
[0008]3)使用基础矩阵F和对极约束计算动态区域匹配点的几何概率；
[0009]4)将动态区域连续两帧匹配点的几何概率融合，作为当前帧匹配点的最终几何概率；
[0010]5)对动态区域未匹配的点进行概率拓展，得到动态区域所有特征点的几何概率，并剔除不满足概率要求的特征点，将剩余的点传入后续跟踪和建图步骤。
[0011]进一步，步骤1)中使用目标检测算法将待处理图像划分为静态区域和动态区域的具体步骤为：
[0012]1‑
1)使用Crowdhuman数据集对Yolov3 tiny目标检测网络进行训练，得到训练好的Yolov3 tiny网络；
[0013]1‑
2)使用训练好的Yolov3 tiny网络将待处理图像分为动态区域和静态区域，并提取待处理图像的特征点。
[0014]进一步，步骤2)中使用VSAC算法计算静态区域匹配点基础矩阵F的具体步骤为：
[0015]2‑
1)对静态区域的特征点进行特征匹配，匹配点对数记为N，根据匹配点的质量进
行排序，并从高质量匹配点中随机抽样出最小样本集，使用数值法计算其基础矩阵F
i
；
[0016]2‑
2)使用自适应SPRT算法判断基础矩阵F
i
是否满足成为最优基础矩阵F
best
的条件，满足则转至步骤2
‑
3)，不满足则返回步骤2
‑
1)；
[0017]2‑
3)判断当前基础矩阵的最小样本集中是否满足有Q个点共面的判定条件，若不满足判定条件，则当前基础矩阵不退化，并转至步骤2
‑
4)；
[0018]若满足判定条件，则随机在最小样本集外抽取样本，对当前的基础矩阵F
i
通过对极约束验证，判断其是否有满足有P个非主导平面外的点的限定条件，若满足限定条件，则当前基础矩阵不退化，若不满足限定条件，并转至步骤2
‑
4)，则当前基础矩阵退化，舍弃当前的基础矩阵，返回步骤2
‑
1)；
[0019]2‑
4)计算基础矩阵F
i
对应的内点个数，若比当前最优F
best
的内点数多，则计算独立内点个数，若独立内点个数大于阈值将F
i
记为最优F
best
，并转至步骤2
‑
5)，反之则返回步骤2
‑
1)；
[0020]2‑
5)判断当前最优F
best
是否满足局部优化条件，若满足局部优化条件，则使用F
best
的内点集对F
best
进行局部优化，若不满足局部优化条件返回步骤2
‑
1)；
[0021]所述局部优化的判断条件为：若独立内点个数大于阈值且只有当前的最优基础矩阵和上一个最优基础矩阵的最小样本集低于0.95Jaccard指数，则满足进行局部优化的条件，反之则不满足进行局部优化的条件；
[0022]所述局部优化的过程为：在最优基础矩阵对应的内点中随机选取大于最小样本集个数的点，使用解析法迭代计算出更好的基础矩阵；
[0023]2‑
6)判断算法是否达到循环终止条件，若满足循环终止条件则转至步骤2
‑
7)，若不满足循环终止条件则返回步骤2
‑
1)，所述循环终止的判断条件为：η大于预设阈值其中η表示当前所有随机抽取的最小样本集中至少包含一个全部为内点的最小样本集的概率，其计算方式如下：
[0024]η＝(1
‑
P
g
(1
‑
α))
k
[0025]其中k为当前迭代次数，P
g
代表最小样本集中的m个点全为内点的概率，α代表拒绝一个好模型的概率，计算方式如下：
[0026]P
g
＝ε
m
[0027]α≈1/A
[0028][0029]2‑
7)对最优F
best
使用迭代最小二乘方法做最后的优化，得到最终的最优F
best
，并将最终的最优F
best
作为静态区域的基础矩阵F。
[0030]进一步，步骤2
‑
2)中使用自适应SPRT算法判断基础矩阵F
i
是否满足成为最优基础矩阵F
best
的条件的具体步骤为：
[0031]2‑2‑
1)构建基础矩阵F
i
使用自适应SPRT算法的限定条件：
[0032][0033]式中，和t
v
分别代表在使用和不使用自适应SPRT时测试一个点是否为当前基础矩阵F
i
内点的时间，α是拒绝好模型的概率，E
w
(T)是已测试点的平均数；
[0034]若满足，则转至步骤2
‑2‑
2)，若不满足，则转至步骤2
‑
3)；
[0035]2‑2‑
2)计算自适应SPRT的参数初始值：坏模型内点概率δ0和好模型内点概率ε0：
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态场景下基于目标检测和几何概率的视觉SLAM方法，其特征在于，具体步骤如下：1)采集待处理图像，使用目标检测算法将待处理图像划分为静态区域和动态区域；2)使用VSAC算法计算静态区域匹配点的基础矩阵F；3)使用基础矩阵F和对极约束计算动态区域匹配点的几何概率；4)将动态区域连续两帧匹配点的几何概率融合，作为当前帧匹配点的最终几何概率；5)对动态区域未匹配的点进行概率拓展，得到动态区域所有特征点的几何概率，并剔除不满足概率要求的特征点，将剩余的点传入后续跟踪和建图步骤。2.如权利要求1所述的一种动态场景下基于目标检测和几何概率的视觉SLAM方法，其特征在于，步骤1)中使用目标检测算法将待处理图像划分为静态区域和动态区域的具体步骤为：1
‑
1)使用Crowdhuman数据集对Yolov3 tiny目标检测网络进行训练，得到训练好的Yolov3 tiny网络；1
‑
2)使用训练好的Yolov3 tiny网络将待处理图像分为动态区域和静态区域，并提取待处理图像的特征点。3.如权利要求1所述的一种动态场景下基于目标检测和几何概率的视觉SLAM方法，其特征在于，步骤2)中使用VSAC算法计算静态区域匹配点基础矩阵F的具体步骤为：2
‑
1)对静态区域的特征点进行特征匹配，匹配点对数记为N，根据匹配点的质量进行排序，并从高质量匹配点中随机抽样出最小样本集，使用数值法计算其基础矩阵F
i
；2
‑
2)使用自适应SPRT算法判断基础矩阵F
i
是否满足成为最优基础矩阵F
best
的条件，满足则转至步骤2
‑
3)，不满足则返回步骤2
‑
1)；2
‑
3)判断当前基础矩阵的最小样本集中是否满足有Q个点共面的判定条件，若不满足判定条件，则当前基础矩阵不退化，并转至步骤2
‑
4)；若满足判定条件，则随机在最小样本集外抽取样本，对当前的基础矩阵F
i
通过对极约束验证，判断其是否有满足有P个非主导平面外的点的限定条件，若满足限定条件，则当前基础矩阵不退化，若不满足限定条件，并转至步骤2
‑
4)，则当前基础矩阵退化，舍弃当前的基础矩阵，返回步骤2
‑
1)；2
‑
4)计算基础矩阵F
i
对应的内点个数，若比当前最优F
best
的内点数多，则计算独立内点个数，若独立内点个数大于阈值将F
i
记为最优F
best
，并转至步骤2
‑
5)，反之则返回步骤2
‑
1)；2
‑
5)判断当前最优F
best
是否满足局部优化条件，若满足局部优化条件，则使用F
best
的内点集对F
best
进行局部优化，若不满足局部优化条件返回步骤2
‑
1)；所述局部优化的判断条件为：若独立内点个数大于阈值且只有当前的最优基础矩阵和上一个最优基础矩阵的最小样本集低于0.95Jaccard指数，则满足进行局部优化的条件，反之则不满足进行局部优化的条件；所述局部优化的过程为：在最优基础矩阵对应的内点中随机选取大于最小样本集个数的点，使用解析法迭代计算出更好的基础矩阵；2
‑
6)判断算法是否达到循环终止条件，若满足循环终止条件则转至步骤2
‑
7)，若不满
足循环终止条件则返回步骤2
‑
1)，所述循环终止的判断条件为：η大于预设阈值其中η表示当前所有随机抽取的最小样本集中至少包含一个全部为内点的最小样本集的概率，其计算方式如下：η＝(1
‑
P
g
(1
‑
α))
k
其中k为当前迭代次数，P
g
代表最小样本集中的m个点全为内点的概率，α代表拒绝一个好模型的概率，计算方式如下：P
g
＝ε
m
α≈1/A2
‑
7)对最优F
best
使用迭代最小二乘方法做最后的优化，得到最终的最优F
best
，并将最终的最优F
best
作为静态区域的基础矩阵F。4.如权利要求3所述的一种动态场景下基于目标检测和几何概率的视觉SLAM方法，其特征在于，步骤2
‑
...

【专利技术属性】
技术研发人员：潘天红，崔振威，杨国志，樊渊，汪政，
申请(专利权)人：安徽大学，
类型：发明
国别省市：