一种动态环境下基于制造技术

本发明专利技术公开了一种动态环境下基于

【技术实现步骤摘要】
一种动态环境下基于YOLO与点线面特征的视觉SLAM方法


[0001]本专利技术属于深度学习动态环境下视觉
SLAM
相关
，尤其涉及一种动态环境下基于
YOLO
与点线面特征的视觉
SLAM
方法
。

技术介绍

[0002]在人工智能高速发展的这几年，移动机器人与自动驾驶技术取得了重大进展
。
同时定位和建图
(SLAM)
作为许多机器人应用的先决技术，也在该领域引起了广泛的关注
。SLAM
技术在机器人的定位估计和地图绘制中发挥着重要作用，它可以帮助机器人在没有任何先验信息的情况下在未知环境中根据传感器数据定位自己，并同时创建周围环境的地图
。
位置的相关信息可以帮助机器人知道它在移动过程当中的位置，甚至是机器人未曾扫描探索过的地方
。
创建的地图可以使机器人还原重要的环境信息，当机器人回到同一地点时，这些信息可以用于重定位过程
。
[0003]在大方面上，从获取数据的传感器分类，
SLAM
可细分为激光
SLAM
和视觉
vSLAM。
视觉
SLAM
的主要传感器是相机，一般包括单目相机
、
立体相机和
RGB
‑
D
相机等
。
相比于激光
SLAM
，视觉中的图像可以存储比激光传感器更广泛的场景信息
,
应用场景更加广泛
。
经过数据挖掘，获得的信息可以应用于目标检测
、
语义分割等
。
视觉
SLAM
已经发展了三十多年，在某些特定场景下已经相当成熟
。
比如现今的特斯拉汽车，车身上用摄像头取代部分雷达进行周围信息的感知
。
一些先进的视觉
SLAM
系统已经取得了相当不错的性能，如
ORB
‑
SLAM2、LSD
‑
SLAM、RGBD
‑
SLAM
‑
V2。
[0004]然而，在面对一些极端环境
(
如动态环境或恶劣环境
)
时，传统的
SLAM
系统大多是脆弱的
。
动态环境从字面意思就能理解，是指出现物体运动的场景
。
目前，大多数基于静态环境假设的
SLAM
算法只允许少量的动态点出现
。
当动态目标占据图像的很大一部分或者持续进行干扰时，传统
SLAM
系统的精度和鲁棒性会面临很大的挑战
。
系统不稳定的主因是图像中动态点导致了错误的数据关联，并且在跟踪过程中极大地干扰了位置定位
。
已经许多研究这做了不少的尝试消除这些不匹配点所带来的不必要的约束
。
因此，为了提高
SLAM
系统的稳定性和准确性，找到一种有效的方法从所有去除动态点的影响是至关重要的
。
[0005]目标检测作为计算机视觉领域的核心问题，其主要任务是从图片或视频中找出目标并识别类别
。
目前该算法主要为两类：双阶网络与单阶网络
。
双阶是先提取出物体的特征，然后生成可能含有待测目标的位置的区域，后再通过卷积对物体进行分类；单阶则是图像通过网络直接预测出图中物体的位置和分类
。
其中
YOLO(You Only Look Once)
属于典型的单阶网络，它优势在于识别速度快，但是精度欠佳；
Mask R
‑
CNN
这类属于双阶网络，在精度上要超过单阶，但是训练和识别速度就不如了
。DynaSLAM
是采用多视几何和
Mask RCNN
相结合来对动态目标进行检测与滤除，虽然提升了
SLAM
系统的精度，但是实时性差
。
相比之下应用于
SLAM
的动态环境中，
YOLO
是综合评价比较高的目标检测模型了，同时
YOLO
系列算法经过几个版本的更迭，解决了很多低版本的问题，目前在物体目标检测领域占据了主导地位
[0006]本文提出了一种动态环境下基于
YOLO
与点线面特征的视觉
SLAM
方法称为
YOLO
‑
PLPSLAM
，来减少动态环境中运动物体的造成影响
。
为了有效地识别动态特征点，既利用了深度学习在场景理解中的优势，又利用了特征点固有的几何深度信息
。
这两部分结合可以更好帮助
SLAM
系统从语义和几何两个层面感知环境
。
在
SLAM
系统中设计一个轻量级的
YOLOv5
目标检测网络，该网络能够检测动态信息并在另一个线程中通过检测到的信息剔除动态特征点，在去除了动态检测框内的特征点的同时，补充了点特征和面特征来提高鲁棒性
。
在几何方面结合了一种结构化的
SLAM
方法
,
在位姿估计模块中使用了曼哈顿关系进行额外的位姿优化的方法
。

技术实现思路

[0007]本专利技术的目的是提供一种动态环境下基于
YOLO
与点线面特征的视觉
SLAM
方法，以解决传统的
SLAM
系统依赖于静态环境假设，对于动态环境性能不稳定等问题
。
[0008]一种动态环境下基于
YOLO
与点线面特征的视觉
SLAM
方法，包括以下步骤：
[0009]步骤
a
，使用深度学习中图像检测
YOLO
方法对数据集上的动态对象进行识别，然后去除动态检测框中的特征点来降低动态点对位姿估计的影响；
[0010]步骤
b
，加入结构化基于点线面融合的方法补充线特征和面特征以降低步骤
a
中会剔除有用特征点降低精度的影响，提高跟踪和建图的精度；
[0011]步骤
c
，对于跟踪线程部分，基于曼哈顿世界的假设，利用一种基于点
、
线和平面的解耦优化方法包括平移估计和旋转估计，并在附加的优化位姿模块中使用曼哈顿关系进行位姿优化；
[0012]步骤
d
，对相机轨迹的跟踪和稠密建图；
[0013]步骤
e
，确定验证指标；
[0014]步骤
f
，使用测试集来测试效果
。
[0015]优选的，所述步骤
a
中，首先在
...

【技术保护点】

【技术特征摘要】
1.
一种动态环境下基于
YOLO
与点线面特征的视觉
SLAM
方法，其特征在于：包括以下步骤：步骤
a
，使用深度学习中图像检测
YOLO
方法对数据集上的动态对象进行识别，然后去除动态检测框中的特征点来降低动态点对位姿估计的影响；步骤
b
，加入结构化基于点线面融合的方法补充线特征和面特征以降低步骤
a
中会剔除有用特征点降低精度的影响，提高跟踪和建图的精度；步骤
c
，对于跟踪线程部分，基于曼哈顿世界的假设，利用一种基于点
、
线和平面的解耦优化方法包括平移估计和旋转估计，并在附加的优化位姿模块中使用曼哈顿关系进行位姿优化；步骤
d
，对相机轨迹的跟踪和稠密建图；步骤
e
，确定验证指标；步骤
f
，使用测试集来测试效果
。2.
根据权利要求1所述的动态环境下基于
YOLO
与点线面特征的视觉
SLAM
方法，其特征在于：所述步骤
a
中，在
ORB
特征点提取模块加入了动态特征点剔除线程进行判断剔除工作，通过
YOLO
对数据集中动态目标
(
室内的主体行走的人
)
进行识别标定，删除相应的特征点，使得最后得到不再包含动态特征点的匹配，其中采用
YOLOv5
的版本进行优化工作，利用输入端对图像自适应放缩和锚框自适应的处理，中间
/
隐藏层激活函数使用
LeakyReLU
，最后的检测层激活函数为
Sigmoid
，用
MS COCO
数据集训练达到实验的要求
。3.
根据权利要求1所述的动态环境下基于
YOLO
与点线面特征的视觉
SLAM
方法，其特征在于：所述步骤
b
中，结合了一种专为结构化环境设计的
RGB
‑
D SLAM
系统，依靠从环境中提取的几何特征来提高跟踪和映射精度
。
点方面使用
ORB
特征点法，在点线提取环节，由于
RGB
‑
D
相机得到的深度图在物体边界处会出现深度不连续的先天性弱势存在由于深度错误导致投影的不准确情况，为克服这种影响，加入了对
3D
线进行滤波处理，即通过
RANSAC
方法对线段上的外点进行剔除；在低纹理环境中，难提取足够的点来进行鲁棒姿态估计，因此使用直线扩展特征集，用
LSD
方法提取直线；此外，在室内环境中经常会发现非纹理平面区域，可以从深度图中提取的平面来扩展点和线
。
采用连通区域分析法进行平面检测
。
用
Hessian
法线形式表示平面方程，其中是平面的法线，表示平面的方向，
d
是相机原点到平面的距离
。
具体是取一个
10
×
10
大小的
patch
法向量的平均值来对当前法向量进行平滑处理，而后将提取的平面与已有平面进行匹配
。4.
根据权利要求1所述的动态环境下基于
YOLO
与点线面特征的视觉
SLAM
方法，其特征在于：所述步骤
c
中，包含相机的旋转
、
平移的估计以及最后的位姿优化过程
。
通过在曼哈顿坐标系下求得了当前帧与曼哈顿坐标系的旋转矩阵
R
k+1,m
与
R
m
，
w

【专利技术属性】
技术研发人员：周昊，杨浩，顾鹏，张珂珂，陈朗，顾吴郡，
申请(专利权)人：盐城工学院，
类型：发明
国别省市：