【技术实现步骤摘要】
本专利技术涉及计算机视觉与深度学习，特别涉及动态环境下基于加权注意力机制去除动态特征点的视觉slam方法。
技术介绍
1、同步定位与地图构建技术(simultaneous localization and mapping，slam)是最早由hugh durrant-whyte和john j.leonard提出，主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题。按照所使用的传感器类型分类可将slam分为两大类：激光slam和视觉slam。使用以视觉传感器作为主要感知方式的slam称为视觉slam。视觉slam所含信息量完整丰富、智能化程度高、探测范围广，可提取语义信息。视觉传感器的优点在于体积小、重量轻，使得其成本较低。除此之外，非接触和小范围内定位精度高的特点决定其应用无需提前布置场景，于是得到充分广泛的应用，涌现了大量优秀的经典视觉slam算法。
2、yolo(you only look once)是一种流行的实时目标检测算法，由joseph redmon和ali farhadi等人开发，旨在识别图像中出现的物体以及它们的位置。与其他目标检测算法不同的是，yolo将整个图像看作一个整体，并使用单个cnn(卷积神经网络)模型直接预测图像中所有物体的类别和位置。这使得yolo具有更快的速度和更高的实时性，而不需要额外的后续处理步骤。yolo算法通过在图像上滑动网格来实现目标检测，每个单元格负责预测一组边界框和类别概率。每个边界框由5个值表示，包括中心坐标、宽度、高度和一个表示对象存在的置信度得分。分类概
3、在无人车自动驾驶场景下，slam技术广泛应用于无人车自动驾驶上，这也将成为世界未来发展的趋势。为使自动驾驶汽车能够安全稳定地运行在道路上，对于参与道路交通的运动目标，如：车辆、行人等，自动驾驶车辆都需要做出实时精确的检测以及判断。对实时目标的精准检测、识别并做出判断是保证其运行的基础与核心。传统视觉slam算法假设环境中的物体是静态或者低运动的，在该假设环境下将影响其在实际环境中的应用情况。环境中存在动态物体都将给系统带来错误的观测数据，严重影响系统的精度和鲁棒性。因此需要检测运动的物体、剔除动态区域的特征点(或者降低其在优化位姿时的权重)，以减少物体运动对视觉定位的影响。
4、因此，如何提供一种有助于提高动态环境中的定位精度的基于加权注意力机制去除动态特征点的视觉slam方法是本领域技术人员亟待解决的技术问题。
技术实现思路
1、本专利技术针对上述研究现状和存在的问题，提供了一种基于加权注意力机制去除动态特征点的视觉slam方法，可以有效去除动态特征点以及充分利用剩余的静态特征点进行位姿估计，保证精度检测的实时性的同时，提高在动态环境中视觉slam系统的精确性和鲁棒性。
2、本专利技术提供的一种基于加权注意力机制去除动态特征点的视觉slam方法，包括如下步骤：
3、s1：使用rgb-d相机获取场景的rgb图像和depth深度图像，通过rgb图像实时提取orb特征点；
4、s2：将所述rgb图像输入yolov7目标检测网络，获取场景中目标物体的边界框及目标物体的种类；根据预设的所述种类与动态物体/静态物体的对应关系，确定动态物体所在的边界框，即动态物体边界框；
5、s3：利用depth深度图像检测获得动态物体边界框中的所有目标物体边界，包括动态特征点边界和静态特征点边界；基于加权注意力模型、orb特征点和动态特征点边界将所述动态物体边界框中的动态特征点剔除；
6、s4：将得到的orb特征点中所有静态特征点进行帧间特征点匹配，得到最佳匹配特征点；基于ransac算法和最佳匹配特征点进行相机位姿估计，得到相机运动结果。
7、优选的，所述s1中通过rgb图像实时提取orb特征点具体包括：
8、对所述orb图像依次进行多尺度的高斯模糊处理及降采样操作，形成由多尺度图像构成的图像金字塔，对所述图像金字塔的所有层进行fast特征点提取，作为orb特征点；
9、对所述orb图像中的图像块定义矩，通过矩找到其质心，并连接图像块的几何中心和质心得到orb特征点方向向量。
10、优选的，所述s1中还包括：
11、使用分块搜索或八叉树的方式均匀分布图像金字塔每层提取的fast特征点，作为orb特征点。
12、优选的，所述s2具体包括：
13、所述rgb图像经过预处理，输入到yolov7目标检测网络中进行目标识别检测，包括依次经过的backbone网络和neck网络，得出三种不同尺度的输出，输出中包含边界框的大小和位置，及目标物体种类；
14、预设目标物体种类行进的车辆，行人及自行车为动态物体，其余目标物体种类设为静态物体。
15、优选的，所述s2具体包括确定动态物体所在的边界框和静态物体所在的边界框的步骤：
16、根据yolov7算法得到的目标物体边界框检测结果，确定动态物体边界框以及静态物体边界框，即静态物体所在的边界框；
17、根据目标物体种类确定动态物体所在的动态物体边界框并过滤静态物体边界框形成相应的集合，用于动态特征点去除处理。
18、优选的，所述s2中获取场景中目标物体的边界框还包括：获取静态物体所在的边界框，即静态物体边界框；动态物体边界框中的动态物体区域大于静态物体区域，静态物体边界框中的静态物体区域大于动态物体区域。
19、优选的，所述s3具体包括：
20、在所述动态物体边界框中应用加权注意力机制模型，公式如下：
21、
22、式中，y为注意力机制模型的全连接层，即输出特征点的特征加权注意力得分总和，w为加权注意力机制卷积层，用于预测目标物体的种类；φ(fn；θ)为注意力机制得分函数，fn为输入注意力机制模型的动态物体边界框中所有orb特征点，θ为orb特征点对应种类的权重；
23、利用sobel算子计算depth深度图像中目标物体亮度值的梯度，获得目标物体自身边界；
24、首先根据动态特征点和静态特征点的边界范围给予所有orb特征点分类，以识别动态物体边界框中的动态特征点和静态特征点，进一步使用加权注意力机制给予动态物体边界框中的动态特征点给予权重，通过神经网络处理并剔除，并将剔除后动态物体边界框中的静态特征点和静态物体边界框中的特征点输入到orb-slam2的跟踪线程中。
25、优选的，所述s4中，将得到的orb特征点中所有静态特征点进行帧间特征点匹配，得到最佳匹配特征点具体包括：
26、随机抽取4个不共线的特征点，计算出单应矩阵h，记为模型m；
27、利用模型m测试rgb图像帧中所有orb特征点，计算图像帧中所有orb特征点与模型m的投影误差，本文档来自技高网...
【技术保护点】
1.一种基于加权注意力机制去除动态特征点的视觉SLAM方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于加权注意力机制去除动态特征点的视觉SLAM方法，其特征在于，所述S1中通过RGB图像实时提取ORB特征点具体包括：
3.根据权利要求2所述的一种基于加权注意力机制去除动态特征点的视觉SLAM方法，其特征在于，所述S1中还包括：
4.根据权利要求1所述的一种基于加权注意力机制去除动态特征点的视觉SLAM方法，其特征在于，所述S2具体包括：
5.根据权利要求4所述的一种基于加权注意力机制去除动态特征点的视觉SLAM方法，其特征在于，所述S2具体包括确定动态物体所在的边界框和静态物体所在的边界框的步骤：
6.根据权利要求1所述的一种基于加权注意力机制去除动态特征点的视觉SLAM方法，其特征在于，所述S2中获取场景中目标物体的边界框还包括：获取静态物体所在的边界框，即静态物体边界框；动态物体边界框中的动态物体区域大于静态物体区域，静态物体边界框中的静态物体区域大于动态物体区域。
7.根据权利要求1所
8.根据权利要求1所述的一种基于加权注意力机制去除动态特征点的视觉SLAM方法，其特征在于，所述S4中，将得到的ORB特征点中所有静态特征点进行帧间特征点匹配，得到最佳匹配特征点具体包括：
9.根据权利要求1所述的一种基于加权注意力机制去除动态特征点的视觉SLAM方法，其特征在于，所述S4还包括：经过相机位姿估计后，选择关键帧进行局部建图线程，回环检测线程和光束法平差进行建图处理；其中，所述关键帧是在局部一系列普通帧中筛选出一帧作为局部帧的代表，记录局部信息，局部帧为关键帧设定距离范围内的帧；
10.根据权利要求9所述的一种基于加权注意力机制去除动态特征点的视觉SLAM方法，其特征在于，所述关键帧的选取至少满足如下条件中的一个：
...【技术特征摘要】
1.一种基于加权注意力机制去除动态特征点的视觉slam方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于加权注意力机制去除动态特征点的视觉slam方法，其特征在于，所述s1中通过rgb图像实时提取orb特征点具体包括：
3.根据权利要求2所述的一种基于加权注意力机制去除动态特征点的视觉slam方法，其特征在于，所述s1中还包括：
4.根据权利要求1所述的一种基于加权注意力机制去除动态特征点的视觉slam方法，其特征在于，所述s2具体包括：
5.根据权利要求4所述的一种基于加权注意力机制去除动态特征点的视觉slam方法，其特征在于，所述s2具体包括确定动态物体所在的边界框和静态物体所在的边界框的步骤：
6.根据权利要求1所述的一种基于加权注意力机制去除动态特征点的视觉slam方法，其特征在于，所述s2中获取场景中目标物体的边界框还包括：获取静态物体所在的边界框，即静态物体边界框；动态物体边界框中...
【专利技术属性】
技术研发人员：胡封晔，孟尧，凌壮，李杰，李启豪，李志军，那顺乌力吉，陈明晖，马军，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。