【技术实现步骤摘要】
本专利技术涉及一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，属于机器人感知定位领域。
技术介绍
1、移动机器人的出现极大地方便了我们的生活。为使移动机器人在高度智能化时代能脱离人类操控，具备自我定位和感知能力，slam技术应运而生。slam技术根据传感器不同分为基于视觉和激光雷达。视觉slam以相机为主要传感器，包括单目、双目和rgb-d相机。单目相机轻便、价格低廉，但在快速移动和特征缺失时效果较差，因此需要多传感器融合，如将视觉传感器和imu信息结合为vio系统，以提高定位精度。
2、然而，目前大多数slam技术假设场所为静态环境，而实际场景中存在许多动态场景，如室内人和动物行走、可移动物体。处理动态环境的方法可以通过识别并去除动态特征点，保留静态特征点，以提升定位精度。目前的动态特征剔除方法采用语义分割和几何方法，但这些方法可能耗费大量时间，降低系统实时性。因此，本方法选择轻量级神经网络框架，平衡实时性和精确度，以适应复杂的动态场景。
3、在视觉惯性slam系统中，通常采用提取特征点的方法，但在弱纹理场景下可能检测不到足够的点特征，影响定位精度甚至无法定位。然而，在这些场景下往往存在较多线特征，合理利用线特征可解决问题。因此，本方法在点特征的基础上加入线特征，以保持较高的定位精度。
技术实现思路
1、本专利技术所要解决的技术问题在于，在室内动态场景和弱纹理场景下，提取点线特征，训练神经网络识别并剔除动态特征，利用保留的静态点线特征构建约束，优化位
2、为解决上述技术问题，本专利技术提供一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，该方法包括如下步骤：
3、s1：基于输入图像帧，使用神经网络框架识别图像帧中预设的动态目标类别，生成对应的目标框；
4、s2：根据s1输出的附带目标类别信息的图像帧，进行点特征和线特征提取，随后进行特征匹配；
5、s3：根据s2的点线特征信息，在s1提取出的动态目标矩形框中进行动态特征剔除，保留静态特征用于后续定位建图；
6、s4：根据s3提取出的静态特征构建点线特征约束进行后端优化用于定位建图，并利用预设的点线词袋库用于回环检测和重定位。
7、优选的，所述步骤s1具体包括以下过程：
8、s1.1收集包含室内环境中动态目标的图像并标注出目标的位置信息，调整深度学习框架的超参数使其适应复杂室内环境，并使用框架训练自制的数据集，建立能够精准检测室内环境图像帧中目标的模型，生成对应矩形目标框；
9、s1.2使用训练好的模型对单目相机传来的图像帧进行目标检测，生成改进的目标矩形框：
10、(t，x，y，w/2，h/2)
11、其中，t代表预设的目标类别，x和y表示矩形框中心的横纵坐标，w和h表示矩形框的宽度和高度。该框中心与初始矩形框中心相同，宽高为其一半。
12、检测目标时，针对框内特征设定判定规则：
13、
14、优选的，所述步骤s2具体包括以下过程：
15、s2.1基于设定的滑动窗口，利用harris corner算法提取角点；
16、s2.2采用klt光流法对帧间提取出的的角点进行匹配，以角点为中心构建固定大小的矩形窗口作为比较对象，并使用图像金字塔方法防止陷入局部最小值；
17、s2.3采用改进的edlines方法提取线特征，定义线特征提取公式为：
18、
19、其中a为一条线段，n为a的线段长度，k为a上与a方向一致的点的数目，n4为n×n图像帧中所有可能的线段数量，方向一致定义为线段方向与像素梯度方向处于22.5°之内，即p取8/1。
20、若nfa<1，则保留线段，否则丢弃；此方法同时能筛选掉短线段；
21、s2.4提取线特征时采用ransac方法区分内外点，设置迭代次数，选取内点拟合线段；
22、s2.5提取出线段后，使用lbd算法建立线段支持域计算描述符，将支持域分成若干个条带{b1，b2，…，bm}，计算每个条带bj对应的特征向量bdj，将所有向量合并，构成lbd描述子：
23、
24、优选的，所述步骤s3具体包括以下过程：
25、s3.1在两帧间采用对极几何约束方法剔除动态特征点，对于特征点对应第二帧图像上的极线l2＝[x y z]t，定义距离公式：
26、
27、其中x1，x2为归一化平面坐标，f为基础矩阵。投影点到极线距离d大于设定阈值，则将其视作动态特征点并剔除；
28、s3.2对于动态线特征的剔除，判断匹配线段的两端点到其投影线段的距离，定义距离公式：
29、
30、其中，空间线段的重投影线段为l′，匹配线段为l，匹配线段的两端点为xe，xs，其在线段l′＝(l1,l2,l3)t上的投影点为x′e，xs′，投影距离分别用de和ds表示。
31、m大于设定阈值，则将其视为动态线特征，否则视为静态线特征。
32、优选的，所述步骤s4具体包括以下过程：
33、s4.1在构建的系统中建立先验约束、imu预积分约束、点重投影约束、线重投影约束、回环检测约束：
34、
35、其中b为窗口内imu测量集合，d和l为图像帧中至少被观测两次的点特征和线特征的集合；hp为信息矩阵，为imu预积分噪声项的协方差，为视觉观测的噪声协方差；ρ为抑制离群点的鲁棒核函数：
36、
37、s4.2基于提取到的brief描述子和lbd线特征，使用kmeans++算法对所有的点线特征聚类得到词典树。循环计算当前帧和系统所存储关键帧之间的相似度，依次比较图像的向量范数，向量v1、v2之间的相似度计算公式为：
38、
39、其中v1、v2为两个图像帧的向量范数，包括点特征信息和线特征信息。
40、当s大于设定阈值时判断两帧为回环，固定回环帧，并进行4-dof的位姿图优化，最终得到高精度位姿。
41、相对于现有技术，本专利技术的优点如下：
42、首先，本专利技术改进了线特征的提取方法，将传统的lsd方法提取线特征改进为edlines方法提取线特征，加快了线特征的提取速度和精度，并抑制了短线段的提取；改进了edlines方法，在其中加入了ransac方法，降低了外点对线段提取的影响。
43、其次，针对室内大部分可能出现的动态物体做了神经网络训练，在保持实时性的同时能提供语义信息。
44、最后，运用相对应的动态点线特征剔除方法，达到了精度较高且速度较快的剔除动态特征、保留静态特征的目的，最终实现室内鲁棒定位。
本文档来自技高网...【技术保护点】
1.一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，其特征在于，所述步骤S1中识别动态目标并生成对应目标框的方式如下：
3.根据权利要求1所述的一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，其特征在于，所述步骤S2中进行点线特征提取和匹配的方式如下：
4.根据权利要求1所述的一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，其特征在于，所述步骤S3中对提取出的矩形框中进行动态特征剔除的方式如下：
5.根据权利要求1所述的一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，其特征在于，所述步骤S4中对数据构建约束进行优化并进行回环检测的方式如下：
【技术特征摘要】
1.一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，其特征在于，所述步骤s1中识别动态目标并生成对应目标框的方式如下：
3.根据权利要求1所述的一种在室内复杂环境下基于单目视觉/惯性的定位技术方法，其特征在于，所述步骤s2中进...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。