【技术实现步骤摘要】
本专利技术属于计算机视觉与移动机器人的，特别是涉及需要融合长短线段的点线视觉惯性里程计系统。
技术介绍
1、同步定位与地图创建(slam)技术包括机器人传感器状态的估计和从传感器感知的环境模型的构建。在过去的几十年里，slam在许多机器人领域发展迅速，主要包括以各种传感器为核心的激光slam和视觉slam。在视觉slam的多种方式中，单目视觉slam发展的速度最快，但相机容易拍摄各种模糊的照片导致定位困难。为了弥补相机的缺点，在实际应用中，相机通常与惯性测量单元(imu)相融合，一方面imu可以高频地获取机器人内部的运动信息，；另一方面，相机通过视觉匹配完成环回检测和校正，使得累积imu漂移得到有效校正。一个结合单目摄像头和imu的经典方法是vins-mono，它提供了一个完整的视觉惯性里程计框架。
2、大多数地图重建方法采用的主要元素是点特征，点特征占用像素少，数量大，计算复杂度低。但是在亮度低的环境中容易跟踪失败，并且它们忽略了场景结构，在低纹理的特殊环境中也难以被检测到。因此，线特征的出现弥补了点特征的不足。pl-slam方法使用bow技术在闭环检测阶段将线段的描述符收集到词总量中，这虽然提高了鲁棒性，但不能保证实时性。现有pl-vio方法，通过在vio框架上组合点和线特征，为线特征引入了两个参数化表示模式，并定义了一个观察模型来精确整合线特征。pl-vins方法在pl-vio的基础上优化了线段检测过程，使隐藏参数显性化，加快了特征检测速度。同时通过探索角点和线特征的位置相关性，通过设计约束来耦合点和线特征的残
技术实现思路
1、本专利技术的目的是解决现有点线视觉惯性里程计系统中线段打断以及重复检测的问题，提供了一种基于三角化的长短线段正确匹配及恢复的方法。
2、本专利技术提出了一种点线视觉里程计方法，通过设计短线拼接和长线融合策略进行姿态估计和场景重建，提高了线段检测阶段的特征处理性能和场景恢复程度。首先，设计两个判断约束对线特征进行筛选和分类，并在相邻两个关键帧方向一致、距离相近的前提下对线段进行融合。然后，通过合并两条短线的端点将原来的两次三角剖分操作减少为一次，并基于正确的线段选择和匹配策略对平行长线段进行三角剖分。因此，短线拼接提高了三角测量精度，长线融合进行了正确的匹配，从而提高了系统精度。然后，通过推导归一化平面上的雅可比矩阵，分析了线段的重投影误差模型。最后，将线的重投影误差和点的重投影误差结合到滑动窗口中，实现状态优化。在euroc数据集上验证了该方法的性能。本文的主要贡献在于通过设计拼接和融合策略提高了线段利用率，提高了三角剖分过程中的特征匹配精度，节省了特征处理时间。
3、本专利技术主要做出了以下几方面贡献：1.在提取和跟踪后，将线段分为长短两类，以提高特征利用率；2.在方向一致的基础上拼接短线，合并长线；3.在保证相邻帧正确匹配的前提下，优化了两种线段的三角化过程，从而提高了姿态估计的精度。同时利用点和线特征约束来重建工作场景。
4、本专利技术提出的短线拼接和长线融合视觉惯性里程计系统包括：
5、第1，系统模型分析
6、第1.1，系统概况
7、附图1显示了提出的psl视觉惯性里程计方法的框图，该方法基于点特征融合了短线和长线。在数据预处理阶段执行光流跟踪、点和线特征提取以及imu预积分。在系统前端，通过对线段的过滤和分类，设计了短线拼接和长线合并策略。在特征匹配后，进入后端优化阶段恢复场景信息。重投影误差、imu运动约束、边缘化先验约束在滑动窗口中联合优化。
8、第1.2，点和线提取
9、对于所提出的方法中的点特征处理，提取的点特征是shi-tomasi角点，并且使用kanade-lucas-tomasi(klt)金字塔光流算法来跟踪相邻帧之间的特征点。执行f矩阵测试，并使用ransac方案来消除异常点。
10、对于线特征的处理，采用lsd算法来检测、识别和跟踪线段。在跟踪线特征之后，采用lbd和k最近邻(knn)算法来描述和匹配相邻两帧之间的线特征。
11、在线特征检测过程中，首先调整图像金字塔的参数以生成lsd检测器，并且将检测到的线段聚集在一起以进一步计算线特征描述符。线段被标记为固定和动态特征，然后根据二进制描述符在先前和当前帧中匹配。给描述符的距离设置阈值，如果相邻帧上直线端点的移动距离在阈值内，则匹配成功。
12、第1.3，短线拼接
13、针对线特征检测中的分散和重复的情况，本专利技术设计了一种线段融合策略，以提高定位精度。在lsd执行过程中，空间中的一条完整线段往往被分割成若干条不规则线段，这破坏了线特征的完整性并且增加了后端三角化的时间开销。符号l1(s1，e1)和l2(s2，e2)表示由lsd检测的两条线，s1，e1，s2，e2是端点。
14、由于线的表示方式区分了线段的起点和终点，使得线段的空间位置具有方向性。最初，在lsd算法检测之后，对每一帧进行行方向判断：
15、
16、其中x(·)代表端点的横坐标。当l1和l2方向相反时，后检测到的线段l2的起点和终点的坐标会交换，以保持与前一个线段l1相同的方向。
17、然后，设置两个筛选条件来判断哪些线应该被处理并剔除干扰线，满足条件的短线如附图2(a)所示。第一个是关于距离，在l1和l2的四个端点中选取两个最近的端点，令两个候选线段的距离小于设定的阈值。第二个是关于角度，这里要保证拼接的线段原来来自一条长线，两条短线之间的角度必须是0或者π。
18、最后，在执行上述三个判断条件后，将短线l1和l2拼接成新的完整线段。因此，拼接线具有(e1，s2)，(e1，e2)，(s1，s2)和(s1，e2)四种情况，如附图2(b)所示。因此，拼接操作简化了候选线的方向类型，并选择了合适的线进行跟踪和匹配。
19、第1.4，长线融合
20、lsd算法通常在具有规则空间结构的场景中，如窗户、人行道和管道中，将一条线再现为多条重复的线。这些重复的线彼此靠近但不重叠，影响线特征匹配和后端特征恢复，并且很大程度上影响线特征的姿态估计。为了使重建的场景中的线条简洁，通过以下条件合并两条平行线。
21、长线特征的融合示意图如附图3所示。检测到长线段后，定义为l3(s3，e3)和l4(s4，e4)的两条长线段将由与短线相同的两个标准筛选，其中l3和l4彼此平行，并且l3和l4的两对对应端点都低于距离阈值dt。
22、考虑到端点的方向性，两条长线组合有(s3，s4)，(s3，e4)，(e3，s4)和(e3，e4)四种情况。根据(1)调整候选线的方向，以使l3和l4的方向相同。由于l4是在l3的基础上检测的未对准的重合线，所以第二条线l4在l3的位置处被合并。最后，经过上述三个判断条件两条长线得到融合。
23、第2，线特征的优化
24、第2.1，3d线的几何本文档来自技高网...
【技术保护点】
1.长短线段整合的点线特征融合视觉惯性里程计方法，其特征在于包括以下步骤：
【技术特征摘要】
1.长短线段整合的点线特征融合视觉惯性...
【专利技术属性】
技术研发人员：李宝全，何晓菁，李威威，师五喜，
申请(专利权)人：天津工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。