融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统技术方案

本发明专利技术公开了一种融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，包括视觉模块、局部建图模块及回环检测与地图合并模块，所述的定位系统从摄像数据采集，经过过视觉模块得到关键帧，再通过局部建图模块及回环检测与地图合并模块，获得地图更新。采用上述技术方案，采用以视觉为主，惯导为辅的融合模式，通过视觉惯导进行辅助建图，惯导系统可以精确表示出AGV当前的运动位姿信息，更好地在室外场景进行定位；而基于注意力机制的视觉系统可在室外场景建立更加鲁棒的八叉树3D点云地图，填补激光雷达的不足，更加精确鲁棒的地图在后面AGV的路径规划与避障设计起到至关重要的作用。至关重要的作用。至关重要的作用。

【技术实现步骤摘要】
融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统


[0001]本专利技术属于工业AGV智能控制与导航的
更具体地，本专利技术涉及一种融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统。

技术介绍

[0002]1、相关技术发展背景介绍：
[0003]如今工业AGV大多以激光雷达与视觉为主要定位导航模块，而激光雷达与视觉在遇到长走廊，或者玻璃墙等极端环境下会导致定位失效，工业机器人AGV是依赖于可靠、连续的生产过程，每一分钟的停工都是极其昂贵的，任何停机都会立即导致生产力和收入的损失。一旦成线后使用厂家极为不愿意看到由于设备故障而导致的停产，造成非常大的经济损失。然而经行业研究表明，工业AGV宕机仍在频频发生，几乎每一家工厂都会因停工而损失至少5％的生产能力，而许多工厂损失高达20％。大多数已有的SLAM方法是在静止环境下实现的，针对传统视觉里程计容易收到人，车等动态物体的影响，导致较大误差等问题，在视觉融入基于目标检测以及几何约束的动态剔除模块与基于注意力机制的匹配是一种非常鲁棒的导航算法模型。
[0004]2、在现有技术文献中检索到以下对比文件：
[0005]“基于几何约束和目标检测的室内动态SLAM”，其技术方案是：
[0006]针对在室内动态环境下定位精度低和地图效果差的问题，提出一种基于几何约束和目标检测的室内动态SLAM方法，使用目标检测网络获取语义信息，提出运动物体漏检的方法；根据先验知识，提出准确识别动态区域的信息判定方法；结合几何约束和深度学习方法剔除动态点，利用静态点估计相机位姿。
[0007]3、上述公开的文献中记载的技术方案存在的问题和缺陷是：
[0008]没有IMU惯导系统对机器人的位姿进行优化，这可能使得AGV的定位精度不高，影响到后续在特殊高精度的路径规划需求；其视觉系统是基于传统的ORB特征点提取，在容易收到光照、视角、气候等环境因素导致相机采集模块出现不稳定的情况。
[0009]与本专利技术的最本质的区别是在前端视觉提取与匹配采用的是传统ORB与最近邻匹配算法。

技术实现思路

[0010]本专利技术提供一种融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其目的是解决激光融合视觉AGV在特殊环境下定位失效的问题。
[0011]为了实现上述目的，本专利技术采取的技术方案为：
[0012]本专利技术的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，包括视觉模块、局部建图模块及回环检测与地图合并模块，所述的定位系统从摄像数据采集，经过过视觉模块得到关键帧，再通过局部建图模块及回环检测与地图合并模块，获得地
图更新。
[0013]所述的视觉模块包括视觉单目摄像机采集模块、注意力匹配模块、目标检测模块、几何约束优化模块。
[0014]所述的局部建图模块包括动态物体剔除模块、地图跟踪模块、局部优化模块。
[0015]所述的回环检测与地图合并模块包括后端优化模块和全局优化模块。
[0016]所述的定位系统的词袋模型采用DBOW2高效的回环检测算法，是在自然语言处理和信息检索(IR)下被简化的表达模型。
[0017]所述的词袋模型包括激活地图、未激活地图、视觉词典和离线数据识别库。
[0018]所述的激活地图和未激活地图均分别包括特征点、关键帧、生成树和共视图。
[0019]其导航方法是：
[0020]首先，在视觉跟踪模块对采集的摄像头视频流数据，使用基于注意力机制的特征匹配算法进行预处理，将视觉语义信息转换在同一坐标系下；
[0021]在导航定位工作时，视频流的每一帧图像都进行了特征提取，使用目标检测与几何约束，对动态特征点进行剔除。
[0022]当这一帧图像的合格特征点超过规定的阈值，则认定为关键帧，插入到局部建图模块进行处理；
[0023]然后，基于DBOW2词袋模型中加入注意力机制，构建新的词典库进行回环检测优化位姿，以及使用ATLAS多地图管理第三方库进行地图合并优化位姿；
[0024]最后，通过融入IMU惯导进行全局BA优化位姿更新3D点云地图与激光雷达扫描出的3D点云地图进行匹配、拼接、优化。
[0025]在所述的定位系统中加入轻量级目标检测网络，对动态物体进行检测，剔除3D点云地图中的动态特征点，使得AGV在室外场景更加鲁棒。
[0026]本专利技术采用上述技术方案，采用以视觉为主，惯导为辅的融合模式，通过视觉惯导进行辅助建图，惯导系统可以精确表示出AGV当前的运动位姿信息，更好地在室外场景进行定位；而基于注意力机制的视觉系统可在室外场景建立更加鲁棒的八叉树3D点云地图，填补激光雷达的不足，更加精确鲁棒的地图在后面AGV的路径规划与避障设计起到至关重要的作用。
附图说明
[0027]附图所示内容简要说明如下：
[0028]图1为本专利技术的模块框图。
具体实施方式
[0029]下面对照附图，通过对实施例的描述，对本专利技术的具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本专利技术的专利技术构思、技术方案有更完整、准确和深入的理解。
[0030]如图1所表达的本专利技术的模块框图，为一种融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统。
[0031]为了解决现有技术存在的问题并克服其缺陷，实现解决激光融合视觉AGV在特殊
环境下定位失效的问题的专利技术目的，本专利技术采取的技术方案为：
[0032]如图1所示，本专利技术的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，包括视觉模块、局部建图模块及回环检测与地图合并模块，所述的定位系统从摄像数据采集，经过过视觉模块得到关键帧，再通过局部建图模块及回环检测与地图合并模块，获得地图更新。
[0033]本专利技术为了解决传统激光融合视觉AGV在特殊环境下定位失效等问题，提出了以上所述的融合注意力机制的目标检测与几何约束的视觉惯性室内动态环境定位系统，适用于室内导航。
[0034]所述的视觉模块包括视觉单目摄像机采集模块、注意力匹配模块、目标检测模块、几何约束优化模块。
[0035]所述的视觉模块，进行注意力匹配；通过几何约束，进行YOLO动态特征检测；通过IMU，确定初始化位置；提取关键帧。
[0036]所述的局部建图模块包括动态物体剔除模块、地图跟踪模块、局部优化模块。
[0037]所述的局部建图模块在获得关键帧后，对其进行处理，然后剔除地图点，接着局部BA优化，最后，进行局部关键帧剔除。
[0038]所述的回环检测与地图合并模块包括后端优化模块和全局优化模块。
[0039]所述的回环检测与地图合并模块完成地图合并、回环修正，包括词典库查询、计算位姿、回环融合、合并地图位姿优化。
[0040]所述的定位系统的词袋模型采用DBOW2高效的回环检测算法，是在自然语言处理和信息检索(IR)下被简化的表达模型。
...

【技术保护点】

【技术特征摘要】
1.融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的定位系统包括视觉模块、局部建图模块及回环检测与地图合并模块，所述的定位系统从摄像数据采集，经过过视觉模块得到关键帧，再通过局部建图模块及回环检测与地图合并模块，获得地图更新。2.按照权利要求1所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的视觉模块包括视觉单目摄像机采集模块、注意力匹配模块、目标检测模块、几何约束优化模块。3.按照权利要求1所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的局部建图模块包括动态物体剔除模块、地图跟踪模块、局部优化模块。4.按照权利要求1所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的回环检测与地图合并模块包括后端优化模块和全局优化模块。5.按照权利要求1所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的定位系统的词袋模型采用DBOW2高效的回环检测算法，是在自然语言处理和信息检索(IR)下被简化的表达模型。6.按照权利要求5所述的融合注意力的目标检测与几何约束的视觉惯性室内动态环境定位系统，其特征在于：所述的词袋模型包括激活地图、未激活地图、视觉词典和离线数据识别库。7.按照...

【专利技术属性】
技术研发人员：杨海波，曹雏清，赵立军，
申请(专利权)人：哈尔滨工业大学芜湖机器人产业技术研究院，
类型：发明
国别省市：