低照度场景机器人主动视觉SLAM方法、装置和设备制造方法及图纸

本申请涉及一种低照度场景机器人主动视觉SLAM方法、装置和设备。该方法包括：获取机器人搭载的普通可见光相机的低照度图像；构建改进的ORB

【技术实现步骤摘要】
低照度场景机器人主动视觉SLAM方法、装置和设备


[0001]本申请涉及视觉同步定位与建图
，特别是涉及一种低照度场景机器人主动视觉SLAM方法、装置和设备。

技术介绍

[0002]视觉同步定位与建图（Visual simultaneous localization and mapping ，简称：视觉SLAM，）是城市环境下机器人实现自主化的核心关键技术。近年来，随着机器人越来越多地走向实际应用，对SLAM在复杂场景中的性能提出更高的要求，如物流/巡检机器人需要实现全天长航时工作，即在白天和夜间都要完成自主定位并长期稳定的运行。传统视觉SLAM方案只适合白天能见度良好的工作环境，在低照度且光照动态变换情况下上述方案非常容易失效。
[0003]目前关于低照度城市环境视觉感知研究主要围绕低照度图像增强开展，且研究人员更倾向于更换传感器（红外视觉、激光雷达等）而不是对单一视觉传感器理论和技术进行深入研究来解决相关低照度视觉SLAM问题，导致基于消费级相机的低照度视觉SLAM研究尚未起步。低照度城市环境视觉SLAM面临着众多严峻挑战，具体表现在：1)低照度图像常常存在对比度较低、动态范围较差、噪声严重等缺陷，利用传统的特征描述子进行低照度图像帧间特征匹配时，有效视觉特征少且匹配成功率低；2)传统的视觉里程计是相机被动式地采集图像信息，无主动视角调整，低照度环境视觉特征缺失和视觉传感器不规则运动等因素所导致的位姿估计失效问题更加严重。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够解决低照度城市环境下机器人面临的低照度图像的帧间鲁棒特征匹配、被动式视觉里程计位姿估计不准等问题的低照度场景机器人主动视觉SLAM方法、装置和设备。
[0005]一种低照度场景机器人主动视觉SLAM方法，所述方法包括：获取机器人搭载的普通可见光相机拍摄的低照度图像。
[0006]构建改进的ORB
‑
SLAM3系统，所述改进的ORB
‑
SLAM3系统是在ORB
‑
SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB
‑
SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；所述点线混合特征描述子增强和匹配模块用于根据提取的点特征和线特征构建关于特征的图结构，采用图神经网络对所述图结构进行聚合，根据得到的聚合结果采用Sinkhorn算法，得到增强特征的匹配结果。
[0007]将所述低照度图像输入到改进的ORB
‑
SLAM3系统中，得到关键帧。
[0008]根据所述关键帧进行直线重建度的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧路标点数量。
[0009]根据所述直线重建的不确定度和所述当前帧路标点数量反馈控制相机的观测姿
态，保持高质量路标点在相机视野中的数量，并持续减小直线重建的不确定度。
[0010]在其中一个实施例中，将所述低照度图像输入到改进的ORB
‑
SLAM3系统中，得到关键帧，包括：将所述低照度图像输入到EnlightenGAN 图像增强模块中，得到增强图像。
[0011]将所述增强图像输入到所述点、线特征提取模块中，得到点特征和线特征。
[0012]将所述点特征和所述线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果。
[0013]将所述增强特征的匹配结果作为ORB
‑
SLAM3系统的前端数据，采用ORB
‑
SLAM3的后端算法进行处理，得到关键帧。
[0014]在其中一个实施例中，所述点线混合特征描述子增强和匹配模块包括：图结构构建层、图神经网络层以及匹配层。
[0015]将所述点特征和所述线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果，包括：将所述点特征和所述线特征输入到所述图结构构建层中，得到关于特征的图结构。
[0016]将所述图结构输入到所述图神经网络层中，得到特征向量。
[0017]将所述特征向量输入到所述匹配层中，得到增强特征的匹配结果。
[0018]在其中一个实施例中，所述图神经网络层包括图注意力层和多头图注意力机制；将所述图结构输入到所述图神经网络层中，得到特征向量，包括：将所述图结构输入到所述图注意力层中，得到图注意力层的输出结果。
[0019]将所述图注意力层的输出结果采用多头注意力机制进行拼接，得到特征向量。
[0020]在其中一个实施例中，将所述特征向量输入到所述匹配层中，得到增强特征的匹配结果，包括：将所述特征向量输入到所述匹配层中，采用Sinkhorn算法进行处理，得到增强特征的匹配结果在其中一个实施例中，根据所述关键帧分别进行直线重建度的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧路标点数量，包括：采用四参数直线表示方法对空间直线进行表示，四参数直线表示方法包括两个表示直线的方向的变量和两个表示直线空间位置的变量；空间直线的表达式为：；其中，、为表示直线空间位置的变量，为原点到直线的距离，为空间直线的旋转角度；和为表示直线的方向的两个变量，是通过空间直线的单位方向向量映射得到的，；在场景直线重构时进行不确定性分析，得到视野内直线重建的不确定度。
[0021]根据所述关键帧进行帧内路标点统计，得到当前帧路标点数量。
[0022]在其中一个实施例中，在场景直线重构时进行不确定性分析，得到视野内直线重
建的不确定度，具体包括：根据一个双视角观测进行场景直线重构，得到一个直线估算结果和对于的不确定性。
[0023]将多个双视角下直线重建不确定性的融合作为视野内直线重建的不确定度。
[0024]一种低照度场景机器人主动视觉SLAM装置，所述装置包括：低照度图像获取模块，用于获取机器人搭载的普通可见光相机拍摄的低照度图像。
[0025]改进的ORB
‑
SLAM3系统构建模块，用于构建改进的ORB
‑
SLAM3系统，所述改进的ORB
‑
SLAM3系统是在ORB
‑
SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB
‑
SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；所述点线混合特征描述子增强和匹配模块用于根据提取的点特征和线特征构建关于特征的图结构，采用图神经网络对所述图结构进行聚合，根据得到的聚合结果采用Sinkhorn算法，得到增强特征的匹配结果。
[0026]关键帧确定模块，用于将所述低照度图像输入到改进的ORB
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低照度场景机器人主动视觉SLAM方法，其特征在于，所述方法包括：获取机器人搭载的普通可见光相机拍摄的低照度图像；构建改进的ORB
‑
SLAM3系统，所述改进的ORB
‑
SLAM3系统是在ORB
‑
SLAM3系统的ORB特征提取模块之前增加EnlightenGAN 图像增强模块，将ORB特征提取模块替换为点、线特征提取模块，并将ORB
‑
SLAM3方法框架中的描述子和匹配模块替换为基于图神经网络的点线混合特征描述子增强和匹配模块得到的；所述点线混合特征描述子增强和匹配模块用于根据提取的点特征和线特征构建关于特征的图结构，采用图神经网络对所述图结构进行聚合，根据得到的聚合结果采用Sinkhorn算法，得到增强特征的匹配结果；将所述低照度图像输入到改进的ORB
‑
SLAM3系统中，得到关键帧；根据所述关键帧进行直线重建度的不确定性分析和帧内路标点统计，得到视野内直线重建的不确定度和当前帧路标点数量；根据所述直线重建的不确定度和当前帧路标点数量反馈控制相机的观测姿态，保持路标点在相机视野中的数量，并持续减小直线重建的不确定度。2.根据权利要求1所述的方法，其特征在于，将所述低照度图像输入到改进的ORB
‑
SLAM3系统中，得到关键帧，包括：将所述低照度图像输入到EnlightenGAN 图像增强模块中，得到增强图像；将所述增强图像输入到所述点、线特征提取模块中，得到点特征和线特征；将所述点特征和所述线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果；将所述增强特征的匹配结果作为ORB
‑
SLAM3系统的前端数据，采用ORB
‑
SLAM3的后端算法进行处理，得到关键帧。3.根据权利要求2所述的方法，其特征在于，所述点线混合特征描述子增强和匹配模块包括：图结构构建层、图神经网络层以及匹配层；将所述点特征和所述线特征输入到点线混合特征描述子增强和匹配模块中，得到增强特征的匹配结果，包括：将所述点特征和所述线特征输入到所述图结构构建层中，得到关于特征的图结构；将所述图结构输入到所述图神经网络层中，得到特征向量；将所述特征向量输入到所述匹配层中，得到增强特征的匹配结果。4.根据权利要求3所述的方法，其特征在于，所述图神经网络层包括图注意力层和多头图注意力机制；将所述图结构输入到所述图神经网络层中，得到特征向量，包括：将所述图结构输入到所述图注意力层中，得到图注意力层的输出结果；将所述图注意力层的输出结果采用多头注意力机制进行拼接，得到特征向量。5.根据权利要求3所述的方法，其特征在于，将所述特征向量输入到所述匹配层中，得到增强特征的匹配结果，包括：将所述特征向量输入到所述匹配层中，采用Sinkhorn算法进行处理，得到增强特征的匹配结果。6.根据权利要求1所述的方法，其特征在于，根据所述关键帧分别进行直线重建的不确定性分析和帧内路标点统计，得到视野内直...

【专利技术属性】
技术研发人员：郭瑞斌，郭子睿，唐景昇，代维，周行，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：