本发明专利技术提供一种单目视觉里程计方法、装置、系统及存储介质，该方法包括：步骤一、对摄像头采集的单帧图像进行特征点提取，得到图像的特征点和描述子；步骤二、将相邻帧图像的特征点进行特征匹配，得到特征匹配的最优得分矩阵；步骤三、对所述最优特征矩阵根据最小距离阈值法和RANSAC优化算法进行优化，剔除错误匹配对，再根据对极几何约束求解相机位姿。本发明专利技术能够融合深度学习的特征点提取和匹配算法，并对匹配结果进行优化，解决了视觉里程计在光照变化场景下误差较大的问题，提高了单目视觉里程计的精度和鲁棒性。里程计的精度和鲁棒性。里程计的精度和鲁棒性。
【技术实现步骤摘要】
一种单目视觉里程计方法、装置、系统及存储介质
[0001]本专利技术涉及机器人同步定位与地图构建领域，具体是一种单目视觉里程计方法、装置、系统及存储介质。
技术介绍
[0002]移动机器人是一种具有自主能力，能够执行特定任务的无人系统，移动机器人无论是在军事还是民用中都发挥着重要的作用。移动机器人可以部署在高危险环境或受核、生物或化学制剂污染的区域，它们可靠、快速、机动性强，可以执行各种任务，包括监控、巡逻、搜救等任务。
[0003]传统地形勘探的方式存在很多难点：
①
环境复杂、工况恶劣：战场上局势瞬息万变，十分危险；
②
危险地形，难以作业：部分地形作业风险高，地形勘探活动难以开展；
③
耗财耗时，效率低下：勘探方法古老，需要耗费大量的人力财力。针对以上问题，移动机器人就具有很多技术优势：
①
自主导航，可以抵达危险区域，人员无需涉险；
②
勘探方法简单便捷；
③
定位精度高，跑线精确。所以，移动机器人能够承担地形勘探、巡逻等任务，并且能够减少大量的人力、物力。
[0004]同步定位与地图构建（Simultaneous Localization and Mapping，SLAM）作为移动机器人执行定位、导航等任务的核心技术，使得移动机器人能够在未知环境中自由活动。SLAM是指在未知环境中利用传感器对移动机器人周围环境中所处的位置与姿态进行状态感知与估计，并对所处环境进行地图构建。视觉里程计作为视觉SLAM的前端，是指从一系列图像流中估计相机的运动位姿。传统的视觉里程计算法包括相机矫正、特征检测、特征匹配、运动估计等，能够在大部分情况下取得很好的效果，但是在光照变化大的场景下会出现定位失败的现象。
技术实现思路
[0005]本专利技术提供一种单目视觉里程计方法、装置、系统及存储介质，能够融合深度学习的特征点提取和匹配算法，并对匹配结果进行优化，解决了视觉里程计在光照变化场景下误差较大的问题，提高了单目视觉里程计的精度和鲁棒性，能够适应复杂的场景。
[0006]一种单目视觉里程计方法，包括如下步骤：步骤一、对摄像头采集的单帧图像进行特征点提取：利用深度卷积神经网络SuperPoint对图像进行特征提取，获取图像的特征点和特征描述子；步骤二、将相邻帧图像的特征点进行特征匹配：利用注意力机制网络SuperGlue对相邻帧图像的特征点进行匹配，求解最优特征分配矩阵；步骤三、根据匹配结果进行相机位姿估计与优化：对所述最优特征矩阵根据最小距离阈值法和RANSAC优化算法进行优化，剔除错误匹配对，再根据对极几何约束求解相机位姿。
[0007]进一步的，所述步骤一具体为：
深度卷积神经网络SuperPoint的模型结构包括共享编码器、特征点检测解码器和特征点描述解码器，所述共享编码器用于对图像进行降维处理，之后特征点检测解码器和特征点描述解码器的共享参数同时提取图像特征点和描述符，摄像头采集的单帧图像通过深度卷积神经网络SuperPoint处理后，即得到图像的特征点和特征描述子。
[0008]进一步的，所述步骤二具体为：注意力机制GNN将输入的图像的特征点和特征描述子编码为一个特征匹配向量f，再利用自我注意力机制和交叉注意力机制增强向量f的特征匹配性能，然后将向量f转化成匹配向量并输出到最优匹配层，计算特征匹配向量的内积得到匹配度得分矩阵，最后通过Sinkhorm算法多次迭代求解出最优特征分配矩阵。
[0009]进一步的，所述步骤三具体包括：步骤3.1：根据最小阈值法对错误图像特征点匹配对滤除，对图像中的特征点对进行距离测试，选取距离最近特征点对作为最小距离，对特征点匹配对的距离采用以下式子判断，当满足上述条件时，判定为正确匹配，否则剔除该匹配对：；其中，表示第i个匹配对，为设定的阈值，表示匹配集中最小匹配距离；步骤3.2：采用RANSAC优化算法进一步对错误图像特征点匹配对滤除，从最小阈值法优化后的匹配集M中随机挑选N+1对匹配对，N对匹配对计算相对变换矩阵得到模型Q，剩余1对匹配验证模型Q的准确性，重复上述步骤得到内点数最多的匹配结果；步骤3.3：相机位姿估计：对于优化后的结果，根据对极几何约束来求解单应矩阵H和基础矩阵F，估计相机位姿。
[0010]一种单目视觉里程计装置，包括：特征点提取模块，用于对摄像头采集的单帧图像进行特征点提取，具体的，利用深度卷积神经网络SuperPoint对图像进行特征提取，获取图像的特征点和特征描述子；特征点匹配模块，用于将相邻帧图像的特征点进行特征匹配，具体的，利用注意力机制网络SuperGlue对相邻帧图像的特征点进行匹配，求解最优特征分配矩阵；位姿估计与优化模块，用于根据匹配结果进行相机位姿估计与优化，具体的，对所述最优特征矩阵根据最小距离阈值法和RANSAC优化算法进行优化，剔除错误匹配对，再根据对极几何约束求解相机位姿。
[0011]进一步的，所述特征点提取模块利用深度卷积神经网络SuperPoint对图像进行特征提取，获取图像的特征点和特征描述子，具体包括：所述特征点提取模块包括共享编码器、特征点检测解码器和特征点描述解码器，所述共享编码器对图像进行降维处理，之后特征点检测解码器和特征点描述解码器的共享参数同时提取图像特征点和描述符，摄像头采集的单帧图像通过所述特征点提取模块处理后，即得到图像的特征点和特征描述子。
[0012]进一步的，所述特征点匹配模块利用注意力机制网络SuperGlue对相邻帧图像的特征点进行匹配，求解最优特征分配矩阵，具体包括：注意力机制GNN将输入的图像的特征点和特征描述子编码为一个特征匹配向量f，再利用自我注意力机制和交叉注意力机制增强向量f的特征匹配性能，然后将向量f转化成匹配向量并输出到最优匹配层，计算特征匹配向量的内积得到匹配度得分矩阵，最后通过
Sinkhorm算法多次迭代求解出最优特征分配矩阵。
[0013]进一步的，所述位姿估计与优化模块，对所述最优特征矩阵根据最小距离阈值法和RANSAC优化算法进行优化，剔除错误匹配对，再根据对极几何约束求解相机位姿，具体包括：步骤3.1：根据最小阈值法对错误图像特征点匹配对滤除，对图像中的特征点对进行距离测试，选取距离最近特征点对作为最小距离，对特征点匹配对的距离采用以下式子判断，当满足上述条件时，判定为正确匹配，否则剔除该匹配对：；其中，表示第i个匹配对，为设定的阈值，表示匹配集中最小匹配距离；步骤3.2：采用RANSAC优化算法进一步对错误图像特征点匹配对滤除，从最小阈值法优化后的匹配集M中随机挑选N+1对匹配对，N对匹配对计算相对变换矩阵得到模型Q，剩余1对匹配验证模型Q的准确性，重复上述步骤得到内点数最多的匹配结果；步骤3.3：相机位姿估计：对于优化后的结果，根据对极几何约束来求解单应矩阵H和基础矩阵F，估计相机位姿。
[0014]一种单目视觉里程计系统，包括：计算机可读存储介质和处理器；所述计算机可读存储介质用于存储可执行指本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种单目视觉里程计方法，其特征在于：包括如下步骤：步骤一、对摄像头采集的单帧图像进行特征点提取：利用深度卷积神经网络SuperPoint对图像进行特征提取，获取图像的特征点和特征描述子；步骤二、将相邻帧图像的特征点进行特征匹配：利用注意力机制网络SuperGlue对相邻帧图像的特征点进行匹配，求解最优特征分配矩阵；步骤三、根据匹配结果进行相机位姿估计与优化：对所述最优特征矩阵根据最小距离阈值法和RANSAC优化算法进行优化，剔除错误匹配对，再根据对极几何约束求解相机位姿。2.如权利要求1所述的单目视觉里程计方法，其特征在于：所述步骤一具体为：深度卷积神经网络SuperPoint的模型结构包括共享编码器、特征点检测解码器和特征点描述解码器，所述共享编码器用于对图像进行降维处理，之后特征点检测解码器和特征点描述解码器的共享参数同时提取图像特征点和描述符，摄像头采集的单帧图像通过深度卷积神经网络SuperPoint处理后，即得到图像的特征点和特征描述子。3.如权利要求1所述的单目视觉里程计方法，其特征在于：所述步骤二具体为：注意力机制GNN将输入的图像的特征点和特征描述子编码为一个特征匹配向量f，再利用自我注意力机制和交叉注意力机制增强向量f的特征匹配性能，然后将向量f转化成匹配向量并输出到最优匹配层，计算特征匹配向量的内积得到匹配度得分矩阵，最后通过Sinkhorm算法多次迭代求解出最优特征分配矩阵。4.如权利要求1所述的单目视觉里程计方法，其特征在于：所述步骤三具体包括：步骤3.1：根据最小阈值法对错误图像特征点匹配对滤除，对图像中的特征点对进行距离测试，选取距离最近特征点对作为最小距离，对特征点匹配对的距离采用以下式子判断，当满足上述条件时，判定为正确匹配，否则剔除该匹配对：；其中，表示第i个匹配对，为设定的阈值，表示匹配集中最小匹配距离；步骤3.2：采用RANSAC优化算法进一步对错误图像特征点匹配对滤除，从最小阈值法优化后的匹配集M中随机挑选N+1对匹配对，N对匹配对计算相对变换矩阵得到模型Q，剩余1对匹配验证模型Q的准确性，重复上述步骤得到内点数最多的匹配结果；步骤3.3：相机位姿估计：对于优化后的结果，根据对极几何约束来求解单应矩阵H和基础矩阵F，估计相机位姿。5.一种单目视觉里程计装置，其特征在于：包括：特征点提取模块，用于对摄像头采集的单帧图像进行特征点提取，具体的，利用深度卷积神经网络SuperPoint对图像进行特征提取，获取图像的特征点和特征描述子；特征点匹配模块，用于将相邻帧图像的特征点进行特征匹配，具体的，利用注意力机制网络SuperGlue对相邻帧图像的特征点进行匹配，求解最优特征分配矩阵；位姿估计与优化模块，用于根据匹配结果进...
【专利技术属性】
技术研发人员：龚谢平，尹洋，王黎明，周子扬，王征，李厚朴，刘洋，周帅，
申请(专利权)人：中国人民解放军海军工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。