【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体的是一种基于多神经网络的slam方法及系统。
技术介绍
1、近二十年来，同步定位与建图(slam)已成为机器人学和计算机视觉领域的研究热点。它是移动机器人、微型飞行器、自动驾驶和增强现实等许多应用的基本模块，因为它们都需要实时定位。slam技术利用传感器获取的信息构建未知环境的地图，并在地图中定位传感器。视觉slam因相机价格低廉且能获取丰富的环境信息而被广泛研究。
2、目前使用的大多数视觉slam系统都依赖于手工创建的视觉特征。例如，orb-slam通过提取每帧图像中的orb特征来执行特征匹配和闭环检测，然后估计摄像机姿态并构建环境地图。虽然手工创建的特征点提取算法大多数能够快速地检测关键点，但是在角点检测区域特征不明显时，存在特征提取不准确的问题，同时手工创建的特征可能无法在复杂环境中提供一致的特征检测和准确的匹配结果。
3、随着深度学习的发展，许多研究者利用卷积神经网络(cnn)训练模型用于图像领域得到的深度特征点提取算法，其准确度和速度远高于传统的特征提取算法，基于深度学习的...
【技术保护点】
1.一种基于多神经网络的SLAM方法，其特征在于，方法包括以下步骤：
2.根据权利要求1所述的一种基于多神经网络的SLAM方法，其特征在于，所述预先建立的SuperPoint网络模型和LightGLue网络模型通过创建特征提取器并转化SuperPoint网络模型和LightGLue和网络模型，使用ONNX框架部署网络模型以及硬件GPU加速。
3.根据权利要求2所述的一种基于多神经网络的SLAM方法，其特征在于，所述预先建立的SuperPoint网络模型由共享编码器、特征检测解码器和特征描述子解码器三部分组成，共享编码器是基于VGG卷积神经网络进...
【技术特征摘要】
1.一种基于多神经网络的slam方法，其特征在于，方法包括以下步骤：
2.根据权利要求1所述的一种基于多神经网络的slam方法，其特征在于，所述预先建立的superpoint网络模型和lightglue网络模型通过创建特征提取器并转化superpoint网络模型和lightglue和网络模型，使用onnx框架部署网络模型以及硬件gpu加速。
3.根据权利要求2所述的一种基于多神经网络的slam方法，其特征在于，所述预先建立的superpoint网络模型由共享编码器、特征检测解码器和特征描述子解码器三部分组成，共享编码器是基于vgg卷积神经网络进行图像降维得到共享张量；特征检测解码器通过共享张量还原图像像素并计算输出每个像素是特征点的概率；特征描述子解码器对共享张量卷积处理得到不完全描述子，然后双线性插值得到完整特征描述子。
4.根据权利要求2所述的一种基于多神经网络的slam方法，其特征在于，所述预先建立的lightglue网络模型由多个相同层和最后一个特征匹配头共同构成，预测从图像a和b提取的局部特征集之间的部分匹配关系，这些相同层共同处理两个特征集合，其中每个层都由自注意力单元和交叉注意力单元组成，用于更新每个点到另一张图片的相似度，然后由每层的置信度分类器决定是否停止推理，若满足一定数量的匹配点对则结束推理；若不满足停止准则，则删除那些被预测为既可信又不可匹配的点，最后特征匹配头计算相似分数矩阵和可匹配性得到匹配点对。
5.根据权利要求1所述的一种基于多神经网络的slam方法，其特征在于，所述根据特征匹配结果完成对相机的位姿估计的过程中，使用p...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。