一种基于多传感器特征融合的机器人位姿估计方法及系统技术方案

本发明专利技术提供一种基于多传感器特征融合的机器人位姿估计方法，包括获取机器人运动时被抓拍的两帧连续的RGB图像，以及这两帧连续的RGB图像之间的惯性传感器信息；将这两帧连续的RGB图像预处理后，级联输入预先定义的图像特征提取网络中，输出得到图像特征，以及将这两帧连续的RGB图像之间的惯性传感器信息输入预先定义的惯性特征提取网络中，输出得到惯性特征；将所得到的图像特征与惯性特征级联后输入预先定义的多传感器融合神经网络进行特征融合，得到融合后的特征，并根据融合后的特征，得到机器人多自由度的位姿估计。实施本发明专利技术，能解决使用单一传感器位姿估计准确率低以及传统多传感器融合算法计算复杂效率低的问题。传统多传感器融合算法计算复杂效率低的问题。传统多传感器融合算法计算复杂效率低的问题。

【技术实现步骤摘要】
一种基于多传感器特征融合的机器人位姿估计方法及系统


[0001]本专利技术涉及机器人
、计算机图像处理
和视觉及惯性里程计领域，尤其涉及一种基于多传感器特征融合的机器人位姿估计方法及系统。

技术介绍

[0002]同时定位和建图(simultaneous localization and mapping，简称SLAM)近年来得到了快速发展，并在科学研究、工业生产、日常生活等各种场景得到越来越多的关注和应用。
[0003]里程计技术作为SLAM的前端，它能够用于估计出机器人的位姿。因此，一个优秀的里程计技术能为SLAM的后端、全局地图构建提供优质的初始值，从而让机器人在复杂的未知环境中实现精准自主化来执行各种任务。典型的里程计解决方案主要利用视觉传感器，从一系列图像流中恢复出机器人的运动位姿。
[0004]随着里程计技术对准确度需求的增加，多传感器融合技术，特别是视觉与惯性传感器融合，逐渐发展成为当前里程计
的研究热点。传统的视觉惯性里程计(Visual
‑
Inertial Odometry，简称本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器特征融合的机器人位姿估计方法，其特征在于，所述方法包括以下步骤：获取机器人运动时被抓拍的两帧连续的RGB图像，以及这两帧连续的RGB图像之间的惯性传感器信息；将这两帧连续的RGB图像预处理后，级联输入预先定义的图像特征提取网络中，输出得到图像特征，以及将这两帧连续的RGB图像之间的惯性传感器信息输入预先定义的惯性特征提取网络中，输出得到惯性特征；将所得到的图像特征与惯性特征级联后输入预先定义的多传感器融合神经网络进行特征融合，得到融合后的特征，并根据融合后的特征，得到机器人多自由度的位姿估计。2.如权利要求1所述的基于多传感器特征融合的机器人位姿估计方法，其特征在于，所述图像特征提取网络采用预训练模型FlowNet进行权重初始化，随后采用KITTI数据集进行训练得到的。3.如权利要求1所述的基于多传感器特征融合的机器人位姿估计方法，其特征在于，所述惯性特征提取网络采用一维卷积神经网络来处理惯性传感器信息。4.如权利要求3所述的基于多传感器特征融合的机器人位姿估计方法，其特征在于，所述惯性传感器信息包括角速度数据和加速度数据。5.如权利要求1所述的基于多传感器特征融合的机器人位姿估计方法，其特征在于，所述多传感器融合神经网络为Transformer网络，通过采用Transformer网络中的编码层对所得到的图像特征与惯性特征进行融合，以得到融合后的特征。6.如权利要求5所述的基于多传感器特征融合的机器人位姿估计方法，其特征在于，所述机器人的位姿为六自由度位姿，且该六自由度位姿是将融合后的特征通过Transfor...

【专利技术属性】
技术研发人员：徐曙，陈潇，张成巍，王成皓，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：