一种RONIN和6DOF定位融合的方法和硬件系统框架技术方案

本发明专利技术公开了一种RONIN和6DOF定位融合的方法和硬件系统框架，其方法包括以下步骤：A、传感器输出模块采集多个摄像头和IMU的数据传输到预处理模块；B、预处理模块进行特征提取和跟踪、预积分和将IMU数据传到IMU线程；C、位姿解算模块融合特征提取和跟踪的结果以及IMU预积分的结果进入静止判断。本发明专利技术通过RONIN和6DOF定位融合的方式提升定位的精度和性能，在提出的硬件系统上能够降低计算功能，提升边缘计算能力，并能够解决当摄像头对着天空、水面、地下等情况下的定位，能够应用在头盔和双手柄交互中对手柄进行长时间的定位，同时能够在手套不在摄像头范围或者双手柄折叠或交叠时进行精准定位。行精准定位。行精准定位。

【技术实现步骤摘要】
一种RONIN和6DOF定位融合的方法和硬件系统框架


[0001]本专利技术涉及计算机
，具体为一种RONIN和6DOF定位融合的方法和硬件系统框架。

技术介绍

[0002]随着计算机视觉的发展，虚拟现实(Virtual Reality，VR)和增强现实(Argument Reality，AR)眼镜、机械臂、智能手机和机器人都需要高精度的位姿进行定位，消费级别的产品主要使用价格低廉的摄像头和惯性测量单元(Inertial measurement unit，IMU)进行定位，IMU的零偏容易受到温度、湿度、电流、震动和应力的影响，只能用于短时间的定位，在长时间情况下容易产生大量漂移，视觉和IMU融合定位的方法主要使用图优化的方法或者滤波器的方法，但是这些方法无法在摄像头对着天空、水面、地下等情况下进行定位。
[0003]在VR和AR领域，主要使用头盔和双手柄来进行交互和体验，手柄定位是通过头盔的摄像头在短曝光情况下看到手柄上的红外光电发射的红外光，通过检测光点并使用PNP(Perspective
‑/>N
‑<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种RONIN和6DOF定位融合的方法，其特征在于：其方法包括以下步骤：A、传感器输出模块采集多个摄像头和IMU的数据传输到预处理模块；B、预处理模块进行特征提取和跟踪、预积分和将IMU数据传到IMU线程；C、位姿解算模块融合特征提取和跟踪的结果以及IMU预积分的结果进入静止判断；D、如果是在静止情况下进行零速更新，在非静止情况下进行6DOF估计，然后融合进行位姿输出(包含估计的旋转、速度、平移、IMU的零偏、出世界坐标系下的加速度、角加速度)；E、IMU buffer输出IMU的加速度、角加速度，传入IMU buffer和EKF滤波器，IMU buffer输出世界坐标系下的加速度、角加速度到基于transformer的NIN中；F、基于transformer的NIN输出位移和不确定性到EKF滤波器中，EKF滤波器输出估计的旋转到IMU buffer，输出估计的旋转、速度、平移、IMU的零偏到融合模块中；G、融合模块进行外点剔除，并将基于transformer的融合和位姿预测，最后对外进行高频输出。2.根据权利要求1所述的一种RONIN和6DOF定位融合的方法，其特征在于：所述Section1基于transformer的NIN，其方法包括以下步骤：A、输入IMUlocalwindow数据，其中加速度a、角速度w、加速度bias b
a
、角速度bias b
g
；B、经过self
‑
attention
‑
encoder得到基于attention的window内的高维向量h1，encoder得到基于attention的window内的高维向量h1，其中W
g
是重力加速度、是第n个IMU的加速度和角速度、h
n
‑
N
是self
‑
attention
‑
encoder层的隐层向量、是相对位移、是不确定度；C、经过cross
‑
attention
‑
encoder得到基于attention的多个windows的高维向量h2，encoder得到基于attention的多个windows的高维向量h2，其中W
g
是重力加速度、是第n个IMU的加速度和角速度、h
n
‑
N
是cross
‑
attention
‑
encoder层的隐层向量、是相对位移、是不确定度；D、经过MLP
‑
attention
‑
decoder将h1和h2融合并decoder为初始displace
‑
ment；E、经过self
‑
attention
‑
short
‑
term module提高初始displace
‑
ment在短序列的accuracy；F、经过cross
‑
attnetion
‑
long
‑
term module提高初始displace
‑
ment在长序列的accuracy；G、Loss1单帧绝对误差Loss2单帧相对误差Loss3高斯分布误差，其中d
j
→
j+1
是第j个窗网络三角化的输出、是对应的groundtruth、M是对应的窗的数量，
其中d
j
→
j+1
是第j个窗网络三角化的输出、是对应的groundtruth、M是对应的窗的数量，其中d
j
→
j+1
是第j个窗网络三角化的输出、是对应的groundtruth、M是对应的窗的数量。3.根据权利要求1所述的一种RONIN和6DOF定位融合的方法，其特征在于：所述Section2基于transformer的融合，其方法包括以下步骤：A、输入NIN cos...

【专利技术属性】
技术研发人员：陈常，邸新汉，费越，
申请(专利权)人：上海鱼微阿科技有限公司，
类型：发明
国别省市：