基于深度学习VIO系统的手柄空间定位与姿态估计方法技术方案

本发明专利技术提供了基于深度学习VIO系统的手柄空间定位与姿态估计方法，涉及手柄定位技术领域，其目的是提高手柄定位的精确度，包括设立UWB系统，在手柄上设置摄像装置和I MU；分别通过摄像装置和I MU采集图像数据和I MU数据，并进行数据预处理；进行摄像装置初始化和摄像装置惯导联合初始化；进行后端非线性优化；对不同来源的数据之间进行时空同步，将基于UWB系统获取的测距信息以及采用VI O并基于摄像装置和I MU获取的手柄位置信息进行数据融合，得到定位及姿态估计结果。本发明专利技术具有手柄空间定位与姿态估计更精准的优点。位与姿态估计更精准的优点。位与姿态估计更精准的优点。

【技术实现步骤摘要】
基于深度学习VIO系统的手柄空间定位与姿态估计方法


[0001]本专利技术涉及手柄定位
，具体而言，涉及基于深度学习VIO系统的手柄空间定位与姿态估计方法。

技术介绍

[0002]手柄定位是一种将位置和方向传感技术集成到游戏手柄中，以在游戏中提供更加真实的交互体验的技术。手柄定位技术可应用于各种游戏类型，例如第一人称射击游戏、体育类游戏、赛车游戏等，在增强玩家的沉浸感和游戏体验方面非常有效。
[0003]在实现手柄定位常用的手段里面，视觉惯性里程计又称为视觉惯性导航系统，是由视觉和惯性传感器构成的组合导航系统。VIO拥有自主性、实时性等特点，传感器的优势互补使VIO的导航精度明显高于由单一传感器组成的惯性导航系统或视觉里程计，低成本、体积小的消费级微机电惯性测量单元和相机的使用更促进其发展。VIO研究的主要目的，就是充分利用视觉惯性的优势，实现系统的高精度6自由度位置与姿态估计。传统的VIO系统的基本框架的前端包括基于运动学模型的惯性预处理模块和基于几何学模型的视觉里程计，后端采用滤波器或优化等方式实现姿态估计出，此外，为了进一步提高精度，还可能会添加回环检测等功能。传统方法已经展示了不错的性能，但受到建模的局限和真实环境的复杂性使其仍然难以投入实际应用中。
[0004]因此，将深度学习用于VIO系统用以提高手柄定位的精确度，是提高玩家游戏体验的一个重要方法。

技术实现思路

[0005]本专利技术的目的在于提供基于深度学习VIO系统的手柄空间定位与姿态估计方法，其目的是提高手柄定位的精确度。
[0006]本专利技术的实施例通过以下技术方案实现：
[0007]基于深度学习VIO系统的手柄空间定位与姿态估计方法，包括以下步骤：
[0008]设立UWB系统，在手柄上设置摄像装置和IMU；
[0009]分别通过摄像装置和IMU采集图像数据和IMU数据，并进行数据预处理；
[0010]进行摄像装置初始化和摄像装置惯导联合初始化；
[0011]进行后端非线性优化；
[0012]对不同来源的数据之间进行时空同步，将基于UWB系统获取的测距信息以及采用VIO并基于摄像装置和IMU获取的手柄位置信息进行数据融合，得到定位及姿态估计结果。
[0013]优选地，所述数据预处理包括：
[0014]图像数据预处理：提取图像的哈里斯角点，利用金字塔光流法跟踪相邻帧，基于随机抽样一致算法去除异常点；
[0015]IMU数据预处理：计算当前帧的位姿作为初始值，以及相邻帧的预积分增量和预积分误差的雅可比矩阵及协方差。
[0016]优选地，所述摄像装置初始化的方法为是计算滑动窗口内所有帧的位姿和路标点的深度。
[0017]优选地，所述摄像装置惯导联合初始化的方法为利用旋转约束估计陀螺仪的零偏，利用平移约束估计重力以及尺度初始值，求解世界坐标系和初始相机坐标系的外参矩阵。
[0018]优选地，所述后端非线性优化采用滑动窗口的光束法平差优化。
[0019]优选地，所述后端非线性优化的对象包括由于滑动窗口删除位姿和特征点约束所引起的先验残差部分、预积分所引起的IMU残差部分和视觉重投影误差所引起的视觉残差部分。
[0020]优选地，所述时空同步的方法包括：
[0021]在传输协议中设置时间戳；
[0022]获取每个数据的时候读取该数据对应的时刻；
[0023]对不同来源的数据进行时间对齐。
[0024]优选地，所述将基于UWB系统获取的测距信息以及采用VIO并基于摄像装置和IMU获取的手柄位置信息进行数据融合的方法为采用ARKF算法。
[0025]本专利技术实施例的技术方案至少具有如下优点和有益效果：
[0026]本专利技术克服了传统基于VIO手柄定位受建模局限在复杂环境实际运用难的缺陷，适应的场景应用面广，可以在各种环境完成手柄定位
[0027]本专利技术相比传统VIO方法适应于更多复杂环境，复杂状况应对力更强，具备更强的鲁棒性；
[0028]本专利技术将深度学习用于VIO系统用以提高手柄定位的精确度，还可以提高玩家游戏体验；
[0029]本专利技术算法设计合理、系统搭建简单，计算成本较低，便于推广和应用。
附图说明
[0030]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0031]图1为本专利技术实施例提供的基于深度学习VIO系统的手柄空间定位与姿态估计方法的流程示意图。
具体实施方式
[0032]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0033]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通
技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0035]实施例1
[0036]参阅图1，本实施例提供基于深度学习VIO系统的手柄空间定位与姿态估计方法，包括以下步骤：
[0037]步骤S1：设立UWB系统，在手柄上设置摄像装置和IMU；
[0038]步骤S2：分别通过摄像装置和IMU采集图像数据和IMU数据，并进行数据预处理；
[0039]步骤S3：进行摄像装置初始化和摄像装置惯导联合初始化；
[0040]步骤S4：进行后端非线性优化；
[0041]步骤S5：对不同来源的数据之间进行时空同步，将基于UWB系统获取的测距信息以及采用VIO并基于摄像装置和IMU获取的手柄位置信息进行数据融合，得到定位及姿态估计结果。
[0042]本实施例的基本逻辑如下：
[0043]根据步骤S1可以看出，本实施例基于UWB系统、摄像装置和IMU来进行基本的数据采集。其中UWB是一种短距离无线通信技术，可提供高速数据传输和精确定位能力。它使用极短的脉冲波形，占用非常宽的频率带宽(通常超过500MHz)，以便于在复杂的环境中进行高精度位置测量和数据传输。而IMU全称为Inertial Measurement Unit，也就是惯性测量单元，他是一种集成式的测量设备，可以测量并记录物体的加速度和角速度等惯性信息。IMU通常由三轴加速度计和三轴陀螺仪组成，有些高端的IMU本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习VIO系统的手柄空间定位与姿态估计方法，其特征在于，包括以下步骤：设立UWB系统，在手柄上设置摄像装置和IMU；分别通过摄像装置和IMU采集图像数据和IMU数据，并进行数据预处理；进行摄像装置初始化和摄像装置惯导联合初始化；进行后端非线性优化；对不同来源的数据之间进行时空同步，将基于UWB系统获取的测距信息以及采用VIO并基于摄像装置和IMU获取的手柄位置信息进行数据融合，得到定位及姿态估计结果。2.根据权利要求1所述的基于深度学习VIO系统的手柄空间定位与姿态估计方法，其特征在于，所述数据预处理包括：图像数据预处理：提取图像的哈里斯角点，利用金字塔光流法跟踪相邻帧，基于随机抽样一致算法去除异常点；IMU数据预处理：计算当前帧的位姿作为初始值，以及相邻帧的预积分增量和预积分误差的雅可比矩阵及协方差。3.根据权利要求1所述的基于深度学习VIO系统的手柄空间定位与姿态估计方法，其特征在于：所述摄像装置初始化的方法为是计算滑动窗口内所有帧的位姿和路标点的深度。4.根据权利要求3所述的基于深度学习VIO系统的手柄空间定位与姿态估计方法，...

【专利技术属性】
技术研发人员：艾家，马麟，
申请(专利权)人：上海幻身科技有限公司，
类型：发明
国别省市：