一种手柄的定位追踪方法、系统和头戴设备及计算机介质技术方案

本申请实施例公开了一种手柄的定位追踪方法、系统和头戴设备及计算机介质。该方法包括：获取第一图像中光斑和手柄光源之间的多个第一匹配关系，其中，第一图像由头戴设备的第一相机拍摄得到；根据参考相机和/或历史图像提供的光斑和手柄光源之间的匹配约束条件，对多个第一匹配关系进行校验，得到通过校验的最优匹配关系，其中，参考相机为头戴设备上区别于第一相机的其他相机；根据最优匹配关系和与第一图像对应的惯性传感器参数，计算与第一图像对应的手柄位姿。上述技术方案用于解决如何提高图像中光斑和手柄光源之间的匹配准确度的问题，从而能够利用匹配准确度高的匹配关系，得到更加准确的手柄位姿。得到更加准确的手柄位姿。得到更加准确的手柄位姿。

【技术实现步骤摘要】
一种手柄的定位追踪方法、系统和头戴设备及计算机介质


[0001]本申请实施例涉及虚拟现实
，尤指一种手柄的定位追踪方法、系统和头戴设备及计算机介质。

技术介绍

[0002]在当前，虚拟现实以及混合现实等头戴设备被认为是元宇宙产业的硬件入口，而手柄由于在精确度、时延、成本及物理反馈方面有着不可替代的优势，因此，通过手柄进行虚拟现实交互也就成为了虚拟现实头戴设备主要采取的交互方式。
[0003]为了令头戴设备能够对手柄进行定位追踪，相关技术中主要采用由头戴设备通过预设的视觉算法对拍摄到的手柄图像进行解析以获取手柄的3DOF(Degree of Freedom，自由度)位移信息，同时，由手柄内配置的IMU(Inertial Measurement Unit，惯性测量单元)获取手柄三轴的加速度和角速度，进而输出手柄的3DOF旋转信息，从而令头戴设备进行估算得到手柄的6DOF位姿。然而，采用这种方案时，需要将手柄的红外灯珠与图像中的光斑匹配，再基于匹配结果来确定手柄位姿，因此，如何提升红外灯珠与光斑的匹配准确度已成为了行业内亟需解决的技术问题。

技术实现思路

[0004]为了解决上述任一技术问题，本申请实施例提供了一种手柄的定位追踪方法、系统和头戴设备及计算机介质。
[0005]为了达到本申请实施例目的，本申请实施例提供了一种手柄的定位追踪方法，包括：
[0006]获取第一图像中光斑和手柄光源之间的多个第一匹配关系，其中，所述第一图像由头戴设备的第一相机拍摄得到；
[0007]根据参考相机和/或历史图像提供的光斑和手柄光源之间的匹配约束条件，对多个所述第一匹配关系进行校验，得到通过校验的最优匹配关系，其中，所述参考相机为所述头戴设备上区别于所述第一相机的其他相机；
[0008]根据所述最优匹配关系和与所述第一图像对应的惯性传感器参数，计算与所述第一图像对应的手柄位姿。
[0009]一种手柄的定位追踪系统，包括：
[0010]获取模块，设置为获取第一图像中光斑和手柄光源之间的多个第一匹配关系，其中，所述第一图像由头戴设备的第一相机拍摄得到；
[0011]校验模块，设置为根据参考相机和/或历史图像提供的光斑和手柄光源之间的匹配约束条件，对多个所述第一匹配关系进行校验，得到通过校验的最优匹配关系，其中，所述参考相机为所述头戴设备上区别于所述第一相机的其他相机；
[0012]计算模块，设置为根据所述最优匹配关系和与所述第一图像对应的惯性传感器参数，计算与所述第一图像对应的手柄位姿。
Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non
‑
Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0026]本领域技术人员可以理解，图1中示出的结构并不构成对虚拟现实头戴设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0027]如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及手柄的定位追踪程序。
[0028]在图1所示的虚拟现实头戴设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；头戴设备中的处理器1001、存储器1005可以设置在头戴设备中，所述头戴设备通过处理器1001调用存储器1005中存储的手柄的定位追踪程序，并执行本申请实施例提供的手柄的定位追踪方法。
[0029]基于上述的头戴设备，提供本申请中手柄的定位追踪方法的各个实施例。
[0030]图2为本申请实施例提供的手柄的定位追踪方法的流程示意图。如图2所示，所述方法包括：
[0031]步骤201、获取第一图像中光斑和手柄光源之间的多个第一匹配关系，其中，所述第一图像由头戴设备的第一相机拍摄得到；
[0032]其中，头戴设备可以设置有至少两个相机，同样的，与头戴设备配套的手柄上应配置有多个可以发射光线的光源设备。
[0033]在一种实现方式中，相机可以为采用LED红外发光二极管作为主要材料的红外摄像机或其他可以拍摄到红外光的相机装置或摄像装置；此外，该红外摄像机的设置位置可以参考其他同类型头戴设备内摄像装置的设置位置，本申请对此不做限制。
[0034]对应的，与头戴设备配套的手柄上应配置有多个可以发射红外线的光源设备，用于确定手柄的位置和姿态。
[0035]在上述步骤中，可以调用头戴设备的第一相机采集第一图像，其中第一图像包含由手柄上多个光源发出的不可见光形成的多个光斑。通过采集手柄上光源设备发出的光所形成的光斑，以便通过确定第一图像中的光斑与手柄光源的匹配关系来确定手柄的位置。
[0036]由于相机采集的光斑的个数可能为多个，且，在匹配约束条件不充足的情况下，一个光斑可能与至少两个手柄光源存在匹配关系，因此，第一图像中的光斑与手柄光源之间的第一匹配关系的数量为多个。
[0037]步骤202、根据参考相机和/或历史图像提供的光斑和手柄光源之间的匹配约束条件，对多个所述第一匹配关系进行校验，得到通过校验的最优匹配关系，其中，所述参考相机为所述头戴设备上区别于所述第一相机的其他相机；
[0038]在上述步骤中，匹配约束条件可以是参考相机提供的匹配约束条件、历史图像提供的匹配约束条件、或者参考相机和历史图像共同提供的匹配约束条件。其中：
[0039]该参考相机可以与第一相机同时工作，对手柄光源进行采集，得到参考图像，并利用参考图像确定匹配约束条件，从而对第一相机采集的第一图像对应的多个第一匹配关系进行校验。
[0040]基于手柄在连续时间段内移动位置具有连续性的特点，可以获取第一图像对应的历史图像，如第一图像的上一帧图像或第一图像之前的连续至少两帧，利用历史图像中的匹配关系对确定匹配约束条件，从而对第一相机采集的第一图像对应的多个第一匹配关系
进行校验。
[0041]无论使用参考相机提供的匹配约束条件，还是使用历史图像提供的约束条件，都能为确定准确的匹配关系提供筛选的依据，以便从多个第一匹配关系中剔除不满足匹配约束条件的匹配关系，得到通过校验的最优匹配关系，为准确地确定手柄位姿提供支持。另外，都能充分利用头戴设备的已有硬件资源完成，无需对头戴设备的硬件结构进行改变。
[0042]步骤203、根据所述最优匹配关系和与所述第一图像对应的惯性传感器参数，计算与所述第一图像对应的手柄位姿。
[0043]其中，图像的采样周期与惯性传感器参数的采样周期不同，通常，惯性传感器参数的采样周期小于图像的采样周期，因此，第一图像对应的惯性传感器参数可能是包括第一图像以及第一图像的相邻帧之间的所有获取到的惯性传感器参数，其中该相邻帧的图像可以为第一图像之前至少一帧的图像或第一图像之后至少一帧的图像。
[0044]现有技术中基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手柄的定位追踪方法，包括：获取第一图像中光斑和手柄光源之间的多个第一匹配关系，其中，所述第一图像由头戴设备的第一相机拍摄得到；根据参考相机和/或历史图像提供的光斑和手柄光源之间的匹配约束条件，对多个所述第一匹配关系进行校验，得到通过校验的最优匹配关系，其中，所述参考相机为所述头戴设备上区别于所述第一相机的其他相机；根据所述最优匹配关系和与所述第一图像对应的惯性传感器参数，计算与所述第一图像对应的手柄位姿。2.根据权利要求1所述的手柄的定位追踪方法，其特征在于，所述获取第一图像中光斑和手柄光源之间的多个第一匹配关系包括：根据第二图像中光斑和手柄光源之间的第二匹配关系和所述惯性传感器参数确定所述第一图像中手柄的预测位姿，其中，所述第二图像为所述第一图像的前一帧图像；将所述手柄的预测位姿进行投影得到多个光斑投影结果以及光斑与手柄光源之间的待选匹配关系；根据所述光斑投影结果和手柄的虚拟三维模型恢复所述手柄的位姿，得到所述手柄的参考位姿；根据所述手柄的参考位姿对所述待选匹配关系进行筛选，得到多个所述第一匹配关系。3.根据权利要求1所述的手柄的定位追踪方法，其特征在于，所述获取第一图像中光斑和手柄光源之间的多个第一匹配关系包括：对所述第一图像中的光斑进行聚类，得到位于不同位置区域的多个光斑群以及各所述光斑群与各手柄之间的对应关系；在每个所述光斑群中确定多个光斑组合，将各所述光斑组合与所述手柄光源的排布方式进行匹配，得到多个所述第一匹配关系。4.根据权利要求3所述的手柄的定位追踪方法，其特征在于，所述将各所述光斑组合与所述手柄光源的排布方式进行匹配，得到多个所述第一匹配关系包括：将各所述光斑组合与所述手柄光源的排布方式进行匹配，得到多个中间匹配关系；获取所述第一图像对应的手柄的重力信息；根据所述手柄的重力信息对多个所述中间匹配关系进行筛选。5.根据权利要求4所述的手柄的定位追踪方法，其特征在于，所述根据所述手柄的重力信息对多个所述中间匹配关系进行筛选，包括：根据所述手柄的重力信息确定手柄的约束姿态；根据所述手柄的约束姿态确定所述手柄光源在所述第一图像中的相对位置关系；根据所述相对位置关系对多个所述中间匹配关系进行筛选。6.根据权利要求1所述的手柄的定位追踪方法，其特征在于，所述根据参考相机提供的光斑和手柄光源之间的匹配约束条件，对多个所述第一匹配关系进行校验包括：根据所述第一匹配关系，通过pnp算法得到手柄的待校验位姿，其中，所述待校验位姿由所述第一相机得到；获取所述参考相机在所述第一相机拍摄所述第一图像的同时得到的所述手柄的校验
位姿；根据所述第一相机与所述参考相机之间的相对位置关系，基于所述校验位姿对所述待校验位姿进行校验，以实现对所述第一匹配关系的校验。7.根据权利要求1所述的手柄的定位追踪方法，其特征在于，所述根据历史图像提供的光斑和手柄光源之间的匹配约束条件，对多个所述第一匹配关系进行校验包括：根据所述第一匹配关系，通过pnp算法得到手柄的待校验位姿；获取所述第一图像之前的历史图像中的手柄位姿作为校验位姿；根据一个或多个所述待校验位姿与所述校验位姿之间的连续性实现对所述第一匹配关系的校验。8.根据权利要求1所述的手柄的定位追踪方法，其特征在于，所述第一图像中光斑的获取方法包括：通过预先训练好的光斑检测模型对所述第一图像中的光斑进行检测，得到所述光斑的初始位置；根据所述光斑的几何形状进对所述光斑的初始位置进行修正，得到修正后的光斑位置。9.根据权利...

【专利技术属性】
技术研发人员：王雪锋，张龙，周维，
申请(专利权)人：虹软科技股份有限公司，
类型：发明
国别省市：