手柄、头戴式显示器、定位方法、装置和可读存储介质制造方法及图纸

本公开提供了一种手柄、头戴式显示器、定位方法、装置和可读存储介质，涉及虚拟现实技术领域。其中，手柄包括：第一主芯片；第一图像采集模组，与所述第一主芯片连接，用于采集所述虚拟现实手柄在移动过程中任意时刻的至少两个手柄视角图像；所述第一主芯片用于：基于所述至少两个手柄视角图像进行自身的位姿计算，以生成所述虚拟现实手柄的位姿信息。通过本公开的技术方案，不需要依赖头戴式显示器即可实现自身位姿的检测，对于手柄自身来说，由于不需要设置LED发光器，因此能够减小手柄的体积，进而有利于对手柄的形状进行改进，以提升用户的握持体验。升用户的握持体验。升用户的握持体验。

【技术实现步骤摘要】
手柄、头戴式显示器、定位方法、装置和可读存储介质


[0001]本公开涉及虚拟现实
，尤其涉及虚拟现实手柄、头戴式显示器、虚拟现实手柄定位方法、位姿信息处理方法、虚拟现实手柄定位装置、位姿信息处理装置和计算机可读存储介质。

技术介绍

[0002]相关技术中，针对VR(Virtual Reality，虚拟现实技术)手柄，通过使用VR HMD(Head Mounted Display，头戴式显示器)上的摄像头追踪手柄上的LED发光器，得到LED跟踪数据，结合手柄中的IMU(Inertial measurement unit，惯性测量单元)向HMD上报的手柄6DoF(Degree of Freedom，自由度)数据，实现对手柄的瞬时位置，姿态与运动轨迹的判断，该方案目前存在以下缺陷：
[0003]一方面，手柄由于需要安装并隐藏LED发光器导致体积较大，影响用户握持体验，另一方面，虽然在VR HMD上安装了4个专门用于追踪LED发光器的摄像头，但是对手柄的追踪仍然存在死角，导致用户体验不佳。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开的目的在于提供一种虚拟现实手柄、头戴式显示器、虚拟现实手柄定位方法、位姿信息处理方法、虚拟现实手柄定位装置、位姿信息处理装置和计算机可读存储介质，至少在一定程度上克服相关技术中通过采用头戴式显示器对手柄进行跟踪时的用户体验效果不佳的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的一个方面，提供一种虚拟现实手柄，包括：第一主芯片；第一图像采集模组，与所述第一主芯片连接，用于采集所述虚拟现实手柄在移动过程中任意时刻的至少两个手柄视角图像；所述第一主芯片用于：基于所述至少两个手柄视角图像进行自身的位姿计算，以生成所述虚拟现实手柄的位姿信息。
[0008]在本公开的一个实施例中，所述第一主芯片基于所述至少两个手柄视角图像进行自身的位姿计算具体包括：基于所述至少两个手柄视角图像执行视觉即时定位与运动轨迹vslam处理，以基于处理结果生成所述虚拟现实手柄的位姿信息。
[0009]在本公开的一个实施例中，所述第一主芯片基于所述至少两个手柄视角图像执行视觉即时定位与运动轨迹vslam处理具体包括：基于视觉里程计VO对所述至少两个手柄视角图像中的相邻帧图像进行运动估算；基于运动估算的结果生成所述虚拟现实手柄的运动轨迹；基于所述运动轨迹生成所述虚拟现实手柄的位姿预估信息；对所述位姿预估信息进行轨迹漂移优化，基于优化结果得到所述位姿信息。
[0010]在本公开的一个实施例中，还包括：惯性测量单元IMU模块，与所述第一主芯片连接，用于采集所述虚拟现实手柄的IMU数据；所述第一主芯片基于所述至少两个手柄视角图像进行自身的位姿计算具体包括：基于所述至少两个手柄视角图像和所述IMU数据执行视觉惯性里程计VIO位姿估计，以生成所述虚拟现实手柄的位姿信息。
[0011]在本公开的一个实施例中，所述第一主芯片基于所述至少两个手柄视角图像和所述IMU数据执行视觉惯性里程计VIO位姿估计具体包括：对所述至少两个手柄视角图像和所述IMU数据进行视觉惯性联合初始化，将基于所述两个视角图像得到的视觉测量轨迹和基于所述IMU数据得到的惯性测量轨迹进行同步，得到同步数据；在所述手柄移动过程中，基于所述同步数据进行视觉运动跟踪，以进行多帧所述手柄视角图像的特征点对齐和三维结构优化；基于对齐和优化结果检测到关键帧；对于所述关键帧进行局部共视关键帧优化，以基于优化结果确定所述位姿信息。
[0012]在本公开的一个实施例中，所述第一主芯片基于所述至少两个手柄视角图像和所述IMU数据执行视觉惯性里程计VIO位姿估计具体包括：对所述IMU数据进行预积分，得到初始姿态预估信息；对所述至少两个手柄视角图像进行特征点匹配和三角化处理，得到三维数据，并基于所述三维数据创建稀疏深度图；基于所述初始姿态预估信息、所述稀疏深度图和预存的空间数据对所述虚拟现实手柄进行跟踪；基于跟踪操作获取关键帧；基于所述关键帧对特征点进行更新；基于更新结果进行光束平差优化，对所述虚拟现实手柄的位姿和所述位姿下的空间坐标进行优化；基于优化结果对所述虚拟现实手柄进行位置识别，得到位姿识别信息；对所述位姿识别信息进行回环融合优化，得到所述位姿信息。
[0013]在本公开的一个实施例中，所述第一图像采集模组包括至少两个第一摄像模块。
[0014]在本公开的一个实施例中，还包括：第一通信模块，与所述第一主芯片连接，并与头戴式显示器通信，用于将所述位姿信息发送至所述头戴式显示器，并由所述头戴式显示器基于所述位姿信息进行所述虚拟现实手柄和所述头戴式显示器之间的坐标融合。
[0015]在本公开的一个实施例中，还包括：红外发射模组，用于发送红外信号，并与所述第一图像采集模组配合设置；所述第一图像采集模组还用于：追踪所述红外信号；所述第一主芯片还用于：识别所述视角图像中的红外信号点，以基于所述红外信号点对所述虚拟现实手柄辅助定位。
[0016]根据本公开的另一个方面，提供一种头戴式显示器，包括：第二主芯片；第二通信模块，与所述第二主芯片连接，用于接收虚拟现实手柄发送的位姿信息；所述第二主芯片用于：基于所述位姿信息进行所述虚拟现实手柄和所述头戴式显示器之间的坐标融合。
[0017]在本公开的一个实施例中，还包括：第二图像采集模组，与所述第二主芯片电连接，包括两个第二摄像模块，用于采集头部视角图像；所述第二主芯片还用于：基于所述头部视角图像对所述头戴式显示器进行视觉定位。
[0018]根据本公开的再一个方面，提供一种虚拟现实手柄定位方法，包括：采集所述虚拟现实手柄在移动过程中任意时刻的至少两个手柄视角图像；基于所述至少两个手柄视角图像进行自身的位姿计算，以生成所述虚拟现实手柄的位姿信息。
[0019]在本公开的一个实施例中，所述基于所述至少两个手柄视角图像进行自身的位姿计算，以生成所述虚拟现实手柄的位姿信息包括：基于所述至少两个手柄视角图像执行视觉即时定位与运动轨迹vslam处理，以生成所述虚拟现实手柄的位姿信息。
[0020]在本公开的一个实施例中，所述基于所述至少两个手柄视角图像执行视觉即时定位与运动轨迹vslam处理包括：基于视觉里程计VO对所述至少两个手柄视角图像中的相邻帧图像进行运动估算；基于运动估算的结果生成所述虚拟现实手柄的运动轨迹；基于所述运动轨迹生成所述虚拟现实手柄的位姿预估信息；对所述位姿预估信息进行轨迹漂移优化，基于优化结果得到所述位姿信息。
[0021]在本公开的一个实施例中，所述基于所述至少两个手柄视角图像进行自身的位姿计算，以生成所述虚拟现实手柄的位姿信息包括：采集的所述虚拟现实手柄的IMU数据；基于所述至少两个手柄视角图像和所述IMU数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟现实手柄，其特征在于，包括：第一主芯片；第一图像采集模组，与所述第一主芯片连接，用于采集所述虚拟现实手柄在移动过程中任意时刻的至少两个手柄视角图像；所述第一主芯片用于：基于所述至少两个手柄视角图像进行自身的位姿计算，以生成所述虚拟现实手柄的位姿信息。2.根据权利要求1所述的虚拟现实手柄，其特征在于，所述第一主芯片基于所述至少两个手柄视角图像进行自身的位姿计算具体包括：基于所述至少两个手柄视角图像执行视觉即时定位与运动轨迹vslam处理，以基于处理结果生成所述虚拟现实手柄的位姿信息。3.根据权利要求2所述的虚拟现实手柄，其特征在于，所述第一主芯片基于所述至少两个手柄视角图像执行视觉即时定位与运动轨迹vslam处理具体包括：基于视觉里程计VO对所述至少两个手柄视角图像中的相邻帧图像进行运动估算；基于运动估算的结果生成所述虚拟现实手柄的运动轨迹；基于所述运动轨迹生成所述虚拟现实手柄的位姿预估信息；对所述位姿预估信息进行轨迹漂移优化，基于优化结果得到所述位姿信息。4.根据权利要求1所述的虚拟现实手柄，其特征在于，还包括：惯性测量单元IMU模块，与所述第一主芯片连接，用于采集所述虚拟现实手柄的IMU数据；所述第一主芯片基于所述至少两个手柄视角图像进行自身的位姿计算具体包括：基于所述至少两个手柄视角图像和所述IMU数据执行视觉惯性里程计VIO位姿估计，以生成所述虚拟现实手柄的位姿信息。5.根据权利要求4所述的虚拟现实手柄，其特征在于，所述第一主芯片基于所述至少两个手柄视角图像和所述IMU数据执行视觉惯性里程计VIO位姿估计具体包括：对所述至少两个手柄视角图像和所述IMU数据进行视觉惯性联合初始化，将基于所述两个视角图像得到的视觉测量轨迹和基于所述IMU数据得到的惯性测量轨迹进行同步，得到同步数据；在所述手柄移动过程中，基于所述同步数据进行视觉运动跟踪，以进行多帧所述手柄视角图像的特征点对齐和三维结构优化；基于对齐和优化结果检测到关键帧；对于所述关键帧进行局部共视关键帧优化，以基于优化结果确定所述位姿信息。6.根据权利要求4所述的虚拟现实手柄，其特征在于，所述第一主芯片基于所述至少两个手柄视角图像和所述IMU数据执行视觉惯性里程计VIO位姿估计具体包括：对所述IMU数据进行预积分，得到初始姿态预估信息；对所述至少两个手柄视角图像进行特征点匹配和三角化处理，得到三维数据，并基于所述三维数据创建稀疏深度图；基于所述初始姿态预估信息、所述稀疏深度图和预存的空间数据对所述虚拟现实手柄进行跟踪；基于跟踪操作获取关键帧；
基于所述关键帧对特征点进行更新；基于更新结果进行光束平差优化，对所述虚拟现实手柄的位姿和所述位姿下的空间坐标进行优化；基于优化结果对所述虚拟现实手柄进行位置识别，得到位姿识别信息；对所述位姿识别信息进行回环融合优化，得到所述位姿信息。7.根据权利要求1所述的虚拟现实手柄，其特征在于，所述第一图像采集模组包括至少两个第一摄像模块。8.根据权利要求1所述的虚拟现实手柄，其特征在于，还包括：第一通信模块，与所述第一主芯片连接，并与头戴式显示器通信，用于将所述位姿信息发送至所述头戴式显示器，并由所述头戴式显示器基于所述位姿信息进行所述虚拟现实手柄和所述头戴式显示器之间的坐标融合。9.根据权利要求1至4中任一项所述的虚拟现实手柄，其特征在于，还包括：红外发射模组，用于发送红外信号，并与所述第一图像采集模组配合设置；所述第一图像采集模组还用于：追踪所述红外信号；所述第一主芯片还用于：识别所述视角图像中的红外信号点，以基于所述红外信号点对所述虚拟现实手柄辅助定位。10.一种头戴式显示器，其特征在于，包括：第二主芯片；第二通信模块，与所述第二主芯片连接，用于接收虚拟现实手柄发送的位姿信息；所述第二主芯片用于：基于所述位姿信息进行所述虚拟现实手柄和所述头戴式显示器之间的坐标融合。11.根据权利要求10所述的头戴式显示器，其特征在于，还包括：第二图像采集模组，与所述第二主芯片电连接，包括两个第二摄像模块，用于采集头部视角图像；所述第二主芯片还用于：基于所述头部视角图像对所述头戴式显示器进行视觉定位。12.一种虚拟现实手柄定位方法，其特征在于，应用于虚拟现实手柄，包括：采集所述虚拟现实手柄在移动过程中任意时刻的至少两个手柄视角图像；基于所述至少两个手柄视角图像进行自身的位姿计算，以生成所述虚拟现实手柄的位姿...

【专利技术属性】
技术研发人员：傅亦晨，何火高，
申请(专利权)人：银牛微电子无锡有限责任公司，
类型：发明
国别省市：