训练方法及位姿追踪方法、系统、设备和存储介质技术方案

技术编号:41749226 阅读:24 留言:0更新日期:2024-06-21 21:34
一种训练方法及位姿追踪方法、系统、设备和存储介质,训练方法包括:获取可移动设备在各个帧时刻的图像,可移动设备上设置有用于发出信号光的出光单元;基于图像,获取图像中的光斑特征以及可移动设备的位姿信息基;基于同一帧时刻的图像对应的位姿信息和光斑特征获取图像的标注信息,并为图像添加对应的标注信息,标注信息包括出光单元对应的光斑特征的特征信息;将添加有标注信息的图像输入至预设的神经网络模型进行训练,得到光斑提取模型。基于位姿信息和光斑特征获取标注信息,提高了特征信息的准确性且易于实现标注信息的自动生成,还提高训练获得的光斑提取模型的光斑提取性能,进而有利于基于质量较高的光斑特征实现更高精度的位姿追踪。

【技术实现步骤摘要】

本专利技术实施例涉及位姿追踪,尤其涉及一种训练方法及位姿追踪方法、系统、设备和存储介质


技术介绍

1、vr(virtual reality,虚拟现实)/ar(augmented reality,增强现实)/mr(mixedreality,混合现实)技术可以提供一种模拟的三维数字体验,允许我们身临其境地体验任何虚拟或真实的世界,而不受实际身处之地的约束。6dof(degree of freedom,自由度)手柄控制器(handheld controller)是虚拟现实设备进行人机交互的重要实现手段。随着虚拟现实
的发展,头戴式6dof一体机逐渐成为主流,而6dof手柄控制器逐渐成为头戴式6dof一体机的标配。

2、根据6dof手柄控制器使用的传感器类型,可以分为光学、电磁和超声波等方式,其中,光学手柄控制器6dof追踪的主要原理是利用相机检测手柄上的红外光斑后,利用视觉算法计算得到手柄6dof位姿。光学手柄因定位精度高、跟踪鲁棒性强、用户体验好等优势,成为主流的实现方式之一。

3、但是,目前位姿追踪的鲁棒性和用户体验仍有待提高本文档来自技高网...

【技术保护点】

1.一种光斑提取的训练方法,其特征在于,包括:

2.如权利要求1所述的训练方法,其特征在于,在基于所述图像,获取所述图像中的光斑特征以及所述可移动设备的位姿信息的过程中,在获取所述图像中的光斑特征后,获取所述可移动设备的位姿信息之前,还包括:判断所述光斑特征是否满足成像质量要求;

3.如权利要求1所述的训练方法,其特征在于,基于所述图像,获取所述图像中的光斑特征以及所述可移动设备在对应帧时刻的位姿信息,包括:基于所述图像提取光斑特征;基于所述光斑特征获取预测位姿作为对应帧时刻的位姿信息;

4.如权利要求1或3所述的训练方法,其特征在于,基于同一帧时刻的...

【技术特征摘要】

1.一种光斑提取的训练方法,其特征在于,包括:

2.如权利要求1所述的训练方法,其特征在于,在基于所述图像,获取所述图像中的光斑特征以及所述可移动设备的位姿信息的过程中,在获取所述图像中的光斑特征后,获取所述可移动设备的位姿信息之前,还包括:判断所述光斑特征是否满足成像质量要求;

3.如权利要求1所述的训练方法,其特征在于,基于所述图像,获取所述图像中的光斑特征以及所述可移动设备在对应帧时刻的位姿信息,包括:基于所述图像提取光斑特征;基于所述光斑特征获取预测位姿作为对应帧时刻的位姿信息;

4.如权利要求1或3所述的训练方法,其特征在于,基于同一帧时刻的所述图像对应的位姿信息和光斑特征获取所述图像的标注信息的方式包括如下方式中的一种或多种,所述方式包括:基于任一帧时刻的图像所对应的位姿信息,将所述出光单元投影至对应帧时刻的图像中,并计算与光斑特征的反投影误差;提取出反投影误差满足第一预设阈值条件的光斑特征,作为所述出光单元对应的光斑特征;获取被提取光斑特征所对应的特征信息;

5.如权利要求4所述的训练方法,其特征在于,根据当前帧图像对应的位姿信息以及光学模型,从所述当前帧图像中提取所述出光单元对应的光斑特征;

6.如权利要求4所述的训练方法,其特征在于,基于同一帧时刻的所述图像对应的位姿信息和光斑特征获取所述图像的标注信息,还包括:获取被提取光斑特征所对应的特征信息之前,将被提取光斑特征的灰度与第二预设阈值条件进行比较,以滤除不满足所述第二预设阈值的光斑特征,所述第二预设阈值条件为灰度值大于或等于第一预设阈值;

7.如权利要求1所述的训练方法,其特征在于,在获取所述可移动设备的位姿信息后,基于同一帧时刻的所述图像对应的位姿信息和光斑特征获取所述图像的标注信息之前,还包括:判断所述帧时刻的位姿信息是否正确;

8.如权利要求1所述的训练方法,其特征在于,基于同一帧时刻的所述图像对应的位姿信息和光斑特征获取所述图像的标注信息的步骤中,获取所述光斑特征的特征信息包括:将所述出光单元对应的光斑特征作为光斑掩膜,和/或,获取所述出光单元对应的光斑特征的中心作为光斑掩膜中心。

9.如权利要求1所述的训练方法,其特征在于,采用第一型图像采集设备获取可移动设备在各个帧时刻的图像;

10.如权利要求1所述的训练方法,其特征在于,基于所述图...

【专利技术属性】
技术研发人员:张旭张兆辉邓伯胜毛文涛
申请(专利权)人:高通科技公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1