定位追踪方法、平台及头戴显示系统技术方案

本公开实施例公开了定位追踪方法、定位追踪平台及头戴显示系统，该方法包括：获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，所述偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，所述手柄与所述头戴显示设备通信连接；根据所述奇数帧图像和所述头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息；根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。度信息。度信息。

【技术实现步骤摘要】
定位追踪方法、平台及头戴显示系统


[0001]本公开实施例涉及视频处理
，更具体地，本公开实施例涉及一种定位追踪方法、定位追踪平台及头戴显示系统。

技术介绍

[0002]定位技术被广泛应用于虚拟现实、增强现实、混合现实等领域，是人机交互的重要组成部分。
[0003]目前，在实现手柄追踪时，通常需要在手柄上设置电磁传感器或者超声传感器，以实现对手柄的定位追踪。在实现裸手追踪时，需要在头戴显示设备上增设红外摄像头或者深度摄像头。基于此，不能基于同一摄像头实现头戴显示设备、手柄和裸手的定位追踪，在使用过程中存在功耗大、稳定性差、成本高的问题。
[0004]因此，有必要提供一种定位追踪方法，以实现同步追踪头戴显示设备和手柄。

技术实现思路

[0005]本公开实施例的目的在于提供一种同步追踪头戴显示设备和手柄的技术方案。
[0006]根据本公开实施例第一方面，提供了一种定位追踪方法，所述方法包括：
[0007]获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，所述偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，所述手柄与所述头戴显示设备通信连接；
[0008]根据所述奇数帧图像和所述头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息；
[0009]根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。
[0010]可选地，所述第二曝光时长小于所述第一曝光时长。
[0011]可选地，所述方法还包括：
[0012]在通过头戴显示设备上设置的追踪相机以预设的第二曝光时长采集偶数帧图像时，控制所述手柄上的发光体按照预设的点亮时长点亮，所述第二曝光时长的中间时刻与所述点亮时长的中间时刻对应。
[0013]可选地，所述点亮时长大于等于所述第二曝光时长。
[0014]可选地，所述根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息，包括：
[0015]对所述偶数帧图像进行光斑检测，确定所述偶数帧图像中所有光斑的位置信息；
[0016]根据所述偶数帧图像中所有光斑的位置信息确定与所述偶数帧图像中光斑对应的所述手柄上的发光体的三维坐标；
[0017]根据与所述偶数帧图像中光斑对应的所述手柄上的发光体的三维坐标、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。
[0018]可选地，所述奇数帧图像中至少包括手部，所述方法还包括：
[0019]根据所述奇数帧图像确定手部的自由度信息。
[0020]可选地，所述根据所述奇数帧图像确定手部的自由度信息，包括：
[0021]将所述奇数帧图像输入预定的卷积神经网络模型，获得手部的多个关键点的位置；
[0022]根据手部的多个关键点的位置确定手部的自由度信息。
[0023]可选地，所述方法还包括：训练预定的卷积神经网络模型的步骤：
[0024]采集多张场景图像，所述场景图像中包含手部；
[0025]标注所述场景图像中的手部的多个关键点的位置，并将标注后的图像组成图像训练样本集；
[0026]根据所述图像训练样本集训练所述卷积神经网络模型。
[0027]根据本公开实施例的第二方面，提供了一种定位追踪平台，包括：
[0028]图像获取模块，用于获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，所述偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，所述手柄与所述头戴显示设备通信连接；
[0029]定位追踪模块，用于根据所述奇数帧图像和所述头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息；
[0030]定位追踪模块，还用于根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息；
[0031]或者，
[0032]所述装置包括处理器和存储器，所述存储器存储有计算机指令，所述计算机指令被所述处理器运行时，执行本公开实施例的第一方面任一项所述的方法。
[0033]根据本公开实施例第三方面，提供了一种头戴显示系统，包括头戴显示设备、与所述头戴显示设备连接的手柄和定位追踪平台，所述头戴显示设备上设置有至少两个追踪相机，所述手柄上设置有多个发光体。
[0034]根据本公开实施例，获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，根据奇数帧图像和头戴显示设备的姿态信息确定头戴显示设备的6DoF信息，根据偶数帧图像、手柄的姿态信息确定手柄的6DoF信息，从而不需要增设硬件的情况下，基于同一硬件实现对头戴显示设备和手柄的同步追踪，从而降低头戴显示设备的功耗，用户体验更好。
[0035]通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。
附图说明
[0036]为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0037]图1为可用于实现本公开实施例的头戴显示系统的硬件配置示意图；
[0038]图2为本公开实施例的定位追踪方法的流程示意图；
[0039]图3为本公开实施例的手柄的示意图；
[0040]图4为本公开实施例的定位追踪平台的结构方框图；
[0041]图5为本公开实施例的定位追踪平台的结构方框图。
具体实施方式
[0042]现在将参照附图来详细描述本专利技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本专利技术的范围。
[0043]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本专利技术及其应用或使用的任何限制。
[0044]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0045]在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
[0046]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0047]<硬件配置>
[0048]如图1所示，本专利技术实施例提供的头戴显示系统100的硬件配置的框图。
[0049]参见图1所示，头戴显本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种定位追踪方法，其特征在于，所述方法包括：获取通过头戴显示设备上设置的追踪相机以预设的第一曝光时长采集的奇数帧图像、以预设的第二曝光时长采集的偶数帧图像，其中，所述偶数帧图像中至少包括手柄上设置的多个发光体对应的光斑，所述手柄与所述头戴显示设备通信连接；根据所述奇数帧图像和所述头戴显示设备的姿态信息确定所述头戴显示设备的自由度信息；根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。2.根据权利要求1所述的方法，其中，所述第二曝光时长小于所述第一曝光时长。3.根据权利要求1所述的方法，其中，所述方法还包括：在通过头戴显示设备上设置的追踪相机以预设的第二曝光时长采集偶数帧图像时，控制所述手柄上的发光体按照预设的点亮时长点亮，所述第二曝光时长的中间时刻与所述点亮时长的中间时刻对应。4.根据权利要求3所述的方法，其中，所述点亮时长大于等于所述第二曝光时长。5.根据权利要求1所述的方法，其中，所述根据所述偶数帧图像、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息，包括：对所述偶数帧图像进行光斑检测，确定所述偶数帧图像中所有光斑的位置信息；根据所述偶数帧图像中所有光斑的位置信息确定与所述偶数帧图像中光斑对应的所述手柄上的发光体的三维坐标；根据与所述偶数帧图像中光斑对应的所述手柄上的发光体的三维坐标、所述手柄的姿态信息和所述头戴显示设备的自由度信息确定所述手柄的自由度信息。6.根据权利要求1所述的方法，其中，所述奇数帧图像中至少包括手部，所述...

【专利技术属性】
技术研发人员：吴涛，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：