虚拟现实系统以及控制方法技术方案

一种虚拟现实系统，包含头戴式显示装置以及多个追踪装置

【技术实现步骤摘要】
虚拟现实系统以及控制方法


[0001]本公开是有关于一种虚拟现实系统以及一种控制方法，特别是用于姿态追踪的一种虚拟现实系统以及一种控制方法
。

技术介绍

[0002]在当前的虚拟现实
(Virtual Reality,VR)
环境中，多个追踪装置被用来追踪
VR
环境中的人体姿态
。
然而，追踪装置往往缺乏相互沟通以及相互整合的能力
。
此外，当人体被遮挡或追踪装置的视野范围不佳时，人体姿态的预测结果会出现错误
。
因此，需要提出一种在包含多个追踪装置的
VR
环境中优化人体姿态的预测的方法
。

技术实现思路

[0003]本公开的一实施例是在提供一种虚拟现实系统，其特征在于，包含头戴式显示装置以及多个追踪装置
。
多个追踪装置与头戴式显示装置通讯连接，包含相机和处理器
。
相机用以取得当前时间点的人体的图像
。
处理器耦接于该相机，用以执行以下步骤：依据图像以取得当前时间点的人体的当前预测
3D
姿态以及人体的当前时间点的信心度
。
依据先前时间点的人体的先前预测
3D
姿态以及先前时间点的人体的先前最终优化姿态判定人体的先前有效值；依据先前有效值
、
当前时间点的信心度以及当前时间点的人体的当前预测
3D
姿态判定人体的当前有效值；以及依据当前有效值输出当前时间点的人体的当前预测
3D
姿态以及人体的当前时间点的信心度至多个追踪装置的主追踪装置，以产生当前时间点的当前最终优化姿态，以使头戴式显示装置显示当前时间点的当前最终优化姿态
。
[0004]于部分实施例中，其特征在于，其中所述多个追踪装置中的每一个更包含：一存储器，用以储存该当前时间点的该人体的该当前预测
3D
姿态
。
[0005]于部分实施例中，其特征在于，其中所述多个追踪装置中的每一个更包含：一存储器，用以储存一姿态估计网络；其中该处理器更用以输入该人体的该图像至该姿态估计网络以产生该当前时间点的该人体的该当前预测
3D
姿态以及该当前时间点的该信心度
。
[0006]于部分实施例中，其特征在于，其中该人体包含多个身体部件，且所述多个身体部件中的每一个对应于该当前时间点的一对应当前预测
3D
姿态
、
该先前时间点的一对应先前预测
3D
姿态以及该先前时间点的一对应先前最终优化姿态
。
[0007]于部分实施例中，其特征在于，其中该处理器更用以：对于所述多个身体部件中的每一个，依据该人体的该图像取得该当前时间点的一信心度嵌入值；对于所述多个身体部件中的每一个，依据该对应先前预测
3D
姿态以及该对应先前最终优化姿态判定一先前子有效值；对于所述多个身体部件中的每一个，依据该先前子有效值判定一当前子有效值
、
该信心度嵌入值以及该对应当前预测
3D
姿态；以及对于所述多个身体部件中的每一个，依据该当前子有效值输出该对应当前预测
3D
姿态以及该信心度嵌入值至该主追踪装置，以产生该当前时间点的一对应当前最终优化姿态
。
[0008]于部分实施例中，其特征在于，其中所述多个身体部件包含一第一身体部件，当该
第一身体部件的一第一当前子有效值高于一有效值阈值时，该主追踪装置的一主处理器更用以判定该第一身体部件的一第一对应当前预测
3D
姿态为有效
。
[0009]于部分实施例中，其特征在于，其中该主追踪装置的该主处理器更用以于判定该第一对应当前预测
3D
姿态为无效时，遮挡该第一对应当前预测
3D
姿态
。
[0010]于部分实施例中，其特征在于，其中所述多个追踪装置的该主追踪装置更包含：一存储器，用以储存一基于注意力聚合网络
(attention
‑
based aggregate network)
；其中该主追踪装置的一主处理器更用以输入从所述多个追踪装置中的一另一追踪装置所传送的该当前预测
3D
姿态以及该当前时间点的该信心度至该基于注意力聚合网络，以产生该当前最终优化姿态
。
[0011]于部分实施例中，其特征在于，其中该主追踪装置的该主处理器更用以转换从该另一追踪装置所传送的该当前预测
3D
姿态的一坐标至该主追踪装置的一坐标
。
[0012]本公开的另一实施例是在提供一种控制方法，其特征在于，适用于包含头戴式显示装置以及多个追踪装置的虚拟现实系统
。
多个追踪装置中的每一个包含相机以及处理器
。
控制方法包含以下步骤：由相机取得当前时间点的人体的图像；由处理器依据图像取得当前时间点的人体的当前预测
3D
姿态以及人体的当前时间点的信心度；由处理器依据先前时间点的人体的先前预测
3D
姿态以及先前时间点的人体的先前最终优化姿态判定人体的先前有效值；由处理器依据先前有效值
、
当前时间点的信心度以及当前时间点的人体的当前预测
3D
姿态判定人体的当前有效值；以及由处理器依据当前有效值输出当前时间点的人体的当前预测
3D
姿态以及人体的当前时间点的信心度至多个追踪装置的主追踪装置，以产生当前时间点的当前最终优化姿态，以使头戴式显示装置显示当前时间点的当前最终优化姿态
。
附图说明
[0013]为让本公开的上述和其他目的
、
特征
、
优点与实施例能够更明显易懂，所附附图的说明如下：
[0014]图1系依据本公开的一些实施例所示出的一种虚拟现实
(VR)
系统的示意图；
[0015]图2系依据本公开的一些实施例所示出的一种追踪装置的示意图；
[0016]图3系依据本公开的一些实施例所示出的一种控制方法的流程图；
[0017]图4系依据本公开的一些实施例所示出的一种当前时间点的人体的图像的示意图；
[0018]图5系依据本公开的一些实施例所示出的一种依据图4中的图像所产生的当前时间点的当前预测
3D
姿态的示意图；
[0019]图6系依据本公开的一些实施例所示出的一种当前时间点的被遮挡的当前预测
3D
姿态的示意图；以及
[0020]图7系依据本公开的一些实施例所示出的一种当前时间点的最终优化姿态的示意图
。
[0021]符号说明：
[0022]100:
虚拟现实系统
[0023]110A,110B,110C,110D:本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种虚拟现实系统，其特征在于，包含：一头戴式显示装置；多个追踪装置，与该头戴式显示装置通讯连接，包含：一相机，用以取得一当前时间点的一人体的一图像；以及一处理器，耦接于该相机，用以：依据该图像以取得该当前时间点的该人体的一当前预测
3D
姿态以及该人体的该当前时间点的一信心度；依据一先前时间点的该人体的一先前预测
3D
姿态以及该先前时间点的该人体的一先前最终优化姿态判定该人体的一先前有效值；依据该先前有效值
、
该当前时间点的该信心度以及该当前时间点的该人体的该当前预测
3D
姿态判定该人体的一当前有效值；以及依据该当前有效值输出该当前时间点的该人体的该当前预测
3D
姿态以及该人体的该当前时间点的该信心度至所述多个追踪装置的一主追踪装置，以产生该当前时间点的一当前最终优化姿态，以使该头戴式显示装置显示该当前时间点的该当前最终优化姿态
。2.
如权利要求1所述的虚拟现实系统，其特征在于，其中所述多个追踪装置中的每一个更包含：一存储器，用以储存该当前时间点的该人体的该当前预测
3D
姿态
。3.
如权利要求1所述的虚拟现实系统，其特征在于，其中所述多个追踪装置中的每一个更包含：一存储器，用以储存一姿态估计网络；其中该处理器更用以输入该人体的该图像至该姿态估计网络以产生该当前时间点的该人体的该当前预测
3D
姿态以及该当前时间点的该信心度
。4.
如权利要求1所述的虚拟现实系统，其特征在于，其中该人体包含多个身体部件，且所述多个身体部件中的每一个对应于该当前时间点的一对应当前预测
3D
姿态
、
该先前时间点的一对应先前预测
3D
姿态以及该先前时间点的一对应先前最终优化姿态
。5.
如权利要求4所述的虚拟现实系统，其特征在于，其中该处理器更用以：对于所述多个身体部件中的每一个，依据该人体的该图像取得该当前时间点的一信心度嵌入值；对于所述多个身体部件中的每一个，依据该对应先前预测
3D
姿态以及该对应先前最终优化姿态判定一先前子有效值；对于所述多个身体部件中的每一个，依据该先前子有效值判定一当前子有效值
、
该信心度嵌入值以及该对应当前预测
3D
姿态；以及对于所述多个身体部件中的每一个，依...

【专利技术属性】
技术研发人员：王冠勋，吴骏睿，
申请(专利权)人：宏达国际电子股份有限公司，
类型：发明
国别省市：