扩展现实环境中对象追踪方法、装置、设备及介质制造方法及图纸

本公开提供了一种扩展现实环境中对象追踪方法、装置、设备、介质及产品，该方法包括：终端确定扩展现实环境中的对象是否在屏幕显示范围内，在对象不在终端的屏幕显示范围内的情况下，向用户提示该对象的方位，以使用户根据提示调整终端的位姿，使对象出现在终端的屏幕显示范围内，如此，实现对于可移动对象的追踪。实现对于可移动对象的追踪。实现对于可移动对象的追踪。

【技术实现步骤摘要】
扩展现实环境中对象追踪方法、装置、设备及介质


[0001]本公开涉及计算机
，尤其涉及一种扩展现实环境中对象追踪方法、系统、设备以及计算机可读存储介质、计算机程序产品。

技术介绍

[0002]随着计算机技术的不断发展，一种新的交互方式即扩展现实(extended reality，XR)应运而生。扩展现实是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合的、可人机交互的环境。扩展现实包括增强现实(augmented reality，AR)，虚拟现实(virtual reality，VR)、混合现实(mixed reality，MR)等多种形式。
[0003]目前，很多应用如直播类应用、游戏类应用使用了XR交互方式。以直播应用使用AR交互方式进行示例说明，用户可以在房间中直播，直播应用可以在房间环境中叠加显示可移动的对象，该对象例如可以是电子红包、电子吉祥物等虚拟对象。
[0004]为了提高交互性，用户可以追踪上述可移动的对象以进行交互。然而，用户根据自身经验追踪上述可移动的对象的效率比较低下，用户友好度不高，影响了交互体验。

技术实现思路

[0005]本公开的目的在于：提供了一种扩展现实环境中对象追踪方法、装置、设备、计算机可读存储介质以及计算机程序产品，能够降低用户在扩展现实环境中进行对象追踪的操作难度，提高用户的友好度，提高用户的交互体验。
[0006]第一方面，本公开提供了一种扩展现实环境中对象追踪方法，应用于终端，所述方法包括：
[0007]确定所述扩展现实环境中的所述对象是否出现在所述终端的屏幕显示范围内；
[0008]当所述对象未出现在所述终端的屏幕显示范围内时，向用户提示所述对象的方位；
[0009]响应于所述用户根据提示的所述对象的方位触发的调整操作，调整所述终端的位姿，以使所述对象出现在所述终端的屏幕显示范围内。
[0010]第二方面，本公开提供了一种扩展现实环境中对象追踪装置，所述装置包括：
[0011]确定模块，用于确定所述扩展现实环境中的所述对象是否出现在所述终端的屏幕显示范围内；
[0012]提示模块，用于当所述对象未出现在所述终端的屏幕显示范围内时，向用户提示所述对象的方位；
[0013]调整模块，用于响应于所述用户根据提示的所述对象的方位触发的调整操作，调整所述终端的位姿，以使所述对象出现在所述终端的屏幕显示范围内。
[0014]第三方面，本公开提供了一种电子设备，包括：
[0015]存储装置，其上存储有计算机程序；
[0016]处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面
或第二方面中任一项所述方法的步骤。
[0017]第四方面，本公开提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面或第二方面中任一项所述方法的步骤。
[0018]第五方面，本公开提供了一种包含指令的计算机程序产品，当其在设备上运行时，使得设备执行上述第一方面或第二方面的任一种实现方式所述的方法。
[0019]从以上技术方案可以看出，本公开至少具有如下优点：
[0020]通过上述技术方案，终端确定扩展现实环境中的对象是否在屏幕显示范围内，在对象不在终端的屏幕显示范围内的情况下，向用户提示该对象的方位，以使用户根据提示调整终端的位姿，使对象出现在终端的屏幕显示范围内，实现对于可移动对象的追踪。如此，通过向用户提示对象的方位帮助用户追踪可移动对象，用户可以根据提示实现对于对象的追踪，而无需依靠经验追踪，降低了用户在扩展现实环境中进行对象追踪的操作难度，提高了用户的友好度，提高了用户的交互体验。
[0021]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0022]为了更清楚地说明本公开实施例的技术方法，下面将对实施例中所需使用的附图作以简单地介绍。
[0023]图1为本公开实施例提供的一种扩展现实环境中对象追踪系统的系统架构图；
[0024]图2为本公开实施例提供的一种扩展现实环境中对象追踪方法流程图；
[0025]图3为本公开实施例提供的一种透视投影的示意图；
[0026]图4为本公开实施例提供的一种裁剪坐标系坐标轴的示意图；
[0027]图5为本公开实施例提供的一种对象的部分在显示界面中的示意图；
[0028]图6为本公开实施例提供的另一种对象的部分在显示界面中的示意图；
[0029]图7为本公开实施例提供的一种观察坐标系坐标轴的示意图；
[0030]图8为本公开实施例提供的一种对象的角度获取的示意图；
[0031]图9为本公开实施例提供的一种显示界面提示的示意图；
[0032]图10为本公开实施例提供的另一种显示界面提示的示意图；
[0033]图11为本公开实施例提供的又一种显示界面提示的示意图；
[0034]图12为本公开实施例提供的一种坐标系的z轴的示意图；
[0035]图13为本公开实施例提供的扩展现实环境中对象追踪的显示界面示意图；
[0036]图14为本公开实施例提供的扩展现实环境中对象追踪装置的示意图；
[0037]图15为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
[0038]本公开实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
[0039]首先对本公开实施例中所涉及到的一些技术术语进行介绍。
[0040]扩展现实(extended reality，XR)可以提供一个人机交互的虚拟环境，为体验者
带来虚拟世界与现实世界之间无缝转换的“沉浸感”。通常情况下，XR包括增强现实(augmented reality，AR)、虚拟现实(virtual reality，VR)以及混合现实(mixed reality，MR)等多种形式。AR是指在真实空间中加入虚拟内容，将虚拟的信息(例如物体、图片、视频、声音)等映射在现实环境中。VR是指利用计算机模拟三维空间，通过用户感官为用户模拟一种沉浸感和临场感，使用户体验虚拟的仿真世界。XR可以看作是AR和VR的结合，能够合并现实与虚拟世界，产生新的可视化环境。
[0041]很多游戏、直播中应用有XR交互方式，下面以XR交互方式中的AR为例介绍XR在游戏、直播中的应用。在游戏中，设置用户可以在固定时间内在AR环境中寻找道具，根据用户在这段时间内所寻找到的道具生成道具奖励，道具奖励可以为在其他游戏中可以使用的道具。通常情况下，用户根据经验或者自身记忆通过屏幕在现实世界中寻找虚拟对象，但是这种对于虚拟对象的寻找对于用户经验的依赖程度较高，用户对于虚拟对象的寻找效率较低，对于用户的友好度不高，影响用户对这种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种扩展现实环境中对象追踪方法，其特征在于，应用于终端，所述方法包括：确定所述扩展现实环境中的所述对象是否出现在所述终端的屏幕显示范围内；当所述对象未出现在所述终端的屏幕显示范围内时，向用户提示所述对象的方位；响应于所述用户根据提示的所述对象的方位触发的调整操作，调整所述终端的位姿，以使所述对象出现在所述终端的屏幕显示范围内。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述对象出现在所述终端的屏幕显示范围内时，基于穿过所述终端的屏幕的射线碰撞所述对象；当所述射线命中所述对象时，向用户呈现针对所述对象的动画效果。3.根据权利要求2所述的方法，其特征在于，所述射线经过所述屏幕的中心点，且所述射线的方向为所述终端的摄像机的朝向。4.根据权利要求1所述的方法，其特征在于，当所述对象未出现在所述终端的屏幕显示范围内时，所述方法还包括：获取摄像机坐标系到世界坐标系的第一转换矩阵；根据所述第一转换矩阵的逆矩阵，将所述对象在所述世界坐标系中的坐标转换为所述对象在所述摄像机坐标系中的坐标；根据所述对象在摄像机坐标系中的坐标，确定所述对象的方位。5.根据权利要求4所述的方法，其特征在于，所述对象的方位通过方位角表征，所述根据所述对象在摄像机坐标系中的坐标，确定所述对象的方位，包括：根据所述对象在摄像机坐标系中的坐标，确定所述对象的方向向量；根据所述对象的方向向量，确定所述对象的方位角。6.根据权利要求5所述的方法，其特征在于，所述向用户提示所述对象的方位，包括：根据所述对象的方位角，在所述屏幕的目标位置...

【专利技术属性】
技术研发人员：陈一鑫，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：