一种XR组合场景体验生成方法、系统及存储介质技术方案

本发明专利技术公开了一种XR组合场景体验生成方法、系统及存储介质，该方法包括：步骤S10，生成所述组合场景的各子场景的体验画面；步骤S20，各子场景体验画面进行遮挡计算合成为用户p的组合场景体验画面，显示给用户p看。本发明专利技术通过上述技术方案，使组合场景不满足所有子场景之间存在分隔面的情况下，在用户实时位姿下，分别判断出各子场景是否与其它子场景是单向遮挡或不遮挡，对于与其它子场景都单向遮挡或不遮挡的子场景，在渲染用户体验画面时，不需要生成并传输体验画面对应的深度图像，且依照单向遮挡关系就可与其它子场景体验画面图像正确进行合成，从而显著节省了传输深度图像所需带宽以及减少了图像合成的计算量，有明确的经济效益。济效益。济效益。

【技术实现步骤摘要】
一种XR组合场景体验生成方法、系统及存储介质


[0001]本专利技术涉及虚拟现实
，尤其涉及一种扩展现实(XR)组合场景体验生成方法、系统及存储介质。

技术介绍

[0002]虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术等技术相通相融，统称为扩展现实技术(XR)。XR组合场景由2个以上子场景组合而成的特殊场景，用户在组合场景内可以查看所有子场景内容并进行互动，其中子场景可以是虚拟场景、数字孪生场景或真实场景。组合场景可以破除场景之间的藩篱构造丰富多彩的体验活动类型，例如在课堂中，可以组合多个单人教学活动场景或多人协同教学活动场景生成包含多个场景的教学组合场景，通过改变包含场景类型与场景数量，可以构建种类繁多的组合场景，其中主要包括：“学中做”场景，“演示
‑
实训”场景，“认知
‑
实训”场景，实训帮助场景，考核竞赛场景，多小组实操演示等。
[0003]组合场景的子场景既可以用于单用户体验，也可以用于多用户的协同体验。在由真实场景与虚拟子场景组合而成的虚实融合组合场景中，真实场景体验画面由真实摄像头实时生成，虚拟场景体验画面由计算系统渲染而成，通过合成真实场景体验画面与虚拟子场景体验画面得到此组合场景的完整体验画面。组合场景包含多个虚拟子场景时，单台计算设备很可能不能负荷此组合场景的渲染。在5G网络、wifi 6等高性能无线网络技术赋能下，XR移动终端(5G手机、头显等)所需的存储、计算、渲染等服务都可以放到云端。由此，基于云存储、云计算、云渲染等云服务，单个XR终端所能拥有的计算、存储、渲染能力可以无上限，把组合场景各虚拟子场景部署运行在一个服务器集群上的多台服务器上或1台大型服务器的多块显卡上，各虚拟子场景在不同服务器或不同显卡上分别单独渲染生成体验画面，各子场景体验画面经过传输后汇总到一起，通过图像合成得到组合场景的体验画面，从而基于云服务，可以为用户生成包含大量子场景的XR组合场景沉浸式体验。
[0004]当组合场景里的子场景分别单独渲染时，各子场景的用户体验画面，需要通过遮挡计算合成用户对XR组合场景的体验画面。在专利申请《一种基于XR技术的新维度空间构建方法、系统及平台》(申请号CN202210022608.9)中，在渲染生成各子场景用户体验画面的同时生成对应的深度图像，各子场景用户体验画面根据深度图像进行遮挡计算。为了减去深度图像的生成与传输，在专利申请《基于XR技术的泛在实训校园构建方法、系统及存储介质》(申请号：CN202210908795.0)中，预先规定各子场景之间必须分别都存在分隔面，由场景所处分隔面的位置，可以不需要深度图像就能计算得到各虚拟场景体验画面之间的遮挡关系。但实际应用需求中的很多XR组合场景不能满足各子场景都存在分隔面的要求，例如：由真实校园场景与多个虚拟实训场景组成的组合场景，虚拟实训场景部署在真实校园的广场、建筑大厅等场景，往往虚拟实训场景被真实校园场景里的建筑所环绕，虚拟实训场景与真实校园场景之间不存在能把两者分隔开的分隔面，从而不能适用专利申请《基于XR技术的泛在实训校园构建方法、系统及存储介质》(申请号：CN202210908795.0)的构建方法。

技术实现思路

[0005]专利技术人发现：即使组合场景两个子场景之间不存在分隔面时，也可能会存在一定的用户位置区间，所述两个子场景之间是单向遮挡的，从而当用户在此位置区间时，不需要深度信息就能确定所述两个子场景之间体验画面的遮挡关系。
[0006]基于上述发现，本专利技术的主要目的在于提供一种XR组合场景体验生成方法、系统及存储介质。对于不满足所有子场景之间存在分隔面的组合场景，本专利技术在用户实时位姿下，分别判断各子场景是否与其它子场景是单向遮挡或不遮挡，对于与其它子场景都单向遮挡或不遮挡的子场景，在渲染用户体验画面时，不需要生成并传输体验画面对应的深度图像，且依照单向遮挡关系就可与其它子场景体验画面图像正确进行合成。
[0007]为实现上述目的，本专利技术提出一种XR组合场景体验生成方法，所述方法包括以下步骤：
[0008]步骤S10，生成所述组合场景的各子场景的体验画面，其中,所有任意虚拟子场景s
i
实时获取用户p在其坐标系下的位姿，并根据此实时位姿以及s
i
的成像区间、用户p在s
i
场景空间里的瞳距，生成用户p对s
i
的体验画面；
[0009]步骤S20，各子场景体验画面进行遮挡计算合成为用户p的组合场景体验画面，显示给用户p看，其中，对于与其它所有子场景都是单向遮挡或不遮挡的任意子场景s
i
，在体验画面合成时，当s
i
体验画面图像任意像素与其它任意子场景s
j
体验画面图像像素之间存在遮挡关系时，计算所述像素间遮挡关系方法为：根据用户p在组合场景所处的实时位置，获得s
i
与s
j
的单向遮挡关系，所述像素之间的遮挡关系为s
i
与s
j
的单向遮挡关系；
[0010]其中若组合场景包含真实场景，则组合场景的子场景包含真实场景与虚拟子场景，另外各子场景在组合场景的显示区间为凸区间或非凸区间。
[0011]作为本专利技术的进一步改进，在所述步骤S10前面还有步骤S00:设定组合场景体验生成参数，包括设定各虚拟子场景的成像区间、用户p在各虚拟子场景的瞳距、所述组合场景坐标系与各虚拟子场景坐标系的旋转平移变换关系、各虚拟子场景在所述组合场景的显示区间，计算所有子场景之间的不同遮挡关系对应的用户位置区间，对于其中任意子场景s
i
与s
j
，s
i
与s
j
不同遮挡关系对应的用户位置区间包括：s
i
不遮挡遮挡s
j
用户位置区间、s
j
不遮挡s
i
用户位置区间、s
i
与s
j
双向遮挡用户位置区间。
[0012]作为本专利技术的进一步改进，在所述步骤S20后面还有步骤S30:所述组合场景接受用户p互动输入，判断此互动输入是否为对子场景的互动，若判断出此互动输入为用户p对任意子场景s
i
的互动，则此互动输入转换成场景s
i
坐标系下的互动输入，s
i
对转换后的互动输入进行响应。
[0013]作为本专利技术的进一步改进，步骤S00还有：对于任意虚拟子场景s
i
，若其在组合场景的显示区间Ω
′
i
为非凸区间，设定若干子凸区间Ω
′
i,0
、Ω
′
i,1
、...、完整覆盖Ω
′
i
，也就是同时要求尽可能小，且所有子凸区间不与其它子场景的显示区间以及子凸区间相交。
[0014]作为本专利技术的进一步改进，对于任意子场景对s本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种XR组合场景体验生成方法，其特征在于，所述方法包括以下步骤：步骤S10，生成所述组合场景的各子场景的体验画面，其中,所有任意虚拟子场景s
i
实时获取用户p在其坐标系下的位姿，并根据此实时位姿以及s
i
的成像区间、用户p在s
i
场景空间里的瞳距，生成用户p对s
i
的体验画面；步骤S20，各子场景体验画面进行遮挡计算合成为用户p的组合场景体验画面，显示给用户p看，其中，对于与其它所有子场景都是单向遮挡或不遮挡的任意子场景s
i
，在体验画面合成时，当s
i
体验画面图像任意像素与其它任意子场景s
j
体验画面图像像素之间存在遮挡关系时，计算所述像素间遮挡关系方法为：根据用户p在组合场景所处的实时位置，获得s
i
与s
j
的单向遮挡关系，所述像素之间的遮挡关系为s
i
与s
j
的单向遮挡关系；其中若组合场景包含真实场景，则组合场景的子场景包含真实场景与虚拟子场景，另外各子场景在组合场景的显示区间为凸区间或非凸区间。2.根据权利要求1所述生成方法，其特征在于，在所述步骤S10前面还有步骤S00:设定组合场景体验生成参数，包括设定各虚拟子场景的成像区间、用户p在各虚拟子场景的瞳距、所述组合场景坐标系与各虚拟子场景坐标系的旋转平移变换关系、各虚拟子场景在所述组合场景的显示区间，计算所有子场景之间的不同遮挡关系对应的用户位置区间，对于其中任意子场景s
i
与s
j
，s
i
与s
j
不同遮挡关系对应的用户位置区间包括：s
i
不遮挡遮挡s
j
用户位置区间、s
j
不遮挡s
i
用户位置区间、s
i
与s
j
双向遮挡用户位置区间。3.根据权利要求2所述生成方法，其特征在于，在所述步骤S20后面还有步骤S30:所述组合场景接受用户p互动输入，判断此互动输入是否为对子场景的互动，若判断出此互动输入为用户p对任意子场景s
i
的互动，则此互动输入转换成场景s
i
坐标系下的互动输入，s
i
对转换后的互动输入进行响应。4.根据权利要求3所述生成方法，其特征在于，步骤S00还有：对于任意虚拟子场景s
i
，若其在组合场景的显示区间Ω
′
i
为非凸区间，设定若干子凸区间Ω
′
i,0
、Ω
′
i
′1、...、完整覆盖Ω
′
i
，也就是同时要求尽可能小，且所有子凸区间不与其它子场景的显示区间以及子凸区间相交。5.根据权利要求4所述的方法，其特征在于，对于任意子场景对s
i
与s
j
，步骤S00计算出不同遮挡关系对应的用户位置区间包括以下步骤：S001,判断s
i
与s
j
在组合场景的显示区间是否恒定单向遮挡，若是，则计算s
i
不遮挡s
j
的用户位置区间与s
j
不遮挡遮挡s
i
的用户位置区间，结束计算，若否则进入步骤S002；S002,若s
i
在组合...

【专利技术属性】
技术研发人员：蔡铁峰，
申请(专利权)人：深圳职业技术学院，
类型：发明
国别省市：