基于XR技术的泛在实训校园构建方法、系统及存储介质技术方案

本发明专利技术公开了一种基于XR技术的泛在实训校园构建方法、系统及存储介质，该方法把泛在实训校园里的虚拟实训场景拆分出来，虚拟实训场景在多台服务器上分别渲染，虚拟实训场景分别渲染生成的多幅沉浸式体验画面，经过图像处理合成泛在实训校园沉浸式体验画面，避免了单台常见的服务器远远无法满足此巨大计算资源需求的问题；此外该方法在进行实训场景之间遮挡处理时不需要深度信息，避免了实训场景体验画面对应深度图像的生成与传输，显著降低了计算资源与带宽的需求。而且基于本发明专利技术的泛在实训校园，可以进行多人协同、多人实训竞赛等多样化的实训教学活动。样化的实训教学活动。样化的实训教学活动。

【技术实现步骤摘要】
基于XR技术的泛在实训校园构建方法、系统及存储介质


[0001]本专利技术涉及泛在虚拟实训校园构建
，尤其涉及一种基于XR技术的泛在实训校园构建方法、系统及存储介质。

技术介绍

[0002]虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术在解决职业教育实训中的看不见、摸不着、进不去等难题有重大价值。VR、AR、MR(以下简称XR，扩展现实)等技术相通相融。在5G网络、wifi6等高性能无线网络技术赋能下，XR移动终端(5G手机、头显等)所需的存储、计算、渲染等服务都可以放到云端。由此，基于云存储、云计算、云渲染等云服务，单个XR终端所能拥有的计算、存储、渲染能力可以无上限。
[0003]泛在虚拟实训校园可以充分利用校园空间，在真实校园的广场、教学楼大厅、运动场等开阔区域部署各学科大量实训场景，解决校园实训场地不足的问题，全校师生用XR终端随时随地可进入此泛在实训校园。在泛在实训校园，用户能直观看到周围其他师生的虚拟实训体验，用户可以进入虚拟实训场景进行虚拟实训，可以与他人进行虚拟实训协同或竞赛。泛在实训校园构建一个可容纳全校师生实训学习大协同的校园空间。
[0004]由于泛在实训校园同时部署大量高逼真的虚拟实训场景，为用户生成泛在实训校园的沉浸式体验所需计算资源巨大，因此，单台常见的服务器远远无法满足此巨大计算资源需求。

技术实现思路

[0005]本专利技术的主要目的在于提供一种基于XR技术的泛在实训校园构建方法、系统及存储介质，以缓解泛在实训校园构建中单台常见的服务器计算资源巨大的压力。
[0006]为实现上述目的，本专利技术提出一种基于XR技术的泛在实训校园构建方法，所述方法包括以下步骤：
[0007]步骤S10：在校园上部署虚拟实训场景；
[0008]步骤S20:根据用户位置，确定用户视野内的虚拟实训场景；
[0009]步骤S30:为用户分配虚拟实训场景实例；
[0010]步骤S40：基于分配的所述虚拟实训场景实例，为所述用户视野内的各虚拟实训场景分别生成用户沉浸式体验画面；
[0011]步骤S50：由各虚拟实训场景的用户沉浸式体验画面合成泛在实训校园的沉浸式体验画面；
[0012]步骤S60：用户通过XR终端获得泛在实训校园沉浸式体验。其中，所述步骤S10包括：
[0013]在校园里部署虚拟实训场景构建泛在实训校园，设定各虚拟实训场景里用于呈现到泛在实训校园的三维成像区间以及各虚拟实训场景在泛在实训校园中的部署位姿，其中部署位姿需要确保部署在泛在实训校园里的任意两虚拟实训场景之间存在分隔平面把它
们在泛在实训校园的三维显示区间分隔在平面的两边，使任意两虚拟实训场景的三维显示区间单向遮挡；
[0014]所述步骤S20具体包括：对于任意用户h
k
，根据其在泛在实训校园的实时位置，设定可视范围，统计出可视范围内虚拟实训场景集合；
[0015]所述步骤S30具体包括：用户h
k
视野内的任意虚拟场景都分配场景实例给用户h
k
；
[0016]所述步骤S40具体包括：根据用户h
k
在泛在实训校园的实时位姿，以及视野内各虚拟实训场景坐标系与泛在实训校园坐标系的旋转平移关系，计算h
k
在视野内各虚拟实训场景坐标系下的位姿值，h
k
视野内各虚拟实训场景根据用户在其坐标系下的位姿，实时渲染沉浸式体验画面；
[0017]所述步骤S50具体包括：对于任意用户h
k
，计算出其视野内任意两虚拟实训场景的三维显示区间之间的遮挡关系，从而确定虚拟实训场景沉浸式体验画面之间的遮挡关系，根据画面之间遮挡关系实时合成出用户h
k
的泛在实训校园沉浸式体验画面。
[0018]所述步骤S60具体包括：任意用户h
k
的XR终端实时显示泛在实训校园沉浸式体验画面给用户h
k
看，使用户h
k
获得泛在实训校园沉浸式体验。
[0019]所述步骤S10在真实校园上完成对泛在虚拟实训场景的部署后，还计算任意两个完成部署的虚拟实训场景所述三维显示区间的分隔平面，然后计算这个两个虚拟实训场景所述三维显示区间分别在分隔平面哪一侧，记录此分隔平面以及两个虚拟实训场景所述三维显示区间分别在分隔平面哪一侧的信息，所述步骤S50在进行画面合成时计算用户视野内任意两个虚拟实训场景沉浸式体验画面的遮挡关系方法为：
[0020]遍历用户视野内任意两个虚拟实训场景的组合，计算出用户相对于这两个虚拟实训场景三维显示区间分隔平面的位置，获取这两个虚拟实训场景的所述三维显示区间在所述分隔平面的位置，判断哪个虚拟实训场景的所述三维显示区间与用户同在所述分隔平面的同一侧，这两个虚拟实训场景三维显示区间如果在用户视线上存在遮挡，一定是与用户同在所述分隔平面一侧的虚拟实训场景遮挡另一侧的虚拟实训场景，由此计算出虚拟实训场景三维显示区间之间的遮挡关系，也就确定了对应的虚拟实训场景沉浸式体验画面之间的遮挡关系。
[0021]其中，所述步骤S60还包括：
[0022]任意用户h
k
在泛在实训校园内，对任意虚拟实训场景s
m
里的内容进行互动，生成泛在实训校园坐标系下的互动操作命令A，转换互动操作命令A为虚拟实训场景s
m
坐标系下的互动操作命令，传输互动操作命令给虚拟实训场景s
m
，虚拟实训场景s
m
对互动操作命令响应。
[0023]其中，所述步骤S10具体还包括：
[0024]为待部署的任意虚拟实训场景选定三维凸区间包围盒；
[0025]设定包围盒在虚拟实训场景中的位姿，确定虚拟实训场景里需要在泛在实训校园呈现的三维成像区域；
[0026]在满足虚拟实训场景在泛在实训校园的三维显示区间不与其它虚拟实训场景三维显示区间相交且不超出校园可部署区域的约束下，设定包围盒在泛在实训校园内的位姿，确定所述虚拟实训场景在所述泛在实训校园内的三维显示区间。
[0027]其中，所述步骤S10还包括：
[0028]任意虚拟实训场景部署到泛在实训校园后，可动态调整三维凸区间包围盒在虚拟实训场景的位姿，从而动态调整虚拟实训场景里将呈现到泛在实训校园的成像区间。
[0029]其中，步骤S60后还包括步骤S70:建立虚拟实训场景之间的通信连接实现多人协同或竞赛,当进行多人竞赛时，对于任意参与竞赛的虚拟实训体验用户，参与竞赛的虚拟实训场景都会实时呈现在此用户的视场里,从而使竞赛用户能实时了解竞赛情况。
[0030]其中，步骤S70具体还包括如下步骤：
[0031]设定各虚拟实训场景在基准用户视场的第三视角三维显示区间，以及设定各虚拟实训场景到基准用户视场的旋转缩放平移关系；
[0032]计算基准用户在各虚拟实训场景坐标系下第三视角观看本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于XR技术的泛在实训校园构建方法，其特征在于，所述方法包括以下步骤：步骤S10：在校园里部署虚拟实训场景；步骤S20:根据用户位置，确定用户视野内的虚拟实训场景；步骤S30:为用户分配虚拟实训场景实例；步骤S40：基于分配的所述虚拟实训场景实例，为所述用户视野内的各虚拟实训场景分别生成用户沉浸式体验画面；步骤S50：由各虚拟实训场景的用户沉浸式体验画面合成泛在实训校园的沉浸式体验画面；步骤S60：用户通过XR终端获得泛在实训校园沉浸式体验。2.根据权利要求1所述的方法，其特征在于，所述步骤S10包括：在校园里部署虚拟实训场景构建泛在实训校园，设定各虚拟实训场景里用于呈现到泛在实训校园的三维成像区间以及各虚拟实训场景在泛在实训校园中的部署位姿，其中部署位姿需要确保部署在泛在实训校园里的任意两虚拟实训场景之间存在分隔平面把它们在泛在实训校园的三维显示区间分隔在平面的两边，使任意两虚拟实训场景的三维显示区间单向遮挡；所述步骤S20具体包括：对于任意用户h
k
、根据其在泛在实训校园的实时位置，设定可视范围，统计出可视范围内虚拟实训场景集合；所述步骤S30具体包括：用户h
k
视野内的任意虚拟场景都分配场景实例给用户h
k
；所述步骤S40具体包括：根据用户h
k
在泛在实训校园的实时位姿，以及视野内各虚拟实训场景坐标系与泛在实训校园坐标系的旋转平移关系，计算h
k
在视野内各虚拟实训场景坐标系下的位姿值，h
k
视野内各虚拟实训场景根据用户在其坐标系下的位姿，实时渲染沉浸式体验画面；所述步骤S50具体包括：对于任意用户h
k
，计算出其视野内任意两虚拟实训场景的三维显示区间之间的遮挡关系，从而确定虚拟实训场景沉浸式体验画面之间的遮挡关系，根据所述画面之间的遮挡关系实时合成出用户h
k
的泛在实训校园沉浸式体验画面所述步骤S60具体包括：任意用户h
k
的XR终端实时显示泛在实训校园沉浸式体验画面给用户h
k
看，使用户h
k
获得泛在实训校园沉浸式体验。3.根据权利要求2所述的方法，其特征在于，所述步骤S10在真实校园上完成对泛在虚拟实训场景的部署后，还计算任意两个完成部署的虚拟实训场景所述三维显示区间的分隔平面，然后计算这个两个虚拟实训场景所述三维显示区间分别在分隔平面哪一侧，记录此分隔平面以及两个虚拟实训场景所述三维显示区间分别在分隔平面哪一侧的信息，所述步骤S50在进行画面合成时计算用户视野内任意两个虚拟实训场景沉浸式体验画面的遮挡关系方法为：遍历用户视野内任意两个虚拟实训场景的组合，计算出用户相对于这两个虚拟实训场景三维显示区间分隔平面的位置，获取这两个虚拟实训场景的所述三维显示区间在所述分隔平面的位置，判断哪个虚拟实训场景的所述三维显示区间与用户同在所述分隔平面的同一侧，这两个虚拟实训场景三维显示区间如果在用户视线上存在遮挡，一定是与用户同在所述分隔平面一侧的虚拟实训场景遮挡另一侧的虚拟实训场景，由此计算出虚拟实训场景
三维显示区间之间的遮挡关系，也就确定了对应的虚拟实训场景沉浸式体验画面之间的遮挡关系。4.根据权力要求3所述的方法，其特征在于，所述步骤S60还包括：任意用户h
k
在泛在实训校园内，对任意虚拟实训场景s
m
里的内容进行互动，生成泛在实训校园坐标系下的互动操作命令A，转换互动操作命令A为虚拟实训场景s
m
坐标系下的互动操作命令传输互动操作命令给虚拟实训场景s
m
，虚拟实训场景s
m
对互动操作命令响应。5.根据权利要求4所述的方法，其特征...

【专利技术属性】
技术研发人员：蔡铁峰，
申请(专利权)人：深圳职业技术学院，
类型：发明
国别省市：