【技术实现步骤摘要】
本专利技术涉及xr，尤其涉及xr组合场景构建方法、系统及介质。
技术介绍
1、虚拟现实(vr)、增强现实(ar)、混合现实(mr)等技术相通相融，统称为扩展现实技术(xr)。组合两个及两个以上的单人体验场景和/或多人协同体验场景可以构建组合场景，被组合的场景是所述组合场景的子场景，子场景可以是虚拟场景、真实场景、虚实混合场景中的一种或多种。用户对组合场景进行体验时，用户可以同时查看组合场景内所有子场景的立体三维信息，进一步可以与所有子场景进行立体互动体验。组合场景能破除场景之间的隔离，在教学等xr应用领域将发挥重要作用。
2、构成组合场景的方法中很重要的一种技术路径为：子场景生成双目立体视觉画面，子场景生成的双目立体视觉画面与组合场景内其它子场景的双目立体视觉画面经过遮挡处理合成得到用户的组合场景体验画面。在参考文献中[1]-[7]都包含了组合场景的构建，其中文献[1][2]中的构建新维度空间与泛在实训校园都是特定形式的组合场景，文献[1-5]中组合场景构建方法中，都给各子场景分别设定了成像区间，且根据用户实时位姿分别计算得到用户在各子场景中的位姿，进一步在计算得到的用户位姿下分别渲染各子场景成像区间的用户立体视觉体验画面，然后各子场景的体验画面合成得到组合场景用户体验画面。文献[6][7]中，同样给子场景设定成像区间，各子场景分别对成像区间成像，但用户在子场景的成像位姿并不根据用户实时位姿进行更新，可以是预先设定好的某个固定值，所以在合成得到的组合场景体验画面中，子场景在用户视场的显示区间不随用户实时位姿改变。p>
3、上述方法都涉及到给子场景设定成像区间，子场景对成像区间里的场景内容渲染生成画面。当一个场景被多个用户共同体验时，用户可能需要在场景中设定不同的成像区间，不同的成像区间会冲突，导致同一个场景实例不能同时为多个有不同成像区间要求的用户生成体验画面，需要生成多个状态同步的场景实例分别对不同的成像区间设定进行成像。例如，用户a在场景1进行体验，用户b在由场景1与场景2组合而成的组合场景里进行体验，对于用户a,场景1的成像区间是整个场景，而对于用户b来说，其视场或体验空间只有一个特定的三维区间可以用来呈现场景1，所以用户a与用户b对于场景1的成像区间要求不同，场景1需要有两个场景状态同步的场景实例分别为用户a与用户b生成体验画面。
技术实现思路
1、本专利技术的主要目的在于提供一种xr组合场景构建方法,在子场景实例中不限定渲染画面的成像区间，只需要通过对子场景体验画面进行裁剪就能得到特定成像区间的用户体验画面，并进一步通过遮挡计算与组合场景内其它内容的体验画面合成得到组合场景体验画面。
2、为实现上述目的，本专利技术提出一种基于图像裁剪的xr组合场景构建方法，所述方法包括：第一子场景的双目立体视觉画面中满足图像裁剪约束的部分，与组合场景内其它内容的双目立体视觉画面进行图像合成，得到组合场景的第一用户双目立体视觉画面，其中所述图像裁剪约束为成像区间约束和/或显示区间约束，所述第一子场景是虚拟场景、虚实融合场景、真实场景中的一种。
3、在一些可选的实施方式中，所述成像区间约束为：第一子场景的双目立体视觉画面中成像内容属于第一子场景第一成像区间的所有像素；所述显示区间约束为：第一子场景的双目立体视觉画面中，在所述组合场景中显示的位置属于组合场景第一显示区间的所有像素。
4、在一些可选的实施方式中，所述第一成像区间须满足：第一点为所述第一成像区间内任意点，第二点为第一点与所述第一子场景成像的双目相机左眼光心或右眼光心连线上的任意点，若第二点成像，则第二点也须属于所述第一成像区间，其中所述双目相机用于生成合成组合场景的双目立体视觉画面；所述第一显示区间须满足：在第一显示区间对应的第一子场景成像区间中，第一点为此成像区间任意点，第二点为第一点与所述第一子场景成像的双目相机左眼光心或右眼光心连线上的任意点，若第二点成像，则第二点也须属于此成像区间，其中所述双目相机用于生成合成组合场景的双目立体视觉画面。
5、在一些可选的实施方式中，所述第一子场景的双目立体视觉画面是根据双目相机成像的瞳距以及位姿，实时渲染第一子场景生成的，在所述第一子场景生成双目立体视觉画面前，需要设定第一子场景合成组合场景用的双目相机成像瞳距以及位姿，在所述图像合成前，需要设定所述图像裁剪约束。
6、其中，第一子场景合成组合场景用的双目相机位姿设定方式为如下方式之一：设定所述位姿为任意位姿常量值，设定所述位姿跟随第一用户的位姿变化，设定所述位姿跟随体验第一子场景的第二用户的位姿变化，其中跟随是指跟随与被跟随两者之间位姿相等或存在位姿映射关系。
7、在一些可选的实施方式中，进行所述图像合成时，第一子场景的双目立体视觉画面中满足图像裁剪约束的像素，保存到第一用户组合场景双目视觉立体画面中或须与组合场景内其它内容的双目立体视觉画面中共第一用户视线的像素进行遮挡计算。
8、其中，所述遮挡计算方式为：对于第一子场景的双目立体视觉画面中满足图像裁剪约束的第一像素，组合场景内其它内容的双目立体视觉画面中第二像素与所述第一像素共用户视线，根据相同瞳距下修正后的深度值，进行深度值大小比较，若所述第一像素修正后的深度值小于所述第二像素相同瞳距下的深度值，则所述第一像素遮挡第二像素，否则，所述第二像素遮挡第一像素；或者，所述遮挡计算方式为：对于第一子场景的双目立体视觉画面中满足图像裁剪约束的第一像素，组合场景内其它内容的双目立体视觉画面中第二像素与所述第一像素共用户视线，查询显示区间深度信息获得第一像素的深度表征值，第一像素的深度表征值与在组合场景成像瞳距下修正后的第二像素深度值，进行深度值大小比较，若所述第一像素的深度表征值小于所述第二像素修正后的深度值，则所述第一像素遮挡第二像素，否则，所述第二像素遮挡第一像素，其中所述显示区间为设定限定第一子场景双目立体视觉图像裁剪的组合场景显示区间或限定第一子场景双目立体视觉图像裁剪的第一子场景成像区间对应的组合场景显示区间；所述第一成像区间是设定在第一子场景坐标系下的区间或第一子场景双目相机坐标系下的区间，设定所述第一显示区间采用的坐标系是所述组合场景坐标系、第一用户视场坐标系、所述组合场景双目相机坐标系之一。
9、在一些可选的实施方式中，第一用户在所述组合场景可以进行互动操作，所述互动操作为下述互动方式之一：对第一子场景内物体进行互动操作，使用第二子场景内物体对第一子场景内物体进行跨场景操作，使用第一子场景内物体对第二子场景内物体进行跨场景操作。
10、为实现上述目的，一种基于图像裁剪的xr组合场景构建系统，其特征在于，所述系统包括存储器、处理器以及存储在所述存储器上的基于图像裁剪的xr组合场景构建方法程序，所述基于图像裁剪的xr组合场景构建方法程序被所述处理器运行时执行上述的基于图像裁剪的xr组合场景构建法。
11、为实现上述目的，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储本文档来自技高网...
【技术保护点】
1.一种基于图像裁剪的扩展现实技术(XR)组合场景构建方法，其特征在于，第一子场景的双目立体视觉画面中满足图像裁剪约束的部分，与组合场景内其它内容的双目立体视觉画面进行图像合成，得到组合场景的第一用户双目立体视觉画面，其中所述图像裁剪约束为成像区间约束和/或显示区间约束，所述第一子场景是虚拟场景、虚实融合场景、真实场景中的一种。
2.根据权利要求1所述的组合场景构建方法，其特征在于，所述成像区间约束为：第一子场景的双目立体视觉画面中成像内容属于第一子场景第一成像区间的所有像素；所述显示区间约束为：第一子场景的双目立体视觉画面中，在所述组合场景中显示的位置属于组合场景第一显示区间的所有像素。
3.根据权利要求2所述的组合场景构建方法，其特征在于，所述第一成像区间须满足：第一点为所述第一成像区间内任意点，第二点为第一点与所述第一子场景成像的双目相机左眼光心或右眼光心连线上的任意点，若第二点成像，则第二点也须属于所述第一成像区间，其中所述双目相机用于生成合成组合场景的双目立体视觉画面；所述第一显示区间须满足：在第一显示区间对应的第一子场景成像区间中，第一点为此成
4.根据权利要求3所述的组合场景构建方法，其特征在于，所述第一子场景的双目立体视觉画面是根据双目相机成像的瞳距以及位姿，实时渲染第一子场景生成的，在所述第一子场景生成双目立体视觉画面前，需要设定第一子场景合成组合场景用的双目相机成像瞳距以及位姿，在所述图像合成前，需要设定所述图像裁剪约束。
5.根据权利要求4所述的组合场景构建方法，其特征在于，第一子场景合成组合场景用的双目相机位姿设定方式为如下方式之一：设定所述位姿为任意位姿常量值，设定所述位姿跟随第一用户的位姿变化，设定所述位姿跟随体验第一子场景的第二用户的位姿变化，其中跟随是指跟随与被跟随两者之间位姿相等或存在位姿映射关系。
6.根据权利要求1-5所述任意一项的组合场景构建方法，其特征在于，进行所述图像合成时，第一子场景的双目立体视觉画面中满足图像裁剪约束的像素，保存到第一用户组合场景双目视觉立体画面中或须与组合场景内其它内容的双目立体视觉画面中共第一用户视线的像素进行遮挡计算。
7.根据权利要求6所述组合场景构建方法，其特征在于，所述遮挡计算方式为：对于第一子场景的双目立体视觉画面中满足图像裁剪约束的第一像素，组合场景内其它内容的双目立体视觉画面中第二像素与所述第一像素共用户视线，根据相同瞳距下修正后的深度值，进行深度值大小比较，若所述第一像素修正后的深度值小于所述第二像素相同瞳距下的深度值，则所述第一像素遮挡第二像素，否则，所述第二像素遮挡第一像素；或者，所述遮挡计算方式为：对于第一子场景的双目立体视觉画面中满足图像裁剪约束的第一像素，组合场景内其它内容的双目立体视觉画面中第二像素与所述第一像素共用户视线，查询显示区间深度信息获得第一像素的深度表征值，第一像素的深度表征值与在组合场景成像瞳距下修正后的第二像素深度值，进行深度值大小比较，若所述第一像素的深度表征值小于所述第二像素修正后的深度值，则所述第一像素遮挡第二像素，否则，所述第二像素遮挡第一像素，其中所述显示区间为设定限定第一子场景双目立体视觉图像裁剪的组合场景显示区间或限定第一子场景双目立体视觉图像裁剪的第一子场景成像区间对应的组合场景显示区间；所述第一成像区间是设定在第一子场景坐标系下的区间或第一子场景双目相机坐标系下的区间，设定所述第一显示区间采用的坐标系是所述组合场景坐标系、第一用户视场坐标系、所述组合场景双目相机坐标系之一。
8.根据权利要求6所述的组合场景构建方法，其特征在于，第一用户在所述组合场景可以进行互动操作，所述互动操作为下述互动方式之一：对第一子场景内物体进行互动操作，使用第二子场景内物体对第一子场景内物体进行跨场景操作，使用第一子场景内物体对第二子场景内物体进行跨场景操作。
9.一种基于图像裁剪的XR组合场景构建系统，其特征在于，所述系统包括存储器、处理器以及存储在所述存储器上的基于图像裁剪的XR组合场景构建方法程序，所述基于图像裁剪的XR组合场景构建方法程序被所述处理器运行时执行如权利要求1至8任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行权利要求1-8中任一项所述的基于图像裁剪的XR组合场景构建方法。
...【技术特征摘要】
1.一种基于图像裁剪的扩展现实技术(xr)组合场景构建方法，其特征在于，第一子场景的双目立体视觉画面中满足图像裁剪约束的部分，与组合场景内其它内容的双目立体视觉画面进行图像合成，得到组合场景的第一用户双目立体视觉画面，其中所述图像裁剪约束为成像区间约束和/或显示区间约束，所述第一子场景是虚拟场景、虚实融合场景、真实场景中的一种。
2.根据权利要求1所述的组合场景构建方法，其特征在于，所述成像区间约束为：第一子场景的双目立体视觉画面中成像内容属于第一子场景第一成像区间的所有像素；所述显示区间约束为：第一子场景的双目立体视觉画面中，在所述组合场景中显示的位置属于组合场景第一显示区间的所有像素。
3.根据权利要求2所述的组合场景构建方法，其特征在于，所述第一成像区间须满足：第一点为所述第一成像区间内任意点，第二点为第一点与所述第一子场景成像的双目相机左眼光心或右眼光心连线上的任意点，若第二点成像，则第二点也须属于所述第一成像区间，其中所述双目相机用于生成合成组合场景的双目立体视觉画面；所述第一显示区间须满足：在第一显示区间对应的第一子场景成像区间中，第一点为此成像区间任意点，第二点为第一点与所述第一子场景成像的双目相机左眼光心或右眼光心连线上的任意点，若第二点成像，则第二点也须属于此成像区间，其中所述双目相机用于生成合成组合场景的双目立体视觉画面。
4.根据权利要求3所述的组合场景构建方法，其特征在于，所述第一子场景的双目立体视觉画面是根据双目相机成像的瞳距以及位姿，实时渲染第一子场景生成的，在所述第一子场景生成双目立体视觉画面前，需要设定第一子场景合成组合场景用的双目相机成像瞳距以及位姿，在所述图像合成前，需要设定所述图像裁剪约束。
5.根据权利要求4所述的组合场景构建方法，其特征在于，第一子场景合成组合场景用的双目相机位姿设定方式为如下方式之一：设定所述位姿为任意位姿常量值，设定所述位姿跟随第一用户的位姿变化，设定所述位姿跟随体验第一子场景的第二用户的位姿变化，其中跟随是指跟随与被跟随两者之间位姿相等或存在位姿映射关系。
6.根据权利要求1-5所述任意一项的组合场景构建方法，其特征在于，进行所述图像合成时，第一子场景的双目立体视觉画面中满足图像裁剪约束的像素，保存到第一用户组合场景双目...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。