一种基于多模态融合方法的VR/AR模型构建方法技术

一种基于多模态融合方法的VR/AR模型构建方法，属于虚拟现实技术领域。本发明专利技术采用上述一种基于多模态融合方法的VR/AR模型构建方法，教师可以自由制定课程VR/AR资源，以班为单位开展虚拟空间教学活动，本发明专利技术兼容各用户的互动输入，充分考虑了学生对VR/AR技术的不同接受程度，学生可以根据自己的需要，选择改变VR/AR空间教室内各虚拟物体的不同状态和归属，学习方法灵活多变，本发明专利技术还兼容不同显示方式，教学场景更加生动易懂。

【技术实现步骤摘要】
一种基于多模态融合方法的VR/AR模型构建方法
本专利技术属于虚拟现实
，尤其是一种基于多模态融合方法的VR/AR模型构建方法。
技术介绍
虚拟现实(VR)技术是使用计算机生成虚拟空间，这个虚拟空间可以是二维、三维、四维等，其中最受关注的是三维空间。在虚拟空间里，虚拟物体根据指定的规则可自主的运动。人通过一定的输入方式与虚拟空间互动，可促使虚拟物体的生成、消除、位移等。增强现实(AR)技术在现实世界的基础上叠加虚拟物体，叠加的虚拟物体既可以根据真实世界的物理规则运动，也可以根据任意指定的规则运动。人在和增强现实空间互动时，既可以影响虚拟物体的运动，也可以影响真实物体的运动。除了VR和AR外，还有混合现实(MR)的概念，在这里把MR视作AR的一部分。VR与AR既区隔也相通，VR与AR相通主要体现在两方面。首先，VR空间内的虚拟物体如果有真实物体对应，且虚拟物体与真实物体重合，此时VR在某种意义上是AR；其次，在AR空间里，虚拟物体如果把真实世界完全遮挡住，此时AR也在某种意义上是VR。目前多模态融合方法的VR/AR模型构建方法尚属于开发阶段，存在诸多空白的地方。因此现有技术当中亟需要一种新型的技术方案来解决这一问题。
技术实现思路
本专利技术所要解决的技术问题是：提供一种基于多模态融合方法的VR/AR模型构建方法用于解决目前多模态融合方法的VR/AR模型构建方法尚属于开发阶段的技术问题。一种基于多模态融合方法的VR/AR模型构建方法，包括以下步骤，并且以下步骤顺次进行，S1，读取课程VR/AR资源，把资源内包含的虚拟物体模型发送到各渲染器；S2，获取对现实世界的认知数据,生产初始VR/AR场景；S3，依次导入课程VR/AR资源的各个知识点并初始化各虚拟物体的状态和归属；S4，读入各用户的互动输入，更新对现实世界的认知数据，计算下一时刻各虚拟物体的状态；S5，发送对现实世界的认知数据以及各虚拟物体的状态给各用户相应的渲染器；S6，渲染各用户的画面；S7，显示。还包括将多媒体设备的内容与VR/AR空间内容同步呈现。所述课程VR/AR内的虚拟物体可选择归属单人或多人可见，另外也可选择归属单人或多人可操作，各用户的互动输入包括选择虚拟物体的不同归属。所述各用户的互动输入包括各用户选择在VR/AR空间教室内位姿是空间定位还是任意自由指定。用户可以选择显示的方式是平面显示还是立体显示。通过上述设计方案，本专利技术可以带来如下有益效果：采用上述一种基于多模态融合方法的VR/AR模型构建方法，教师可以自由制定课程VR/AR资源，以班为单位开展虚拟空间教学活动，本专利技术兼容各用户的互动输入，充分考虑了学生对VR/AR技术的不同接受程度，学生可以根据自己的需要，选择改变VR/AR空间教室内各虚拟物体的不同状态和归属，学习方法灵活多变，本专利技术还兼容不同显示方式，教学场景更加生动易懂。具体实施方式一种基于多模态融合方法的VR/AR模型构建方法，包括以下步骤，并且以下步骤顺次进行，S1，读取课程VR/AR资源，把资源内包含的虚拟物体模型发送到各渲染器；S2，获取对现实世界的认知数据,生产初始VR/AR场景；S3，依次导入课程VR/AR资源的各个知识点并初始化各虚拟物体的状态和归属；S4，读入各用户的互动输入，更新对现实世界的认知数据，计算下一时刻各虚拟物体的状态；S5，发送对现实世界的认知数据以及各虚拟物体的状态给各用户相应的渲染器；S6，渲染各用户的画面；S7，显示。还包括将多媒体设备的内容与VR/AR空间内容同步呈现。所述课程VR/AR内的虚拟物体可选择归属单人或多人可见，另外也可选择归属单人或多人可操作，各用户的互动输入包括选择虚拟物体的不同归属。所述各用户的互动输入包括各用户选择在VR/AR空间教室内位姿是空间定位还是任意自由指定。用户可以选择显示的方式是平面显示还是立体显示。本文档来自技高网...

【技术保护点】
1.一种基于多模态融合方法的VR/AR模型构建方法，其特征是：包括以下步骤，并且以下步骤顺次进行，/nS1，读取课程VR/AR资源，把资源内包含的虚拟物体模型发送到各渲染器；/nS2，获取对现实世界的认知数据,生产初始VR/AR场景；/nS3，依次导入课程VR/AR资源的各个知识点并初始化各虚拟物体的状态和归属；/nS4，读入各用户的互动输入，更新对现实世界的认知数据，计算下一时刻各虚拟物体的状态；/nS5，发送对现实世界的认知数据以及各虚拟物体的状态给各用户相应的渲染器；/nS6，渲染各用户的画面；/nS7，显示。/n

【技术特征摘要】
1.一种基于多模态融合方法的VR/AR模型构建方法，其特征是：包括以下步骤，并且以下步骤顺次进行，
S1，读取课程VR/AR资源，把资源内包含的虚拟物体模型发送到各渲染器；
S2，获取对现实世界的认知数据,生产初始VR/AR场景；
S3，依次导入课程VR/AR资源的各个知识点并初始化各虚拟物体的状态和归属；
S4，读入各用户的互动输入，更新对现实世界的认知数据，计算下一时刻各虚拟物体的状态；
S5，发送对现实世界的认知数据以及各虚拟物体的状态给各用户相应的渲染器；
S6，渲染各用户的画面；
S7，显示。


2.根据权利要求1所述的一种基于多模态融合方法的VR/AR模型构建方法，其...

【专利技术属性】
技术研发人员：才华，孙俊，王爽，赵智，
申请(专利权)人：长春中国光学科学技术馆，长春理工大学，
类型：发明
国别省市：吉林;22