多用户沉浸式全互动虚拟现实工程培训系统技术方案

本发明专利技术公开了一种面向工程培训的多用户、沉浸式、全互动虚拟现实系统。该系统以每个参与人员为一个单元，赋予各个参与者在虚拟环境中特定的角色；参与者佩戴头戴式显示器，站在全向滑动平台上运动；使用体感设备获取参与者的动作信息，并驱动虚拟环境中对应角色的运动和视角；通过手持输入设备实现与虚拟场景中设备及其他角色的交互；各个单元通过网络与主机相连，实现各个培训单元之间的通讯；主机显示设备可监控虚拟系统中的角色和作业，给予评估和指导。该系统增强了工程培训系统的人机交互体验、沉浸感和参与感，有效解决虚拟现实系统中工种、人员的配合问题。

【技术实现步骤摘要】
所属
本专利技术涉及虚拟现实技术，尤其涉及工程类认知、技能、安全培训领域，设计并实现具有多用户、沉浸式、全互动特征的虚拟现实培训系统。
技术介绍
虚拟现实，是一种可以创建和体验虚拟世界的计算机系统，它利用计算机技术生成一个逼真的、具有视、听、触等多种感知的虚拟环境，用户通过使用各种交互设备，同虚拟环境中的实体相互作用，使之产生身临其境感觉的交互式视景仿真和信息交流，是一种先进的数字化人机接口技术。自从虚拟现实技术诞生以来，它已经在军事模拟、先进制造、城市规划及地理信息系统、医学生物等领域中显示出巨大的经济、军事和社会效益。工程领域的现场实验、实践教学和安全培训实施困难、成本高昂，且多数具有危险性。采用虚拟现实技术即能最大程度解决这些问题，又可以打破时空限制。虚拟现实技术可提高参与者学习和参与的兴趣，同时培训系统又可跟随科学技术的发展以及现场变化实时更新和完善。现有的虚拟现实培训系统偏重于软件内容和场景的开发设计，局限于使用显示器(或投影仪)、键盘、鼠标、游戏手柄等传统设备作为人机交互设备，忽略了人机交互体验，沉浸感和参与感不足。一些领域的虚拟现实培训系统通过开发定制类似真实仪器的操作面板来提高真实感和交互体验，但是无法解决工种的配合问题，与整体生产环境脱节，只是单一的设备或者仪器的仿真培训。游戏娱乐产业一直走在虚拟现实科技的前列，市场上针对游戏娱乐产业出现了很多新型的交互设备、技术和概念，如头戴式显示器，体感设备，3D鼠标等。这些设备在工程培训领域并没有得到充分的利用。
技术实现思路
为了解决现有虚拟现实类工程培训系统在沉浸感、交互性、相互配合以及整体性方面存在的问题，本专利技术提供一种多用户、沉浸式、全互动虚拟现实工程培训系统解决方案。本专利技术所采用的技术方案是：以每个参与人员为一个单元，赋予各个参与者在虚拟环境中特定的角色；参与者佩戴头戴式显示器，站在全向滑动平台上运动和操作；使用体感设备获取参与者的动作信息，以此信息驱动虚拟环境中对应角色的运动和视角；各个单元通过网络与主机相连，实现各个培训单元之间的通讯；主机显示设备可监控虚拟系统中的角色和作业，给予评估和指导。本专利技术的有益效果是，该方案增强了参与者的沉浸式体验和真实感，交互性强，实现了参与者之间的通讯和配合，能够完成多人配合的认知、生产任务和灾害演练仿真。附图说明图1是本专利技术的系统结构图；图2是本专利技术的单机结构图；图3是本专利技术的人机交互示意图；图3中，1是体感设备；2是头戴式显示器；3是参与人员；4是手持输入设备；5是万向滑动平台；图4是本专利技术实现的原理流程图。具体实施方式图1中，主机通过网络实现与各分机的通讯，接收各分机发送的更新信息，更新主机中虚拟场景及对应角色的信息；同时转发该信息至其他分机，各分机根据接收信息更新虚拟场景及角色信息。主机通过网络模块向各分机发送指示信息。分机的数量不限于图示的数量，更多的分机可通过网络实现与主机的连接和通讯。图1中，主机操作人员可通过主机显示设备观看和监视虚拟场景，通过人机交互设备，如键盘、鼠标、麦克风实现与主机的交互；主机显示设备可以是头戴式显示器、液晶显示器、投影仪，主机操作人员可以切换为场景中任意角色的视角，和全局视角，可通过人机交互设备移动、旋转全局视角虚拟摄像机，切换到场景中指定的位置。主机操作人员可通过主机显示设备观看和监视虚拟场景中的信息变化和角色操作，可发送指导和评估信息至各分机。主机操作人员可以通过人机交互设备发送语音、文本信息至虚拟场景中任意角色。图1中，各参与人员通过人机交互设备实现与虚拟场景的交互。每个参与人员对应虚拟环境中一个角色，分配对应的任务，角色拥有对应的用户名和身份，并在虚拟环境中予以显示；角色的位置、操作受对应的参与人员控制，角色可与虚拟环境中的设备和其他角色互动。在图2中，当分机未与主机相连时，可实现单机模式，即参与人员可离线操作；分机可选择联机模式或者离线模式，联机模式时，分机可与主机及其他分机进行通讯；当分机处于离线模式时，参与人员可离线操作不与主机通讯，通过人机交互设备实现与分机中的场景交互。如图3所示的实施例中，参与人员(3)站在万向滑动平台(5)上，可走动、跑动、转身和跳动，体感设备(1)获取运动信息，并发送到对应的分机，分机利用获得的信息驱动虚拟场景中对应的角色，更新其位置和视角，即通过体感设备采集的运动信息驱动虚拟角色在虚拟场景中的运动和视角。如图3所示的实施例中，参与人员(3)戴着头戴式显示器(2)，虚拟场景以第一人称视角输送到该显示器予以显示。该第一人称视角的位置对应于参与人员(3)相对应的虚拟角色眼睛所在的位置；体感设备及佩戴于参与人员头部的3D陀螺仪监测和反馈参与人员头部位置和角度的变化，并驱动虚拟角色头部和视角的变化。参与者的走动、跑动、跳动信息用来控制参与者在虚拟场景中的位置；转身、头部的转动、俯仰用来控制虚拟场景中视角的方位。虚拟摄像机拍摄输出的场景与对应虚拟角色所看到的场景一致，为第一人称视野，摄像机的位置跟随虚拟角色移动而移动，摄像机的方位与角色的头部视野方位一致，参与人员也可以通过手持输入设备，实现对虚拟场景中的摄像机进行视角切换，移动和旋转虚拟摄像机，切换摄像机在虚拟场景中的位置，以改变场景的显示。如图3所示的实施例中，参与人员(3)拿着手持输入设备(4)，通过手持输入设备实现触发虚拟系统的菜单命令、对虚拟场景的操作以及对虚拟场景中设备的操作；该设备可以是游戏手柄、鼠标、定制的仪器操控面板，当参与人员对应的角色接近虚拟设备、其他角色以及特定位置时，手持设备上的菜单按钮可触发并显示菜单，参与人员可通过手持设备选择菜单上的命令进入相应的操作模式，实现与虚拟场景的交互，操控虚拟场景中的设备，进行设备的生产任务仿真；当参与人员对应的角色接近虚拟场景中的交通工具时，可通过菜单选择乘坐或者驾驶，并通过手持设备实现对交通工具的操作。如图3所示的实施例中，体感设备(1)、头戴式显示器(2)、手持输入设备(4)通过有线或者无线与分机相连。如图4所示的功能流程图，参与人员在万向滑动平台上运动，通过体感设备采集并反馈运动信息至对应的分机；参与人员通过手持设备发送操作信息至分机；分机接收到信息后，更新虚拟场景及角色的信息，通过参与人员的头戴式显示器予以显示，并将接收的信息通过网络发送到主机。主机通过网络实现与各分机的通讯，接收各分机发送的更新信息，更新主机中虚拟场景及对应角色的信息；同时转发该信息至其他分机，各分机根据接收信息更新虚拟场景及角色信息。主机通过网络模块向各分机发送指示和信息，各分机通过网络模块向主机发送请求和信息。主机显示设备显示虚拟场景，主机操作人员可通过人机交互设备操控并监视虚拟场景。参与人员的位置信息包括对应虚拟角色所在的三维坐标，x、y、z坐标，以及根据对应体感设备获得的参与人员运动信息计算得出速度、方向和位移，控制参与人员的速度、方向和位移，更新虚拟角色在虚拟场景中的位置；操作信息包括参与人员触发手持输入设备所触发的命令和通过本文档来自技高网...

【技术保护点】
一种多用户、沉浸式、全互动虚拟现实工程培训系统；其特征是：参与人员被赋予虚拟系统中特定的角色，通过人机交互设备实现与虚拟场景的交互；各分机通过网络与主机相连，实现与主机和分机的通讯；主机操作人员可通过主机显示设备、人机交互设备实现对虚拟场景及角色监控、评估和指导；其中：参与人员带着头戴式显示器站在万向滑动平台上运动，通过体感设备采集的运动信息驱动虚拟角色在虚拟场景中的运动和视角，虚拟角色的第一人称视野输出到对应参与人员的头戴式显示器予以显示；参与人员通过手持输入设备实现触发虚拟系统的菜单命令、对虚拟场景的操作以及对虚拟场景中设备的操作；分机通过网络模块与主机相连，分机将参与人员的位置信息、操作信息发送到主机，主机收到信息后更新虚拟场景，主机通过网络模块将收到的信息分发到网络中的各个分机；主机操作人员可通过主机显示设备观看和监视虚拟场景中的信息变化和角色操作，可发送指导和评估信息至各分机。

【技术特征摘要】
1.一种多用户、沉浸式、全互动虚拟现实工程培训系统；其特征是：参与人员被赋予虚拟系统中特定的
角色，通过人机交互设备实现与虚拟场景的交互；各分机通过网络与主机相连，实现与主机和分机的通讯；
主机操作人员可通过主机显示设备、人机交互设备实现对虚拟场景及角色监控、评估和指导；其中：
参与人员带着头戴式显示器站在万向滑动平台上运动，通过体感设备采集的运动信息驱动虚拟角色在
虚拟场景中的运动和视角，虚拟角色的第一人称视野输出到对应参与人员的头戴式显示器予以显示；
参与人员通过手持输入设备实现触发虚拟系统的菜单命令、对虚拟场景的操作以及对虚拟场景中设备
的操作；
分机通过网络模块与主机相连，分机将参与人员的位置信息、操作信息发送到主机，主机收到信息后
更新虚拟场景，主机通过网络模块将收到的信息分发到网络中的各个分机；
主机操作人员可通过主机显示设备观看和监视虚拟场景中的信息变化和角色操作，可发送指导和评估
信息至各分机。
2.根据权利要求1所述的虚拟现实工程培训系统，其特征是：每个参与人员对应虚拟环境中一个角色，
角色拥有对应的用户名和身份，并在虚拟环境中予以显示；角色的位置、操作受对应的参与人员控制，角
色可与虚拟环境中的设备和其他角色互动。
3.根据权利要求1所述的虚拟现实工程培训系统，其特征是：人机交互设备包括头戴式显示器、体感设
备、手持输入设备、万向滑动平台，通过有线或者无线与对应分机连接。
4.根据权利要求1所述的虚拟现实工程培训系统，其特征是：运动信息为参与者肢体的动作，包括走动、
跑动、跳动、转身，以及头部的转动和俯仰。其中，走动、跑动、跳动用来控制参与者在虚拟场景中的位
置；转身、头部的转动、俯仰用来控制虚拟场景中视角的方位。
5.根据权利要求1所述的虚拟现实工程培训系统，其特征是：虚拟摄像机拍摄输出的场景与对应虚拟角
色所看到的场景一致，为第一...

【专利技术属性】
技术研发人员：蔡大林，
申请(专利权)人：蔡大林，王珂，宁芳，
类型：发明
国别省市：江苏;32