基于虚拟现实和多源信息融合的集成式交互系统技术方案

本公开提供了、一种基于虚拟现实和多源信息融合的集成式交互系统，包括交互装置、心电监测设备和服务器，交互装置与服务器连接，被配置为提供虚拟场景和交互环境；心电监测设备采集佩戴者的心电数据，并传输给所述服务器；服务器，被配置为提供普通和VR两种环境下的交互式训练游戏、音频和视频的体验模式，提供相应的场景，以进行游戏或观赏，在训练过程中利用心电数据，实现对用户生理状态的实时监测，并形成报告，确定各场景下的用户状态，具有更加直观的视觉体验且具有更高的认知流畅性，可以提升用户的训练效能。

Integrated interactive system based on virtual reality and multi-source information fusion

【技术实现步骤摘要】
基于虚拟现实和多源信息融合的集成式交互系统
本公开属于人机交互
，涉及一种基于虚拟现实和多源信息融合的集成式交互系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。作为一种具有广泛应用的计算机技术，虚拟现实在国防、科研、工业、娱乐、教育等领域受到了极大的重视，是近年来相关部门进行信息化建设的重要内容之一。但虚拟现实其实是一系列技术的汇集，只有通过合理的软、硬件体系结构及交互手段将这些技术集成起来，才能发挥其预期的效果。遗憾的是，目前虽然有包括生理交互技术，语音交互技术等多种交互技术，但是有关于如何将这些交互式技术集成起来建设合理的虚拟现实系统的资料匮乏，且人们在着手虚拟现实系统建设时无从下手。此外，虚拟现实是基于视觉、听觉、触觉等多维信息生成一个虚拟环境，并让使用者成为虚拟环境中的内部参与者。其中，视觉信息往往是多源的，拿VR+教育来说，传统的课堂学习中扁平化的多媒体视频教学还不足以让学生产生很强的代入感和互动性，如果通过提供全景视频360度的实景展示，再集成结合VR游戏体验的交互技术本文档来自技高网...

【技术保护点】
1.一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：包括交互装置、心电监测设备和服务器，其中：/n所述交互装置与服务器连接，被配置为提供虚拟场景和交互环境；/n所述心电监测设备采集佩戴者的心电数据，并传输给所述服务器；/n所述服务器，被配置为提供普通和VR两种环境下的游戏、歌曲和视频的体验模式，提供相应的场景，以进行游戏或观赏，在放松过程中利用心电数据，实现对用户生理状态的实时监测，并形成报告，确定各场景下的用户状态。/n

【技术特征摘要】
1.一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：包括交互装置、心电监测设备和服务器，其中：
所述交互装置与服务器连接，被配置为提供虚拟场景和交互环境；
所述心电监测设备采集佩戴者的心电数据，并传输给所述服务器；
所述服务器，被配置为提供普通和VR两种环境下的游戏、歌曲和视频的体验模式，提供相应的场景，以进行游戏或观赏，在放松过程中利用心电数据，实现对用户生理状态的实时监测，并形成报告，确定各场景下的用户状态。


2.如权利要求1所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述服务器包括：
语音识别模块，用于识别接收的用户语音信息，确定相应的指令；
普通视频体验模块，包含放松视频素材库，针对某一体验或训练主题，提供类似于视频平台的多频道分类的素材内容；
VR全景视频体验模块，包含VR全景放松视频素材库，采用VR全景相机，集视频拍摄、制作、播放为一体，它能够在不需要过多的交互方式以及因此产生的学习成本的同时，带给观看者充分的沉浸式体验，以及通过离线渲染和摄影得到各种极致的效果；
VR场景体验模块，包含VR场景素材库，包含VR场景素材库，采用Maya建模工具进行场景建模丰富素材库，用户可在此模块获得身临其境的体验；
VR游戏体验模块，包括多种VR体验游戏；
分析模块，被配置为根据采集的心电数据并进行实时分析使用者的放松状态，并通过图形展示计算出的放松程度和用户进入的各个场景中的心率值。


3.如权利要求1所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述交互装置选用VIVEPro。


4.如权利要求2所述的一种基于虚拟现实和多源信息融合的集成式交互系统，其特征是：所述语音交互模块，将用户的语音转换为文字输入，同时支持内容推断和事件注册特性，先创建一个听写对象，然后再注册结果回调事件、完成事件、错误事件和识别语句事件，由此即可开始语音识别听写。


5.如权利要求...

【专利技术属性】
技术研发人员：卞玉龙，马浩凯，耿文秀，周超，陈叶青，刘娟，盖伟，杨承磊，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37